使用 K8S 几年后这些技术专家有话要说

9 月 7 日下午，在深圳南山软件产业基地，腾讯云 K8S & 云原生技能敞开日成功闭幕，来自腾讯、灵雀云、超参数科技、虎牙等资深技能专家与现场开发者一起讨论企业落地 K8S 的进程中遇到的难点以及处理问题的办法。

K8S 逐步成为容器编列的规范，越来越多的完结方法和运用方法现已成为了规范化的流程，可是在运用容器化、DevOps、监控、功用调优、发布方法等方面仍存在一些技能难点。在学习和施行容器交给的时分，咱们关于 K8S 的认知和了解多少会存在一些误差；在一些项目落地施行时，开发者常常会对 K8S 自身没有包括的问题或许是没有处理的问题而感到束手无策。腾讯云 K8S & 云原生技能敞开日约请多位技能专家，就和咱们聊聊在 K8S 中存在哪些问题，以及怎样处理这些问题。

灵雀云微服务架构师 贺洪龙

为什么要上云原生？这是灵雀云微服务架构师贺洪龙教师在讲演开端时问咱们的问题。其实，传统的架构转向 DevOps 的架构，有点像曾经 C/S 架构转向 B/S 架构，这是一个必定的趋势。不仅仅互联网公司合适用云原生，其实传统企业相同适用，像中石油、海关总署、一些央企或许是大型的部委，他们现在也十分关怀整个中心体系的更新换代，这个需求并不是来源于事务或许技能的视点，部分是出于办理的视点。完结云原生要做到两点：一是能够共同企业悉数内部的运用架构，包括中心件都能够共同；二是要做旧体系的搬迁。比方一个部委的中心体系或许是 10 年前开发的，而假如开发一个新的中心体系要上线的话，开发周期有或许要两年。那么搬迁的时分，原体系下有几百个子体系，假如仍是选用单体结构，完结难度十分大。并且现在政府的体系其实关于互联网的需求许多，曾经一套体系能够跑 10 年不必更新，现在的体系分分钟要修正、要迭代。因此对云原生架构的需求就变得十分激烈。

DevOps 的价值表现在哪里？

一是能够快速投放市场。有多快？每天迭代 N 个版别，贺洪龙说到，「我记住是 2016 年，某银行信用卡中心一周时刻迭代了 183 次，每天差不多有几十次的小版别迭代，用蓝绿版别迭代，这样频频的发布也只要经过 DevOps 才干完结。由于这个银行信用卡中心的运维服务器开发得很早，从 2014 年就开端做了，最开端是跑虚拟机。据我所知，做发布的兄弟们三个月走一批人，常常需求通宵，他们都受不了；相反，用容器来做，基本上能够不必加班，用两套环境，一套蓝、一套绿，下午做好布置，晚上悉数网络就能够了。」

二是降低本钱。有 DevOps 东西之后，能够削减人工投入，从而削减因停机时刻带来的丢失。以手机制造厂商为例，他们的运用要发布，中心假如要停机，停一个小时丢失 300 万。假如发布要 4 个小时，那便是 1200 万。而手机制造厂商的 IT 部分一年的投入也就一个亿。所以，经过 DevOps 基本上能够把 IT 的投入赚回来，这便是 DevOps 的价值表现。

三是 DevOps 能够让开发者不必做一些低价值的作业，包括装置、布置、装备都能够用东西来做。DevOps 能够让运维人员做一些更高端的作业，相似于运维架构师的人物。DevOps 渠道能够满意整个生命周期办理的需求，从最早的项目办理、需求再到构建、代码，到最终运维。

腾讯高档工程师 卢承山

腾讯高档工程师卢承山从实践的视点，要点介绍了云智中枢 AI 中台的建造思路，该渠道要打通设备、数据、上层的运用，让运用开发者依据该渠道，经过服务编列削减用户的开发量。

云智中枢 AI 渠道是从 0 到 1 构建是思路是：

（1）技能选型，比方用什么微服务结构，用什么容器渠道。

（2）算法，算法或许有上百种，怎样接入，并且发布成一个运用。

（3）AI 产品怎样落地。还有一个继续交给的问题。

很清晰的是，用容器、微服务现已是一个趋势了。在架构选型方面，腾讯云容器服务 TKE 依据其强壮的 K8S 的原生才干，一起对整个交给集成有一套完好的体系。

腾讯云最新推出的企业级容器云渠道 TKE（Tencent Kubernetes Engine ）依据老练的 Kubernetes 技能和生态，能够协助企业快速构建自身的私有化容器办理渠道。TKE 企业版在架构规划进程中作了针对性优化，经过选用与腾讯公有云容器服务共同的架构和办理形式，能够协助企业在私有化办理容器服务的一起，快捷地打通云上的容器服务并取得共同的办理体会，完结混合云布置。

别的，TKE 企业版还充分运用了腾讯内部微信、QQ、游戏等重量级事务在容器运用方面的经历，例如 GPU 虚拟化用于处理 GPU 同享问题 ;TAPP 运用办理用于让服务办理愈加精细化、发布进程愈加可控 ; 在离线混部技能提高资源运用率降低本钱等。

腾讯自己开发的服务，包括算法服务，都能接到 K8S 里边去，其实这个现已比较老练了，可是有些组件，包括一些存储性的东西，散布式文件存储或许 MySQL 存储等等，业界也有相关的计划，可是从整个的稳定性来说，存储现在仍是用的物理机的方法，除了服务以外的存储仍是用的物理机。那怎样接入算法？最原始的方法或许是让它供给二进制包或许相似的方法来帮它做。咱们终究供给的便是镜像制造的方法，终究都是经过镜像。假如用户供给了一个二进制包，怎样帮他们做镜像？这儿其实有两种对接方法，第一种直接对接其镜像。这是最简略的，也有容器渠道。第二种是主动构建镜像。比方说它仍是物理机或许是虚拟机的方法，它供给的或许是一些包，咱们帮它主动做镜像。咱们把每个环境笼统成一个组件，比方说你需求 JDK、OpenSL 等等环境，咱们把它笼统成一些组件，你只需求把包选出来在你的页面上，这儿便是一个可视化的操作，你能够在咱们的渠道构成完做成你的镜像，把你的二进制包上传。

这儿有个难点，怎样缩短镜像制造的耗时？一个原始的 GCC 编译或许需求一个小时，CUDA 的装置也需求 20 分钟，做一个镜像假如环境变杂乱，是不是需求一两个小时才干做一个镜像。那怎样缩短时刻？思路是：第一次制造有或许的确需求花这么长时刻。别的，腾讯也笼统了几点，把 GCC、CUDA 和镜像的版别做了绑定，由于是常用的，所以会做成根底镜像，每个用户制造的内容都会在后台剖析，用户最耗时的以及最频频运用的，能够在后台帮你剖析，做成一个模板镜像，下次做的时分不会依据 Linux 来做，它能够依据镜像模板机来做，它的耗时显着就会削减。

卢承山也介绍了 GPU 虚拟化的难点，并详细解说了腾讯和英伟达在 GPU 虚拟化上的不同。怎样在容器内运用 CUDA？容器能够做到 CPU 内存和 CPU 核的阻隔，包括细分到 0.01。GPU 的最底层是 GPU 的设备，上面是 GPU 运转的环境。

腾讯是做法是：

一、最底层的两层是在物理机层面的，需求把它挂到容器上，最上层的 CUDA 是在镜像层面做的。

二、处理在运用容器进程中 License 的问题。

算法服务和一般服务不同的当地在于，算法厂商不期望这个服务你拿去就用，它有一些鉴权，不或许把服务给你。最早都是物理机过来的，它依靠物理机设备上的东西。怎样把这些东西挂到容器内，它依靠 MAC 地址，而容器的 MAC 地址是虚拟的。腾讯在这儿边做了一部分改造，把物理机挂到容器，然后再做 License 的鉴权。

GPU 虚拟化也触及一些选型问题，英伟达 GPU 虚拟化存在一些问题：

第一是物理层面，英伟达是在 CUDA 的驱动层面来做的，尽管功用很好，但由于是在虚拟机层面做的，因此不合适容器。

第二是它不开源，并且收费。已然不开源，呈现各种问题你就很难去查。

别的，英伟达依据 MPS 做了一个软件的 GPU 虚拟化，要求有必要均匀分配，这会形成资源的糟蹋。比方，它是把一张卡虚拟成 0.01 之类的。运用一张卡其实很糟蹋，以一张 P40 的卡为例，很有或许你的算法底子用不到。依据这个痛点：腾讯做了一个选型，也是在 CUDA 层面上做了一层，悉数的调用都是转到这个后边，再去调 CUDA 的底层，可是咱们这个不会对 CUDA 底层的东西做任何改动，仅仅中心加了一层。

超参数科技高档研制工程师 朱恒满

超参数科技高档研制工程师朱恒满从 AI 与游戏的视点，讲解了游戏 AI 在实践中遇到的难点以及处理问题的思路。游戏 AI 近些年来在学术界现已有了许多的探究，在最近几年呈现了比较显著的作用。2013 年 deepmind 在 Atari 的游戏上超过了人类，可是在其时并没有引起很大的颤动，在 2016 年 AlphaGo 打败了世界顶尖的围棋选手，使得 AI 有了很大的发展。最近，deepmind 和 OpenAI 分别在 rts 和 moba 游戏里边战胜了作业选手，资源不断晋级，规划也是越来越大。

游戏 AI 的试验流程：首要在本地是一些算法的规划、迭代，包括一开端去体会游戏，感触游戏需求怎样的特征，规划怎样样的流程更好；然后是模型的参数调整，做一些小范围的参数设置；接下来便是做一些大规划的试验。强化学习首要是 CPU 和 GPU 混合的异构的核算，规划会比较巨大。那么，现在 AI 实在对战的才干目标是不是现已到达咱们的预期了？假如到达预期，试验就或许会中止；假如达不到，就会再回溯到之前的各个模块，看看在特征方面有没有什么需求改动；最终便是保存模型。

那为什么要做一个渠道化？

首要是由于核算形式的杂乱性。现在，强化学习在 K8S 上的编列模块比较多，包括 GPU、CPU 出产数据等方面，还有中心做了一些缓存。这么杂乱的形式，假如没有做渠道化，需求写许多的脚本，关于个人而言，很难把握大规划、杂乱的体系。别的，比较重要的一点是核算形式需求能够被复用。整个迭代流程更多的或许是修正参数，或许是一些模型、特征，其实全体的结构是不会动的，这就需求供给一些可复用的核算形式，从而能够供给对算法模型来说愈加直接的散布式才干。

其次是资源需求被更高效地办理和运用，这也是 K8S 赋予的才干。假如是个人或许团队分配机器，运用率是很低的，包括自己的事务或许需求去洽谈能够用哪些机器，这个流程十分磨蹭。一起，也存在资源竞赛的问题，比方两个人都想用 GPU，一台虚拟化的机器只要一张卡，怎样分配？还有便是个人很难办理这么许多的机器。

最终，渠道的通用化剖析才干，能够敞开给算法同学，包括算法的监控，硬件和事务的监控。别的，在日志处理方面，经过日志去判别一个 AI 是不是现已到达了才干上的需求，这儿会有一些目标，包括模型方面的要求；还能够做日常定位的作业；在数据办理方面，练习数据和模型都需求做办理。

虎牙直播高档开发工程师 王玉君

由于虎牙直播事务方面的特性，它有许多事务是布置在边际节点，由于触及到主播推流等，对网络质量要求比较高，也在测验边际机房的建造。现在，虎牙有一些测验的机房，估计会在本年 Q4 完结出产环境的建造。这是现在的现状：虎牙现在 Node 机房有 700+ 物理机，Pod 有 7000 多，运用程序在 350+，这些数据还在不断添加。有时分有一些赛事需求紧迫扩容，一天就会扩容 100 台，虎牙会依据实践的事务状况来增减。

虎牙直播高档开发工程师王玉君剖析了虎牙直播运用 K8S 的布景以及现在实践的一些考虑。虎牙现在有一些 K8S 集群是建立在公有云渠道上的，现在用到了腾讯云、阿里云、AWS。比照这三家，腾讯云 TKE 能够大幅节省本钱。比方说一台虚拟机上跑 10 个容器和跑 30 个容器是有实质不同的。虎牙其时也实践了不同的渠道，在腾讯云 TKE 上，一台虚拟机能够跑到将近 40 个容器，它还能够供给更多的密度。

通常状况下，K8S 假如直接供给给事务方，API 等方面用起来不是很便利，包括一些 CI/CD 的流程，假如没有把事务打通，用户是不愿意搬迁上来的，由于要考虑自己的运用性本钱，包括后期的布置，一些改动的本钱等。虎牙一站式服务能够完结从代码编译到布置，悉数的环节都协助用户在页面上完结，用户只要在页面上点一下，就能够在很短的时刻内把新版别发布。

之前有用户不愿意上云，忧虑事务被其他人影响。虎牙运用了TC 限速战略，做了一些容器的限速，有略微的改动。如下图所示，左面底下这些三角形是容器，出向限速在左面，右边是入向限速，底下蓝色的方框是 TC 的模块。假如这个网卡是 1000M，左面这个图有两个方块，虎牙做了一些优化。由于机房用 BGP 的形式，要确保它有一个独享的带宽，不能被其它所搅扰，不然对路由有影响。右边这部分就经过 filter 分给不同的容器，然后有一些不同的战略。右边这一块仅仅限出不限入，也是用开源的计划，经过一个网卡转发，网卡数据包进来，再出去，经过约束网卡的出速，相当于约束了容器进来的速度。

那么，边际节点怎样接入？

如下图所示，左下是数据中心，master 跑在数据中心里边，边际节点散布在各个当地，它怎样接入数据中心呢？图中右边这部分是经过公网直接接入集群，这种方法有许多危险，比较严重依靠虎牙自研的防火墙设备。比方说 K8S 的事务运维或许是体系运维，在扩容边际节点的时分，它会先跟安悉数分进行请求，开白名单，然后接入才干成功，跨部分的交流是十分影响功率的。左面这一块是经过 IPsec VPN 的方法直接接入边际节点，这种方法是比较依靠一个边际网关、EdgHub。别的它运用 VPN，在相同的链路下，它会有一些功用上的损耗。

依据这一点，虎牙结合 K8S 的特性做了一些边际节点更新的计划：

（1）用户能够直接经过公网接入。

（2）体系办理员不需求找安悉数分开白名单。

经过 kubectl 或许 Restful API 向 master API 建议一个授权，从而推送一个资源，安全资源有改动时，会把装备后的信息发送到一个源数据服务，源数据服务会实时更新该插件上的防火墙装备，事务的节点就会比较快速地接入集群。这样做的长处是：边际节点散布在各个当地，edge mate 能够进行共同的办理，它会把边际装备下发到各个节点，然后对自身进行装备，供给一种边际集群的对外拜访才干。

别的，原地晋级是对 K8S 比较好的一个弥补。假如要进行晋级，依照 K8S 现在的方法，会把 pod 毁掉重建，这样事务是不容许的，所以原地晋级能够 pod 不变，事务容器也不动，仅仅把 Sidecar 容器做一个更改。当集群的规划到必定的程度之后，有许多的事务要进行更新操作，更新的时分会对调度器带来一些压力，这是能够完全避免的。从这一点上看，K8S 原生规划上对规划比较大的集群还需求必定的优化。从资源确定的视点，资源缺乏的时分被内部抢占，也能够经过原地晋级来处理，由于 Pod 底子没有毁掉，所以 pod 的立面没有改动，其它的 pod 不会调到这一台物理机上，不能到达 pod 确定的意图。

腾讯高档工程师 杜扬浩

Harbor 是现在仅有的一个也是最盛行的一个开源企业级镜像库房处理计划。Harbor 除了包括最原始的镜像功用以外，还包括用户图形界面，以及它的认证、鉴权模型；一起，它还支撑病毒扫描、镜像的仿制。别的它也支撑一个 RestfulAPI，这对企业来说是十分重要。最终 Harbor 也比较好布置，现在 Harbor 支撑两种布置形式。

腾讯高档工程师杜扬浩在讲演中首要介绍了 Harbor 的优势以及运用进程中的经历。他说到，现在 API 能够满意大部分企业的需求，可是跟着企业的事务越来越杂乱，运用越来越多，原有的 API 就有点不够了。杜扬浩举例说，「我查询过一个库房悉数的镜像列表，它最开端供给的 API 里边并没有企业用户所需求的一些信息，比方需求对某个用户进行过滤，或许对某个字段进行过滤，这时分它的 API 就不能满意企业用户的需求。」

这时分就有一个问题，怎样在不改动 Harbor 的状况下来习惯企业级的需求？

有两种计划：第一种是内嵌式的修正计划。直接修正 Harbor API，让 Harbor 完结 API；另一种对错侵入式的计划。在 Harbor 的外面别的装备一个适配器，悉数对 Harbor 的适配操作悉数经过 Harbor Adapter 改造，无需修正 Harbor。

这两种计划比较，运用非侵入的计划，需求几百行代码来完结这个逻辑，假如用修正 Harbor 代码的方法，能够经过几行代码完结一个十分简略的功用。可是内嵌式的计划有一个很大的缺陷，它对 Harbor 是有侵入的，当 Harbor 晋级、修正比较多的时分，保护本钱随之会添加，有或许当 Harbor 进行了一个版别晋级的时分，企业内定制的 Harbor 也需求进行晋级，就需求一个完好的途径来进行晋级的作业。

关于非侵入式的 Harbor 修正计划来说，长处也很显着，仅有需求留意的是 API 的向下兼容。假如它的 API 不能完结向下兼容，就需求进行适配，它的缺陷便是一个功率问题：或许一个很简略的操作，就需求很费事地凑集才干完结相同的作用。还有便是对一些有状况的数据的操作，比方需求在 Harbor 原有的数据的模型下再刺进一些数据，在外部就不是那么好做，还需求在里边存储一份数据，这份数据还要和 Harbor 原有的数据兼并，这并不合适选用侵入式计划。归纳来说，在满意功用要求的状况下，能够承受非侵入式对 HarborAPI 调用的丢失。但更值得关怀的是，这种晋级所带来的保护本钱。由于这种非侵入的计划有利于 Harbor 的晋级和保护，当开源的 Harbor 晋级的时分，能够用很少的作业量完结 Harbor 的搬迁和晋级。

Harbor 尽管支撑完善的认证和鉴权机制，可是企业内部一般都有自己定制的认证和鉴权逻辑，而这些特别逻辑是无法经过 Harbor 现有的方法来兼容的。怎样在不修正 Harbor 的状况下进行认证和鉴权？

首要是无侵入的认证和鉴权。它的中心便是把认证和鉴权从 Harbor 内部搬迁到 Harbor 外部。现在的流程是渠道调用认证中心，由企业的认证中心来完结这个认证和鉴权，当认证和鉴权经过之后，再调用 Harbor 的 API 来履行相关的操作。履行完相关的操作之后，还需求把对应的 RBAC 的资源写入到认证中心，这样就能够完结对 Harbor 的无侵入认证和鉴权修正计划。API 的认证、鉴权无侵入计划存在的一个问题便是，它不能兼容 docker 命令行，由于它不是运用咱们的渠道 API，它是由 dockdemo 参加，所以这儿边还要对认证和鉴权的命令行做一个无侵入计划。

在企业出产环境里假如需求布置 Harbor，要进行高并发来压测一下。杜扬浩在讲演里比照了依据一般的 CephFS、依据目标存储和文件存储这三个环境的压测比照。

Harbor Ceph FS 压测

Harbor Rook FS 压测

Harbor Rook Ceph RGW 压测

经过压测数据得出结论：跟着并发量的添加，三种存储均匀拉取时刻都在添加，并且成功率也是越来越低。10 个并发的时分是 100%，30 个并发是 92%，600 个并发是 73%，当然这儿边很大的原因是 Harbor 自身的 bug 问题。能够以为 rook 的文件体系和一般用物理机建立的文件体系功用挨近，rook 的目标存储的功用是远高于 rook 建立的文件体系的。

除了方才说到的目标存储的功用自身就优于文件体系之外，为什么 Harbor 压测成果有这么高功用的提高？

经剖析可知：一方面，Harbor 切换了目标存储之后，它在与 docker 交互的进程中会选用一个重镜像的技能，这样流量就从 Harbor 切换到目标存储的服务里边来，Harbor 就不需求中转数据，节省了 Harbor 自己的一些资源以及时刻。另一方面，数据由 Harbor 切到目标存储之后，流量瓶颈和并发瓶颈就由 Harbor 转到了目标存储，所以，依据上面的两个原因，就导致了 Harbor 在切换目标存储之后，它的功用有了一个质的提高。

还有比较重要的一点是关于 ceph 文件体系的备份复原。关于 Harbor 的 ceph 文件体系来说，Harbor 的数据实践上是落地在文件体系的某一个途径上，这儿备份的原理就很简略：经过 PV 获取到它的途径，然后把这个途径 mount 到本地的文件体系，经过这个文件体系进行一个紧缩或许备份。文件体系的复原便是方才备份的一个逆进程，只需求把备份的数据打入到方才 mount 的文件体系里边就能够了。

关于 ceph 的目标存储来说，它的备份复原的原理实践上是相同的，可是它的详细完结就有点差异：由于关于目标存储来说，它的数据不是保存在某个途径下，而是保存在目标存储的 bucket 的概念中，所以假如要对 Harbor 的目标存储进行备份复原，就需求对这个目标存储中 Harbor 所对应的 bucket 数据进行备份复原。

在现场发问环节，部分参会者也问到了关于腾讯云容器服务 TKE 的问题，为什么挑选 TKE？开源自建 K8S 与 TKE 的比照方下：

想了解更多？扫码回复：TKE即可免费获取本次技能敞开日完好 PPT 资源。