云原生新范式出炉，华为云开源项目助力数字化转型

近日, 华为云正式提出"云原生 2.0"十大范式, 从"泛在、计算、调度、网络、万物互联、应用、数据、智能、安全、行业使能"十个方面, 总结了云原生技术在数字化转型落地过程中的最佳实践。

以 Kubernetes (k8s) 为核心的容器技术掀起的云原生浪潮仍在席卷全球, 在轰轰烈烈的数字化转型技术变革中, 先行者们开始思考新的技术体系究竟能给行业与社会带来什么, 以及如何把 DevOps 等先进的开发管理模型带入各行各业, 让更多的企业享受到云原生以及 AI、IoT 等前沿技术革新带来的红利。

今年 4 月, 华为云在《云原生 2.0 白皮书》中提出以应用为中心, 建立安全与运营两大体系, 在当前的敏捷基础设施、微服务、Devops 的基础上又增加在数据、智能、安全三大方面的赋能, 其实对应公司内部的数据中台、AI 中台、安全, 基本上也涵盖了公司的运维、安全、基础架构、数据中心四大核心部门数据和平台的融合, 为应用提供敏捷、智能、安全的底层数据和基础架构等综合能力支持。

而本次提出的十大新范式, 则是对云原生 2.0 技术生态体系理论的详细解读:

细看华为云提出的云原生 2.0 十大范式, 我们可以发现以开源软件为主的云原生基础设施在其中扮演着重要的角色。而作为世界领先的技术供应商, 华为也已经全面拥抱开源社区, 并把自身的开源基因融入到了数字化转型建设的方方面面, 其主导的许多开源项目在整个"云原生 2.0"技术生态中发挥着重要的作用。

重构云的基础服务能力

在十大云原生新范式中, 泛在新范式、计算新范式、调度新范式、网络新范式、数据新范式等维度, 更多是围绕云的基础服务能力来谈的, 涉及如何在云原生背景下, 数字化转型需求前, 重构云的基础服务能力。

计算新范式提出通过聚焦业务逻辑、资源无感知、按需供给、按量计费、以及无需关注区域的 Regionless 来提供计算服务; 将应用在云上所依赖的所有云服务, 都以可调用的"接口"方式提供。从而实现把计算的中心真正从资源转向应用, 将企业从资源管理繁琐中解放出来。

以目前对区域环境敏感度最高、资源配比最复杂的边缘计算为例。《云原生 2.0 白皮书》中预测, 未来 5 年, 越来越多的公司会使用边缘计算, 对于边缘设备也通过 K8s 来统一纳管, 同时需要对边缘节点的极致轻量、高可靠性、大规模管理等特性来进行支持, 实现统一计算调度。而边缘计算具有覆盖范围广、带宽成本高、受环境影响大等部署难点, 如果要将 K8s 系统延展到边缘计算场景, 边缘节点将通过公网和云端连接, 从公网的不稳定性以及成本等因素考虑, 边缘要求断网状态或者弱网状态下边缘业务仍可以持续运行, 对系统的可用性提出了更高的要求。

由华为云开源的 KubeEdge 项目就是把 K8s 应用到边缘计算的解决方案。KubeEdge 对 K8s 模块化解耦、精简, 使 KubeEdge 最低运行内存仅需 70M, 并且实现了云边协同通信、边缘离线自治等功能, 可将本机容器化应用编排和管理扩展到边缘端设备。它构建在 K8s 之上, 为网络和应用程序提供核心基础架构支持, 并在云端和边缘端部署应用, 同步元数据。KubeEdge 能够 100% 兼容 K8s 原生 API, 可以使用原生 K8s API 管理边缘节点和设备。此外,KubeEdge 还支持 MQTT 协议, 允许开发人员编写客户逻辑, 并在边缘端启用设备通信的资源约束。

K8s 给边缘计算提供了先进的运维思路, 但单纯的原生 K8s 并不能满足边缘侧业务的所有需求。而集成了 K8s 云原生管理能力的 KubeEdge, 同时对边缘业务部署和管理提供了很好的支持, 因此被引入到平台中来进行边缘节点管理和应用程序部署, 从而实现无需关注区域的 Regionless 计算服务。

在早期的云原生 1.0 系统中, 通常采用以资源为中心的调度, 由于多技术栈、割裂资源池、单 DC 架构等因素限制, 资源利用率不到 20%。

调度新范式提出"应用 + 资源"融合调度, 以实现最佳算力匹配与最优资源利用。所谓的"应用 + 资源"融合调度, 是基于统一技术栈、跨集群共享、多元算力共池、多云/跨域调度等方向融合调度, 智能化地为云原生业务提供最佳 SLA 匹配算力, 保障业务稳定性, 同时提供最优能效。

在这一领域, 华为云于 2019 年开源了业界首个云原生容器批量计算项目 Volcano。Volcano 源自华为在 AI、大数据、HPC 等高性能计算场景下多年技术积累, 在支撑华为云一站式 AI 开发平台 ModelArts、Servless 容器服务 CCI 等稳定运行中发挥重要作用。Volcano 提供了高性能作业调度引擎、广泛的异构设备管理、完整的作业生命周期管理等通用计算能力, 通过无缝对接 AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。

今年 4 月, 华为云宣布开源多云容器编排项目 Karmada。Karmada (Kubernetes Armada) 是一个 Kubernetes 管理系统, 它可以跨多个 Kubernetes 集群和云运行云原生应用程序, 而无需对应用程序进行更改。通过直接使用 Kubernetes 原生 API 并提供高级调度功能,Karmada 可以实现真正的开放式多云 Kubernetes。

Karmada 旨在为多云和混合云场景下的多集群应用程序管理提供 turnkey 自动化, 其关键功能包括集中式多云管理、高可用性、故障恢复和流量调度。

在企业数字化转型过程中, 数据是企业业务演进、价值挖掘的基石。但是传统烟囱式的本地化封闭独立部署方式无法发挥数据价值。

数据新范式提出通过兼容多模引擎、存算分离架构、多元算力、海量扩展存储、Region 级高可用、新型商业模式、开放互通生态七大特征, 实现数据资产安全, 全面发挥数据价值。

华为结合自身在数据库领域多年的研发成果, 开源了有多核高性能、全链路安全性、智能运维等企业级特性的数据库管理系统 openGauss, 经过多年的发展与社区的打磨,openGauss 已经具备数据新范式提出的云原生数据库能力标准。

在计算、调度、网络、数据等新范式的标准下, 重构的云原生 2.0 基础服务能力将让云无处不在, 让智能无所不及, 为企业实现高质量高效率的数字化转型, 进而实现企业跨越式发展。

聚焦前沿技术落地

数字化转型的下一阶段, 将聚焦于日趋成熟的 AI、IoT 等前沿科技领域。但这些领域目前都或多或少地面临着一些困难和挑战。"云原生 2.0"十大新范式也针对这些领域目前的行业痛点提出了解决方案。

在 AI 领域, 传统手工作坊式 AI 生产方式采用分段开发, 数据模型无法满足快速增长的 AI 产业发展需求。智能新范式提出数据模型 + 机理模型高效智能化模式, 通过预训练大模型 + AutoML 实现 AI 工业化生产; 通过 MLOps/DataOps/DevOps 协同迭代, 实现 AI 高效建模; 通过知识计算等推动 AI 在行业的广泛落地。

2020 年 3 月, 华为正式开源全场景 AI 计算框架 MindSpore。MindSpore 原生适应云边端多场景, 并能够在按需协同的基础上, 通过实现 AI 算法即代码, 使开发态变得更加友好, 显著减少模型开发时间, 降低模型开发门槛。

除 AI 外, 物联网是未来数字化转型的另一大热门领域。目前的物联网场景多局限于单一设备监控, 设备、数据、应用强耦合, 功能和应用更新迭代慢, 批量复制困难, 且数据不全, 难加以利用。

万物互联新范式提出了降低成本、提高覆盖率、统一标准化的三大行业目标。其做法是通过提供广泛协议、万物抽象建模、沟通协作的平台和标准支撑, 将万物接入, 数字孪生, 智能协作等能力, 整合成端到端、开箱即用的行业解决方案。

在这一领域, 华为云开源了物联网操作系统内核 LiteOS , 该系统内核提供端云协同能力, 集成了 LwM2M、CoAP、mbedtls、LwIP 全套 IoT 互联协议栈, 且在 LwM2M 的基础上, 提供了 AgentTiny 模块, 用户只需关注自身的应用, 而不必关注 LwM2M 实现细节, 直接使用 AgentTiny 封装的接口即可简单快速实现与云平台安全可靠的连接。

结语

在产业数字化转型的时代背景下, 技术架构向云原生演进已经是不可逆的时代潮流。回顾云原生技术生态的发展进程, 开源一直是永恒不变的核心理念。

近年来, 包括华为云在内的中国开发者群体对开源社区的贡献越来越多。据 OSCI 统计的企业开源贡献数据显示, 华为云成为首个进入全球开源贡献排行榜前十的中国企业。

华为云作为 CNCF 的白金会员以及中国唯一初创会员, 一直以来也致力于为云原生开源社区贡献项目与代码, 为国内产业数字化转型构建开源、开放的协作平台。希望在未来, 会有越来越多的中国企业以开放合作的形式加入"云原生 2.0"的生态建设中, 实现全行业的数字化转型升级。

若想了解更多关于"云原生 2.0"的技术发展趋势, 敬请关注由云原生计算基金会 CNCF 主办的 KubeCon + CloudNativeCon + Open Source Summit China 2021。本届峰会将于 12 月 9 日拉开帷幕, 为期 2 天。届时将有来自包括华为云在内的一线互联网企业的云原生技术专家, 为广大开发者带来 K8s、KubeEdge、Volcano、Karmada 等前沿开源项目的技术分享, 以及云原生技术生态的发展洞见, 助你获悉云原生技术最新趋势与最佳实践。

本届 KubeCon + CloudNativeCon + Open Source Summit China 2021 的议程安排现已全面上线, 更多详情请查看大会官网。