网易数帆发布全链路数据生产力平台 2.0 全面提升数据能力

10月21日，网易数字+大会在杭州钱塘江畔召开，网易数帆旗下网易有数在会上发布了全链路数据生产力平台2.0，推出了DataOps、逻辑数据湖、实时数据湖引擎、机器学习平台、有数BI数据准备在内的最新技术实践，进一步完善数据治理能力，促进企业数智化转型升级。

网易有数产品总经理余利华表示，迈入数据生产力平台2.0阶段，更应该夯实自身技术服务能力，从大数据底座、到数据中台、再到数据应用，每个链路都需要更好的打磨才能服务好客户，达成实际业务中"人人用数据、时时用数据"的目标，真正发挥数据生产力。

过去一年，全链路数据生产力1.0的提出，以数据中台、数据应用为两大节点，让企业大数据决策水平提升实现正向闭环，将数据价值从业务系统中释放。在1.0的实践中，网易数帆发现，全链路数据生产力的闭环仍然存在一些阻滞，其中数据中台的节点，各个系统数据的物理聚合成本越来越高，数据开发的低效拖慢交付应用，同时中台对于实时数据的处理要求日趋增多；在数据应用的节点，非结构化数据的理解需要更多的手段支撑。

作为今年的重要看点，网易数帆是如何解决上述问题，实现全链路数据生产力从1.0到2.0的跃迁？这其中又有哪些创新技术的推出？

提升数据开发效率，试试有数DataOps

大会当天，网易数帆推出了今年数据中台的重磅升级--有数DataOps，旨在帮助企业解决数据开发过程中的效率和质量问题，可以说是将DevOps的理念应用于数据开发领域，以缩短洞察周期，推动项目持续集成（CI）和持续部署（CD）。

DataOps全流程

大会现场，余利华还展示了网易云音乐使用DataOps成功实践。通过设置独立的开发环境、自动测试流程，云音乐可以有效排查上线前代码中存在的风险，实现自动运行测试。从效果上看，在使用有数DataOps产品后，因代码提交产生的数据质量问题下降了接近90%，平均需求交付周期从5天下降到2.5天，效率直接提升100%。

逻辑数据湖：从"Collect"到"Connect"

企业建设数据中台不应该是把所有的数据全部收集（Collect）到一个载体后再开始应用，随着数据的不断涌入，用一种连接(Connect)的方式重复利用数据，成为了当下技术领先厂商们思考的手段。

余利华指出，数据中台建设之初，往往误以为只要把数据集中到一起，就能让数据充分被利用。但在这些年与客户交流后发现，企业想要构建一个物理上集中的数据中台非常困难。那么能否通过一种方式，在不要求数据迁移的前提下，将数据纳入数据中台管理？

大会现场，网易数帆发布了首创的，基于逻辑数据湖的数据中台。作为一种物理分散，逻辑统一的数据中台，其核心价值就是统一源数据信息、数据标准和数据源，同时兼容遗留系统，支持Oracle/MySQL/Vertica等7类系统，实现数据的统一开发和统一治理。

基于逻辑数据湖的数据中台

迈入实时中台时代，Arctic引擎驱动力

面对日益增长的数据规模以及越来越低时延的数据处理要求，流处理正在成为大数据厂商亟待精进的业务能力之一。企业对于实时数据的管理需求日益显著，特别是对于像广告、风控、促销、物流等业务场景，只有依赖强大的流计算引擎才能支持实时动态的数据结果。

为了解决这些问题，网易数帆推出了有数实时数据湖引擎Arctic，不仅实现了流批一体存储，还支持无缝对接数据中台数据治理体系，可以说是极大地增强了数据摄取性能，特别是对于海量日志、事件等变更频繁、实时性高的数据加工等业务场景，有着十分广阔的技术实践空间。

此外，搭载数据湖引擎Arctic，网易数帆"有数实时数据中台"更是成功入选多个国家级大数据标杆示范项目评选，包括像今年中国大数据产业博览会"十佳大数据案例"，工信部试点示范项目等等。

有数机器学习平台：AI深化数据应用

随着物联网和移动设备的发展，产生的数据越来越多，种类也包括图片、文本、视频等非结构化数据，这使得机器学习模型可以获得越来越多的数据。在全链路的数据应用节点上，网易数帆也分享了自己多年的实战经验，推出了有数机器学习平台，去帮助企业理解及处理各类数据。

本次推出的网易有数机器学习平台，经过网易多年内部业务验证，能够大幅提升机器学习迭代效率。在机器学习的各个阶段都能提供有效支持，通过无缝对接数据中台，使得数据访问变得非常简单。同时还提供Notebook和可视化建模两种方式，支持TensorFlow，PyTorch主流算法框架，一键部署等等。

除了以上技术亮点，大会还发布了有数BI数据准备，针对缺乏专业人员的小微企业来说，可以借助有数BI数据准备，建立自助式ETL实现轻量级湖仓。

本次全链路数据生产力平台2.0的发布，标志着网易数帆数据能力的全面提升，最终目的还是通过技术手段去解决企业实际业务中暴露的难点，提升数据价值的有效利用。