有用的“大数据”，拓维信息大数据技术实践

"您于 14 天内到达或途径：'长沙市'、'贵阳市'、'宜宾市'"......

14 亿人，663 座城市，960 万平方公里，出行信息一码识别，在人海之中将你我精准关联、将出行点滴完整具象，这背后便是"大数据"的强大魔力！

大数据，首要的就是"大"，单个数据几乎没有商业价值，但当数据量不断累积到足够"大"时，便能成为阿基米德口中的"支点"，撬动智能化的星辰大海。除数量（Volume）之外，大数据还包含有速度（Velocity）、多样化（Variety）、准确性（Veracity）、价值（Value）共称"5V"特点。

数据一直都在，从人类第一次结绳计数开始；数据又隐于无形，直到 DT（Data Technology）时代，人类才发现如何去挖掘大数据的价值（Value），大数据才开始揭开真正的面纱。

基于多年在制造、通信、交通、教育等行业的探索和沉淀，拓维信息从海量行业数据的产生、获取、挖掘及整合，到数据价值的深度解码、先行先用进行持续探索，成为大数据技术的"懂行人"。

在"大数据元年"--2013 年，拓维信息便与华为、IBM、Intel 等行业巨头一同助力中国移动集团完成大数据平台技术指导规范，成为了最早一批入局大数据领域的企业。

深耕底层，让技术应用心中有"数"

"未来一切业务数据化，一切数据业务化"。

回溯历史，每一个时代，文明的发展往往需要核心技术的驱动，从蒸汽机的诞生带来物理世界的变革，到 IT 技术的使用带来数字世界的腾飞。未来，文明的发展将进入数字世界与物理世界的深度融合步入，"数据"作为两个世界的连接点，将跟随大数据技术的探索，为文明发展带来革命性的变局。

自"大数据元年"以来，拓维信息紧跟大数据技术与概念的发展趋势，从"业务信息的数据化积累"到"业务信息数据驱动业务决策"，以具体业务目标为导向，对既有数据进行加工、分析、处理，为业务决策提供高效辅助；从底层技术探索到顶层应用开发，自下而上全面探索大数据技术、挖掘大数据价值。

（拓维信息大数据架构图）

一般意义上，大数据技术可以分成两个大的层面：大数据平台技术和大数据应用技术。其中，大数据平台技术包括了数据的采集、存储、流转、加工所需要的底层技术；大数据应用技术是指对数据进行加工，把数据转化成商业价值的技术。拓维信息对大数据领域进行了"全面化、深度化、开放化"的技术布局：

01.大数据平台技术体系优化研究

拓维信息根据现有大数据平台建设的基础，基于 hadoop 等生态圈，进行技术封装、管理、优化，以此对标全球大数据先进技术。

02.大数据分析应用体系顶层架构研究

拓维信息组建大数据专业技术团队，进行大数据体系顶层架构设计与大数据分析应用内容设计的研究，其中包含了设计的总体思路、建设内容、技术架构、产品选型等。

除此之外，拓维信息基于多年深耕行业的"业务数据化"经验，全面深入"数据业务化"，从大数据的数据保障体系建设和数据治理工作推进，精准洞察、精确建议。其中包含了梳理数据管理组织职责、流程与绩效体系制度等；开展数据资源梳理分析，构建数据标准体系；完善数据质量管理，统一元数据的管理等内容。

工欲善其事，必先利其器。拓维信息对于大数据的理解，将自己的角色不仅仅限制在"使用者"，更是深度融入到了大数据应用生态之中，根据业务布局和需求打造完善的产品体系，做技术的"生产者"。

上图是拓维信息基于大数据技术生态深度自研的大数据产品族，其根据业务需求与其他主流的大数据技术一起打造混搭型技术架构，将数据采集、数据计算、数据加工、数据分析、机器学习、数据应用等维度成功串联，打通大数据价值解码的全链条。

懂行善用，通信行业的大数据实践

"截至 2020 年 10 月末，三家基础电信企业的移动电话用户总数达 16 亿户。"

正如引言中提到的通信大数据，通信行业的自有属性离不开"大数据"这个标签，也正是因为如此，通信行业成为国内大数据先行者之一。

拓维信息深耕通信行业 20 余年，用技术实力与国内外知名大厂同台竞争。其中在大数据领域，除了参与中国移动大数据平台技术指导规范建设外，拓维信息依托自身在大数据领域积累的全面技术、产品和方案，以及多年在通信等行业中的大数据创新实践，成功参与了集团-省-市三级通信公司的多项大数据建设项目。

以拓维信息承建的中国移动研究院互联网内容分析大数据平台项目为例，它包含有规模超百万级小说库、88098 条的 URL 规则库、916722392 条的 URL 实例库、超 70000 条的互联网分类机器学习语料库及近 2000 种的 App 指纹识别库等，每天处理千亿规模的上网日志行为数据（以上数据为项目建设时数据）。

拓维信息根据企业"数据"现状，构建"平台"、"服务"、"应用"三级大数据解决方案，其中数据平台构建从数据采集、数据融合、数据清洗、数据治理出发，进而实现海量日志数据的精准分析。根据多年的行业经验，精准地打造了分析、数据等服务，以此支撑架构顶层的系列数据应用。

此外，随着拓维信息持续在通信行业的大数据创新实践，从大数据平台技术到大数据应用技术，为通信行业带来全新的商业逻辑体验，用大数据驱动精准营销。在中国联通"一起沃"大数据精准营销运营项目中，拓维信息以大数据技术为基石，通过全渠道、全触点、全用户、全生命周期的"四全"智能营销分发平台，实现营销能力的数字化升级。

数据驱动，助力企业数字化升级

"数据是 DT（Data Technology）时代的第一生产要素！"

不止于通信，大数据对于全行业都是一次革新的机会。拓维信息从行业深耕到技术赋能，实现业务数据化向数据业务化的转变，以"懂行者"的角色助力通信、制造、教育、交通等多行业客户数字化升级。

教育大数据：加强教育大数据治理、构建教育大数据技术体系及分析应用

某区域智慧教育由于建设初期缺乏统一的顶层规划，造成各个系统相互独立、应用分散、数据分散和资源分散，导致各部门间共享数据困难，产生大量的数据孤岛、应用孤岛以及重复建设等问题。拓维信息从提升数据质量、推动数据共享和扩大数据应用三个角度助力该区域打造教育大数据治理平台，优化数据基础，继而构建由数据产生、数据采集、数据加工、数据存储到数据应用构成的全链条大数据技术体系，与区域各级教育管理部门、学校，以及各类教育应用建设企业携手共建，最终实现教育大数据的高效共享和应用，构建区域智慧教育生态圈。

高速大数据：构建数据中台与业务中台的高融合

自 2020 年 1 月 1 日全国高速取消跨界收费以来，全国超 14 万公里的高速公路上面临着每日新增 100TB 级别的数据，每月近 10 亿级别的流水记录；产生约

4PB 的图片数据，且技术要求图片查询速度不高于 1 秒等等数据难题。拓维信息基于以上数据难题，为湖南高速融合"数据、技术、业务"三大中台打造智慧中台大脑，使能智慧高速业务，为 AI 稽核等业务场景提供数据基础，打造智慧高速典型数据应用。

制造大数据：精益制造、高效管理

拓维信息为中烟某省分公司打造生产数据智能分析平台，实现关键工艺的实时预测与控制、设备预防维护评估、维修换件与库存优化等多项大数据应用，以多端数据可视化推动卷烟生产线精益制造管理，助力烟草行业数字化升级。

"大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型。"

--Viktor Mayer-Schönberger《大数据时代》

数据时代，作为人类社会继农业时代、工业时代后的全新发展阶段，"数据"已替代旧时代的生产要素，驱动着社会的发展变革。身处于 DT 时代的浪潮中，每个人、每件事、每个标签、每个符号...... 都可以化作为"数据"汪洋中的一个字节，在见证时代的同时也驱动着时代发展。

这是现在，也是未来，这就是大数据！