华为数据之道
序一
序二
序三
前言
第1章 数据驱动的企业数字化转型
1。1 非数字原生企业的数字化转型挑战
1。1。1 业态特征:产业链条长、多业态并存
1。1。2 运营环境:数据交互和共享风险高
1。1。3 IT建设过程:数据复杂、历史包袱重
1。1。4 数据质量:数据可信和一致化的要求程度高
1。2 华为数字化转型与数据治理
1。2。1 华为数字化转型整体目标
1。2。2 华为数字化转型蓝图及对数据治理的要求
1。3 华为数据治理实践
1。3。1 华为数据治理历程
1。3。2 华为数据工作的愿景与目标
1。3。3 华为数据工作建设的整体思路和框架
1。4 本章小结
第2章 建立企业级数据综合治理体系
2。1 建立公司级的数据治理政策
2。1。1 华为数据管理总纲
2。1。2 信息架构管理政策
2。1。3 数据源管理政策
2。1。4 数据质量管理政策
2。2 融入变革、运营与IT的数据治理
2。2。1 建立管理数据流程
2。2。2 管理数据流程与管理变革项目、管理质量与运营之间的关系
2。2。3 通过变革体系和运营体系进行决策
2。2。4 数据治理融入IT实施
2。2。5 通过内控体系赋能数据治理
2。3 建立业务负责制的数据管理责任体系
2。3。1 任命数据Owner和数据管家
2。3。2 建立公司层面的数据管理组织
2。4 本章小结
第3章 差异化的企业数据分类管理框架
3。1 基于数据特性的分类管理框架
3。2 以统一语言为核心的结构化数据管理
3。2。1 基础数据治理
3。2。2 主数据治理
3。2。3 事务数据治理
3。2。4 报告数据治理
3。2。5 观测数据治理
3。2。6 规则数据治理
3。3 以特征提取为核心的非结构化数据管理
3。4 以确保合规遵从为核心的外部数据管理
3。5 作用于数据价值流的元数据管理
3。5。1 元数据治理面临的挑战
3。5。2 元数据管理架构及策略
3。5。3 元数据管理
3。6 本章小结
第4章 面向“业务交易”的信息架构建设
4。1 信息架构的四个组件
4。1。1 数据资产目录
4。1。2 数据标准
4。1。3 数据模型
4。1。4 数据分布
4。2 信息架构原则:建立企业层面的共同行为准则
4。3 信息架构建设核心要素:基于业务对象进行设计和落地
4。3。1 按业务对象进行架构设计
4。3。2 按业务对象进行架构落地
4。4 传统信息架构向业务数字化扩展:对象、过程、规则
4。5 本章小结
第5章 面向“联接共享”的数据底座建设
5。1 支撑非数字原生企业数字化转型的数据底座建设框架
5。1。1 数据底座的总体架构
5。1。2 数据底座的建设策略
5。2 数据湖:实现企业数据的“逻辑汇聚”
5。2。1 华为数据湖的3个特点
5。2。2 数据入湖的6个标准
5。2。3 数据入湖方式
5。2。4 结构化数据入湖
5。2。5 非结构化数据入湖
5。3 数据主题联接:将数据转换为“信息”
5。3。1 5类数据主题联接的应用场景
5。3。2 多维模型设计
5。3。3 图模型设计
5。3。4 标签设计
5。3。5 指标设计
5。3。6 算法模型设计
5。4 本章小结
第6章 面向“自助消费”的数据服务建设
6。1 数据服务:实现数据自助、高效、复用
6。1。1 什么是数据服务
6。1。2 数据服务生命周期管理
6。1。3 数据服务分类与建设规范
6。1。4 打造数据供应的“三个1”
6。2 构建以用户体验为核心的数据地图
6。2。1 数据地图的核心价值
6。2。2 数据地图的关键能力
6。3 人人都是分析师
6。3。1 从“保姆”模式到“服务+自助”模式
6。3。2 打造业务自助分析的关键能力
6。4 从结果管理到过程管理,从能“看”到能“管”
6。4。1 数据赋能业务运营
6。4。2 数据消费典型场景实践
6。4。3 华为数据驱动数字化运营的历程和经验
6。5 本章小结
第7章 打造“数字孪生”的数据全量感知能力
7。1 “全量、无接触”的数据感知能力框架
7。1。1 数据感知能力的需求起源:数字孪生
7。1。2 数据感知能力架构
7。2 基于物理世界的“硬感知”能力
7。2。1 “硬感知”能力的分类
7。2。2 “硬感知”能力在华为的实践
7。3 基于数字世界的“软感知”能力
7。3。1 “软感知”能力的分类
7。3。2 “软感知”能力在华为的实践
7。4 通过感知能力推进企业业务数字化
7。4。1 感知数据在华为信息架构中的位置
7。4。2 非数字原生企业数据感知能力的建设
7。5 本章小结
第8章 打造“清洁数据”的质量综合管理能力
8。1 基于PDCA的数据质量管理框架
8。1。1 什么是数据质量
8。1。2 数据质量管理范围
8。1。3 数据质量的总体框架
8。2 全面监控企业业务异常数据
8。2。1 数据质量规则
8。2。2 异常数据监控
8。3 通过数据质量综合水平牵引质量提升
8。3。1 数据质量度量运作机制
8。3。2 设计质量度量
8。3。3 执行质量度量
8。3。4 质量改进
8。4 本章小结
第9章 打造“安全合规”的数据可控共享能力
9。1 内外部安全形势,驱动数据安全治理发展
9。1。1 数据安全成为国家竞争的新战场
9。1。2 数字时代数据安全的新变化
9。2 数字化转型下的数据安全共享
9。3 构建以元数据为基础的安全隐私保护框架
9。3。1 以元数据为基础的安全隐私治理
9。3。2 数据安全隐私分层分级管控策略
9。3。3 数据底座安全隐私分级管控方案
9。3。4 分级标识数据安全隐私
9。4 “静”“动”结合的数据保护与授权管理
9。4。1 静态控制:数据保护能力架构
9。4。2 动态控制:数据授权与权限管理
9。5 本章小结
第10章 未来已来:数据成为企业核心竞争力
10。1 数据:新的生产要素
10。1。1 数据被列为生产要素:制度层面的肯定
10。1。2 数据将进入企业的资产负债表
10。1。3 数据资产的价值由市场决定
10。2 大规模数据交互的企业数据生态
10。2。1 数据生态离不开底层技术的支撑
10。2。2 数据主权是数据安全交换的核心
10。2。3 国际数据空间的目标与原则
10。2。4 多方安全计算强化数据主权
10。3 摆脱传统手段的数据管理方式
10。3。1 智能数据管理是数据工作的未来
10。3。2 内容级分析能力提供资产全景图
10。3。3 属性特征启发主外键智能联接
10。3。4 质量缺陷预发现
10。3。5 算法助力数据管理
10。3。6 数字道德抵御算法歧视
10。4 第四个世界:机器认知世界
10。4。1 真实唯一的“物理世界”和五彩缤纷的“人类认知世界”
10。4。2 映射“物理世界”的数字孪生——“数字世界”
10。4。3 “数字世界”中的智能认知——“机器认知世界”
10。5 本章小结
序一
第三次工业革命带来了机器的进步,但却不能解决一个行业或者
一家企业的运营问题,运营效率低下带来的运营成本居高不下,已经
成为一个时代性的难题。随着第四次工业革命的来临,数字化生产已
经成为普遍的商业模式,其本质是以数据为处理对象,以ICT平台为生
产工具,以软件为载体,以服务为目的的生产过程。数字技术和数字
平台能够从根本上解决这个时代性的问题,使企业有可能在产品、体
验和成本三要素上同时做到最优。
全球各行各业都在积极探索和开展数字化建设,期望通过数字化
技术来支撑业务的长期、持续增长。华为作为一家拥有30多年历史、
全球领先的ICT基础设施和智能终端供应企业,同样有着数字化转型的
强烈愿望。
华为为什么要进行数字化转型?
华为是一家业务范围涵盖研发、营销、制造、供应、采购、服务
等领域的非数字原生企业,在信息化时代初期建立了很多相对独立的
IT系统,典型的特点是形成了“一类业务、一个IT系统、一个数据
库”的封闭式IT架构。其带来的直接问题就是“数据孤岛”
:IT系统
中的数据语言不统一,不同IT系统之间的数据不贯通,同样的数据需
要在不同IT系统中重复录入,甚至不同IT系统中的同一个数据不一致
等。这些问题限制了运营效率的提升和效益的改进,华为迫切需要数
字化转型来改变这种状况。
华为规划的数字世界是什么样子的?
其内容无外乎就是业务对象、业务过程和业务规则的数字化,华
为希望构建一个实现感知、联接和智能的数据平台。感知是物理世界
与数字世界之间形成完整且有效的映射,联接是把各种离散的数据相
互联系成有机整体,智能是在这个基础上加入一些大数据和高级模型
算法。
华为如何进行数字化转型?
首先,要抓住数据治理这个“牛鼻子”。华为的IT系统和数据有
太多的历史包袱,要进行数据治理并不容易,到今天为止,我们所做
的也只能说“刚刚及格”。我们想要在构建新的数据平台时不对原有
的信息系统进行颠覆性改造。因此我们一方面通过感知能力实现业务
数据的自动采集,另一方面通过一些技术手段,把现有的各个相对独
立的数据库中的数据按一定的标准进行汇聚和联接。这就带来了“数
据湖”的全新体验,先初步解决“数据孤岛”的问题,然后再来进行
深入的数据治理。
数字化转型是当前各个行业的各个企业最关心的话题,是一次大
的机遇,也是一次大的挑战。现在业界的数字化转型过多地强调了技
术的动因,而我认为数字化转型应该首先强调业务价值。根据Paul
Romer的《内生经济理论》,我们在做数字化转型时要反复问自己:
第一,数字化转型到底要解决客户的什么问题?用户到底需要什
么?用户和客户关心的问题在哪?
第二,业务战略到底要解决业务的什么问题?
第三,变革是否有一个好的规划和持续的架构?
数字化转型是一个持续优化的过程,只有起点,没有终点。
本书是华为视角的数据治理总结,其中的内容都是华为在数字化
转型实践中的经验和教训。数据治理是一件很专业的事情,我们希望
本书能给同行提供借鉴、带来启发,也能促成业界与我们的深入探讨
和研究,共同推进企业的数字化转型。
陶景文
华为董事、质量与流程IT总裁、CIO
序二
2017年初,数字化大潮方兴未艾,华为轮值董事长郭平在公司
“817变革战略规划”中提出,要在内部率先实现数字化转型,并把实
现ROADS体验、全面提升运营效率作为公司各业务单元和功能领域的共
同变革目标。对于集研发、制造、采购、供应、销服于一体,横跨
ToB、ToC业务领域,运营30余年的一家传统企业,如何用数字化的手
段来全面改造公司的流程和IT,改变支撑近20万人有效运作的运营模
式,成为华为公司变革指导委员会讨论的焦点。
不同于数字世界的“原住民”,非数字原生企业的数字化转型是
企业的一次巨大变革。这场变革涉及商业模式、运营模式的变化,需
要完成流程、组织、IT、文化等多方面的转变,对于飞速发展的华为
来说,相当于在高速路上换轮胎。华为当时面临的局面是,存量的
IT“烟囱”遍布各个业务但又支撑着海量的交易和分析,各种短期见
效的数据搬家、自动化小工具逐渐从“帮手”变成了“帮凶”,数据
被“私有化”为各个业务部门的“资产”,“表哥表姐”为了实现数
字化运营加班加点整理Excel,高薪招来的数据科学家却因为没有数据
而闲得离职……
变革指导委员会经过充分的讨论达成共识:数字化转型要坚持业
务和技术的双轮驱动,而连接双轮的“轴”就是数据。只有建立统
一、清洁、智能的数据底座,才能支撑公司不断发展的新业务,支撑
各个区域市场的差异化需求,实现“数据实时可视、海量业务自动、
算法支撑决策”,实现“万物互联的智能世界”。
2017年10月,“统一数据底座建设”项目立项。针对数据搬家
多、找不到、读不懂、获取难、不敢信等痛点,将“打破数据孤岛,
支撑数字化转型,实现数据随需共享、敏捷自助、安全合规”作为项
目目标。项目组一手抓数据入湖与联接,一手抓数据消费,经过两年
多的努力,终于基本完成了数据底座的建设。今天,数据底座支撑着
华为在全球170多个国家的差异化运营,支撑着公司各BG海量的交易与
分析,驱动了交付、供应、财经等诸多领域的运营模式(在线、远
程、集中)转型,也帮助公司实现了在美国极限施压下的快速分析与
应对。数据底座成为华为数字化转型的基石。
数字化变革不仅仅是技术的变革,华为数据底座的建设过程充分
说明了这一点。本书是华为数字化转型过程中数据变革实战的阶段总
结,希望能给数字化转型道路上的企业一些帮助,同时也欢迎各方朋
友交流、指正。
熊康
华为企业架构与变革管理部部长
序三
企业数字化转型是大势所趋,通过数据科学治理、数据平台建
设、数据分析与建模,把数据变成服务,使数据能在企业内顺畅流动
起来,为企业带来巨大的价值。数据是企业数字化转型的重要基础。
为了实现数字化转型,企业需要构建以云为基础、以数据为驱动
的新型企业IT架构。但是,多年积累下来的存量IT系统和大量历史数
据怎么办?华为数字化转型的核心理念是“双模IT、立而不破”,通
过建立新老环境融合的双模(Bi-Model)IT架构,把企业的新老数据
和应用与正在及未来将要产生的IoT数据连接在一起,构建统一的数据
与应用平台,并与机器学习、人工智能等技术手段相结合,使数据产
生更大的价值。
数据的潜在应用场景有很多,但是企业只有将数据与自身业务相
结合,从业务实际问题出发,结合数据分析技术找到解决方案,并及
时变现,才有真正的意义。数据时代已经到来,华为在深入数字化转
型的过程中,在全球供应链、松山湖制造工厂以及170多个国家的工程
交付现场,以“对象数字化、过程数字化和规则数字化”为基本原
则,通过IT工具引入和人工智能元素的叠加,实现从过去的“人拉肩
扛”到现在的线下、线上高效协同,为业务创造了很大的价值。
本书对华为公司多年数据治理和数据消费变革历程进行了系统性
总结,从治理体系、架构方法、流程规范、IT工具、数据组织等多方
面总结了企业在数据治理中面临的挑战及其解决方案,并介绍了一些
华为独有的创新成果,如数据底座、数据湖、主题联接、数据地图、
数据生态等。
相信华为在数字化转型历程中所积累的实践、方法和思考,会使
奋战在各行各业的企业家和IT同人产生共鸣。让数据治理更简单,使
用更简单,能够更方便地挖掘数据价值,是我们共同的期许。企业数
字化转型不可能一蹴而就,而是一个长期的过程。本书将华为在数据
管理和数字化转型实践中沉淀的能力对外分享,与志同道合的业界同
人一起切磋、联合创新,一定可以加速企业数字化转型的进程。
苏立清
华为云副总裁、华为云首席数字化转型官
前言
随着数字化转型的深入开展,数据成为新的生产要素。对于非数
字原生企业,数据治理的重要性越来越突出。如何有效地开展数据治
理工作、提升数据质量、打破数据孤岛、充分发挥数据的业务价值,
成了业界的热门话题。本书基于华为数据治理的历程,介绍了华为数
据工作的愿景、整体思路框架,阐述了企业级数据综合治理体系和方
法论,回顾了华为数据底座的建设过程,总结了华为数据治理和数字
化转型的经验。
华为公司作为典型的非数字原生企业,发展初期基本是以物理世
界为中心构建的,缺乏以软件和数字平台为核心的数字世界架构,在
数字化转型过程中,面临着巨大挑战。华为从小到大、从弱到强几十
年不断发展的历程中,伴随着一次次重大业务变革、信息化建设和数
字化转型。本书理论结合实践,通过对华为公司数据治理体系和数据
底座建设方法与实践的介绍,讲述了数据工作如何支撑业务变革,如
何驱动数字化转型,总结了华为数据工作的发展历程、经验和对未来
的思考。书中所述的方法、规范、解决方案都经过华为内部的充分实
践,相信对企业数字化转型的领导者、设计者、实施者和参与数据治
理的同行,会有一定的启发和借鉴意义。
内容简介
本书共10章,内容从逻辑上可以分为四部分。
第一部分为第1~3章。第1章以非数字原生企业在数字化转型时面
临的挑战为引导,阐述了数据驱动的企业数字化转型理念,介绍了华
为公司的数据治理框架;第2章从企业政策和架构协同的角度,介绍了
企业级的数据综合治理体系,理顺了数据与变革、运营、IT之间的协
同关系,明确了数据管理的责任主体在业务;第3章以数据特性的差异
为维度,详细阐述了不同类型数据的不同管理方式,明确了结构化数
据、非结构化数据、外部数据、元数据的核心管理要点。
第二部分为第4~6章,介绍了数据治理工作中的三项重点建设任
务:信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组
件,给出了建设原则和核心要素,并引出了业务对象、过程、规则三
项数字化的建设方向;第5章提出了数据底座建设的整体框架,分别介
绍了数据湖和数据主题联接两个层次的建设实践;第6章以自助、高
效、复用为数据服务的目的,提出了对数据进行搜索、加工和分析的
消费过程管理方案。
第三部分为第7~9章,介绍了数据治理的三项关键能力:数据的
全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接
触感知为目标,介绍了数据的硬感知和软感知两类能力;第8章基于
PDCA框架,介绍了对企业业务数据异常的全面监控,从而助力数据质
量综合水平的提升;第9章介绍如何构建以元数据为基础的数据安全隐
私保护框架,如何建立动静结合的数据保护与授权管理方案。
第四部分为第10章。基于对“机器认知世界”的理解,我们提出
了对数据治理未来的思考,畅想了AI治理、数据主权和数据生态建
设。未来已来,让我们共同努力,把数字世界带入每个人、每个家
庭、每个组织,构建万物互联的智能世界。
读者对象
企业管理者:CEO,CIO,CDO,数字化转型项目的领导者、设计者
和实施者。
数据从业人员:数据架构师、数据工程师、数据质量工程师、数
据产品经理、数据分析师。
IT从业人员:应用架构师、数据库专家、业务架构师。
致谢
本书主要作者有马运(Yun Ma)、杜浩、王强、陈实和周剑锋。
参与写作的还有公司数据管理部的专家韦冬、廖华赟、赵子文、傅琨
等。各位作者在数据领域耕耘和坚持多年。
本书的写作目的来自内外两方面:首先,公司内部希望我们对数
据工作进行系统的梳理总结,积累企业数字化转型的经验;其次,华
为云和华为中国地区部也希望我们能够写本书,以便和客户分享华为
数据治理的实践,输出数据驱动企业数字化转型的理念和方法。在此
感谢陶景文、熊康、邓涛、洪方明、韩晓、苏立清等领导的建议、支
持和指导。
本书的内容来自华为数据体系多年的工作实践,特别是最近几年
在数字化转型方面的探索。公司数据治理的实践经验是在公司变革体
系、质量运营体系、流程体系、IT和数据体系等各部门的共同努力下
取得的。感谢郝健康、张印臣两位领导对数据体系建设的贡献!感谢
数据体系的全体同人!感谢所有支持数据工作的同事!
感谢华为云殷宏、祝向党,华为大学陈小宇、蒋文俏以及胡小敏
等人从读者视角对本书进行审视,并在编写过程中给予了我们很大的
帮助。
数字化转型波澜壮阔,华为数据治理也历经十多年沉淀,成果丰
富,本书呈现出来的内容实属挂一漏万,加上编写时间仓促,书中难
免会出现一些失误或者不准确的地方,恳请读者批评指正。
华为公司数据管理部
第1章
数据驱动的企业数字化转型
随着通信与数字技术的发展,网络化和数字化给人类带来更多的
精彩和无限的可能,推动我们进入全联接的信息时代和大数据时代。
因此,如何响应这个时代的变化是当前所有企业都需要考虑的问题。
在这样的时代背景下,数字化转型正在改变许多企业和行业的运
作模式,无论是数字原生企业,还是非数字原生企业,都在积极探索
数字化转型。社会经济大环境的变化、行业趋势的变化、竞争对手的
压力、公司的战略优化、自身经营的改善等是企业数字化转型最主要
的驱动力。
IDC(国际数据公司)预测,鉴于竞争对手和产业都在进行数字化
转型,如果企业不能快速实现数字化转型,到2022年,它们逾三分之
二的目标市场会消失。过去几年里,IT厂商和传统企业始终专注于数
字化转型,它们利用第三平台技术(云计算、移动、大数据/分析、社
交)重组企业架构,而物联网(IoT)、人工智能(AI)和增强与虚拟
现实(AR/VR)等创新加速器更进一步推动了这一进程。随着数字覆盖
面的扩大、智能技术的广泛普及、应用程序与服务开发的爆发式增
长,企业不断释放出“倍增创新”能力,数字化转型已步入第二阶
段。在这个技术与商业日新月异的环境中,企业竞相加强自己的数字
化创新能力,以便在快速数字化的全球经济中提升竞争力,实现繁荣
发展。
企业要想在这样的数字时代生存下来,要么是数字原生企业,要
么数字化转型成功,成为重生后的数字企业。
1。1 非数字原生企业的数字化转型挑战
数字原生企业在设立之初就以数字世界为中心来构建,生成了以
软件和数据平台为核心的数字世界入口,便捷地获取和存储了大量的
数据,并开始尝试通过机器学习等人工智能技术分析这些数据,以便
更好地理解用户需求,增强数字化创新能力。部分数字原生企业引领
着云计算、大数据、人工智能技术的发展,推动了数字化时代的发
展。在这些数字原生企业中,整个企业的战略愿景、业务需求、组织
架构、人员技能、管理文化、思考方式都是围绕着数字世界展开的。
与数字原生企业不同,非数字原生企业在成立之时,基本都是以
物理世界为中心来构建的。绝大部分企业在创建的时候,是围绕生
产、流通、服务等具体的经济活动展开的,天然缺乏以软件和数据平
台为核心的数字世界入口,这也就造成了非数字原生企业与数字原生
企业之间的显著差异。所以在数字化转型过程中,非数字原生企业面
临着更大的挑战。
华为公司作为典型的非数字原生企业,在数字化转型过程中面临
着与大多数非数字原生企业相似的问题。
1。1。1 业态特征:产业链条长、多业态并存
非数字原生企业,特别是大中型生产企业,往往有较长的业务链
路,从研发到销售全产业链覆盖。以传统的钢铁企业为例(如图1-1所
示),完整工艺包括采矿、选矿、烧结、炼铁、炼钢、热轧、冷轧、
硅钢等,辅助生产工艺包括焦化、制氧、燃气、自备电、动力等,在
各个工艺流程中沉淀着大量的复杂数据。
图1-1 钢铁企业工艺流程简图
华为公司在构建面向客户价值流的过程中,同样形成了从研发到
销售、供应、交付、运维的长链条,同时产品类型包括电信基站、服
务器、CPU、电脑、手机、耳机等,横跨多个产业。这在某种程度上造
成了各条块分割、业务组织强势、变革困难、变革复杂度极高等问
题。
1。1。2 运营环境:数据交互和共享风险高
非数字原生企业,特别是注重实物生产、交易的大中型企业,还
面临着场景复杂的特点,比如交易复杂、风险周期长、内外部风险多
等。生产过程中需要关注原材料供应、人工成本、物流过程;交易过
程中涉及进出口的还需要关注外汇汇率、当地政治环境、海关、法律
法规、安全隐私、环境保护等多种信息;对于设备需要异地安装的情
况,还需要考虑地理环境、道路环境、施工条件、运输条件、用工政
策和安全防护等复杂因素。
华为公司的服务对象从运营商、企业客户到个人消费者,服务范
围和雇员遍布全球100多个国家和地区,需要严格遵守各个国家和地区
的进出口管制措施、环保条例、安全隐私法规等。这些业务形态上的
特点,导致包括华为在内的诸多非数字原生企业对数据共享(特别是
生产、销售侧数据的对外共享)有更多顾虑,更容易形成客观上的
“数据孤岛”。
1。1。3 IT建设过程:数据复杂、历史包袱重
非数字原生企业普遍有较长的历史,组织架构和人员配置都围绕
着线下业务开展,大都经历过信息化过程。很多制造型企业随着不同
阶段的发展需求,保留着各个版本的ERP软件和各种不同类型的数据库
存储环境,导致数据来源多样,独立封装和存储的数据难以集中共
享,也不敢随意改造或替换,IT系统历史包袱沉重。Oracle ERP历年
的版本信息如图1-2所示。
图1-2 Oracle ERP历年的版本信息(资料参考:Oracle)
目前,华为公司的主业务流程中存在几千个系统模块,有多版本
的ERP、多种集成方式,系统间存在大量复杂的集成和嵌套。各业务领
域开发了上千个应用系统模块,包含上百万张物理表、几千万个字
段,这些数据又分别存储在上千个不同数据库中,共享困难;数据链
路呈“长网”状,典型链路达12层以上,部分链路甚至高达22层。
1。1。4 数据质量:数据可信和一致化的要求程度高
基于业务特征和运营环境的特点,非数字原生企业对数据生成质
量有更高的要求。数据产生时的质量高低不仅直接影响产品质量,而
且直接影响整个内部业务的运作效率和成本。例如,华为公司会对合
同录入质量进行严格度量和控制,以确保下游各环节能够及时、准
确、完整地获得所需数据,并在整个端到端链条中对异常数据进行严
格监控。数据质量要求严格,需要配置多重精确规则,基于客观事实
多重校验,确保数据可信、一致。
非数字原生企业在消费数据时对数据质量的要求也更高,一般会
更聚焦于与业务流程相关的特定场景,更关注业务流程中问题的根因
和偏差,数据挖掘、推理、人工智能都会聚焦于对业务的理解,面向
业务去做定制化、精细化的算法管理,因此消费数据时的质量容错空
间非常小。
上面所列出的非数字原生企业的特点,是我们基于华为的发展和
对行业的认知所总结的,包括对非数字原生企业存在的问题和历史包
袱等的表述,只是管中窥豹。联合国工业体系分类中525门小工业体系
的差异,足以说明非数字原生企业数字化转型的复杂性。精益管理技
术下的不合格产品的“小数据”,让制造业AI难以基于这样的数据量
训练出性能良好的产品质检模型,同样说明非数字原生企业的数字化
转型不可能是对数字原生企业的简单复刻。
1。2 华为数字化转型与数据治理
传统企业通过制造先进的机器来提升生产效率,但是未来,如何
结构性地提升服务和运营效率,如何用更低的成本获取更好的产品,
成了时代性的问题。数字化转型归根结底就是要解决企业的两大问
题:成本和效率,并围绕“多打粮食,增加土地肥力”而开展。
1。2。1 华为数字化转型整体目标
2016年华为变革战略规划,明确要面向用户(企业客户、消费
者、员工、合作伙伴、供应商)实现ROADS体验,持续提升效率、效益
和客户满意度。明确要用五年时间完成业务数字化转型,数字化转型
成为华为唯一的变革。
2017年华为提出了企业的新愿景:
“把数字世界带入每个人、每
个家庭、每个组织,构建万物互联的智能世界”。同时,华为公司董
事、CIO陶景文提出了“实现全联接的智能华为,成为行业标杆”的数
字化转型目标(如图1-3所示)。
图1-3 数字化转型目标
对内,各业务领域数字化、服务化,打通跨领域的信息断点,达
到领先于行业的运营效率。逐步构建以“面向客户做生意”和“基于
市场的创新”两个业务流为核心的“端到端”的数字化管理体系。管
理方式从定性走向定量,实现数据驱动的高效运作。
对外,对准5类用户的ROADS体验,实现与客户做生意更简单、更
高效、更安全,提升客户满意度。华为首先从用户体验的视角表达了
对行业的最新判断,并将其总结为ROADS,即实时(Real-time)、按
需(On-demand)、全在线(All-online)、服务自助(DIY)和社交
化(Social)。
1。2。2 华为数字化转型蓝图及对数据治理的要求
2017年,华为基于愿景确定了数字化转型的蓝图和框架,统一规
划、分层次开展,最终实现客户交互方式的转变,实现内部运营效率
和效益的提升。华为数字化转型蓝图包括5项举措(如图1-4所示)。
图1-4 华为数字化转型蓝图
举措1:实现“客户交互方式”的转变,用数字化手段做厚、做深
客户界面,实现与客户做生意更简单、更高效、更安全,提升客户体
验满意度,帮助客户解决问题。
举措2:实现“作战模式”的转变,围绕两大主业务流,以项目为
中心,对准一线精兵团队作战,率先实现基于ROADS的体验,达到领先
于行业的运营效率。
举措3:实现“平台能力”提供方式的转变,实现关键业务对象的
数字化并不断汇聚数据,实现流程数字化和能力服务化,支撑一线作
战人员和客户的全联接。
举措4:实现“运营模式”的转变,基于统一数据底座,实现数字
化运营与决策,简化管理,加大对一线人员的授权。
举措5:云化、服务化的IT基础设施和IT应用,统一公司IT平台,
同时构建智能服务。
其中,举措4涉及数据治理和数字化运营,是华为数字化转型的关
键,承接了打破数据孤岛、确保源头数据准确、促进数据共享、保障
数据隐私与安全等目标。华为数字化转型对数据治理的要求如下:
1)基于统一的数据管理规则,确保数据源头质量以及数据入湖,
形成清洁、完整、一致的数据湖,这是华为数字化转型的基础。
2)业务与数据双驱动,加强数据联接建设,并能够以数据服务方
式,灵活满足业务自助式的数据消费诉求。
3)针对汇聚的海量内外部数据,能够确保数据安全合规。
4)不断完善业务对象、过程与规则数字化,提升数据自动采集能
力,减少人工录入。
1。3 华为数据治理实践
华为从2007年开始启动数据治理,历经两个阶段的持续变革,系
统地建立了华为数据管理体系。第一阶段近十年的持续投入为华为在
2017年开始的数字化转型打下了坚实的基础。同时,在数字化转型对
数据治理的新要求下,正式进入第二阶段,数据治理工作也迎来了新
的挑战和发展。
1。3。1 华为数据治理历程
1。 第一阶段:2007~2016年
在这一阶段,华为设立数据管理专业组织,建立数据管理框架,
发布数据管理政策,任命数据Owner,通过统一信息架构与标准、唯一
可信的数据源、有效的数据质量度量改进机制,实现了以下目标。
1)持续提升数据质量,减少纠错成本:通过数据质量度量与持续
改进,确保数据真实反映业务,降低运营风险。
2)数据全流程贯通,提升业务运作效率:通过业务数字化、标准
化,借助IT技术,实现业务上下游信息快速传递、共享。
2。 第二阶段:2017年至今
在这一阶段,华为建设数据底座,汇聚企业全域数据并对数据进
行联接,通过数据服务、数据地图、数据安全防护与隐私保护,实现
了数据随需共享、敏捷自助、安全透明的目标,支撑着华为数字化转
型,实现了如下的数据价值。
1)业务可视,能够快速、准确决策:通过数据汇聚,实现业务状
态透明可视,提供基于“事实”的决策支持依据。
2)人工智能,实现业务自动化:通过业务规则数字化、算法化,
嵌入业务流,逐步替代人工判断。
3)数据创新,成为差异化竞争优势:基于数据的用户洞察,发现
新的市场机会点。
华为数据治理的发展历程如图1-5所示。
图1-5 华为数据治理的两个阶段
1。3。2 华为数据工作的愿景与目标
华为公司基于多业务、全球化、分布式管理等业务战略规划和数
字化转型诉求,明确了华为数据工作的愿景,即“实现业务感知、互
联、智能和ROADS体验,支撑华为数字化转型”。华为数据工作的目标
为“清洁、透明、智慧数据,使能卓越运营和有效增长”。为确保数
据工作的愿景与目标达成,需要实现数据自动采集、对象/规则/过程
数字化、数据清洁、安全共享等特性(如图1-6所示)。
图1-6 华为数据治理的愿景与目标
1。3。3 华为数据工作建设的整体思路和框架
作为非数字原生企业,我们认为数字化转型的关键要素之一是在
现实世界的基础上构建一个跨越孤立系统、承载业务的“数字孪生”
的数字世界。通过在数字世界汇聚、联接与分析数据,进行描述、诊
断和预测,最终指导业务改进。在实现策略上,数字世界一方面要充
分利用现有IT系统的存量数据资产,另一方面要构建一条从现实世界
直接感知、采集、汇聚数据到数字世界的通道,不断驱动业务对象、
过程与规则的数字化。华为数据工作建设的整体思路如图1-7所示。
图1-7 华为数据工作建设的整体思路
华为经过多年实践,形成了一套数据工作框架。
1)数据源:业务数字化是数据工作的前提,通过业务对象、规则
与过程数字化,不断提升数据质量,建立清洁、可靠的数据源。
2)数据湖:基于“统筹推动、以用促建”的建设策略,严格按六
项标准,通过物理与虚拟两种入湖方式,汇聚华为内部和外部的海量
数据,形成清洁、完整、一致的数据湖。
3)数据主题联接:通过五种数据联接方式,规划和需求双驱动,
建立数据主题联接,并通过服务支撑数据消费。
4)数据消费:对准数据消费场景,通过提供统一的数据分析平
台,满足自助式数据消费需求。
5)数据治理:为保障各业务领域数据工作的有序开展,需建立统
一的数据治理能力,如数据体系、数据分类、数据感知、数据质量、
安全与隐私等。
数据体系建设的整体框架(如图1-8所示),基于统一的规则与平
台,以业务数字化为前提,数据入湖为基础,通过数据主题联接并提
供服务,支撑业务数字化运营。
图1-8 华为数据工作建设的整体框架
1。4 本章小结
本书是华为数据治理方法论和数据建设实践经验的总结,本章从
宏观上介绍了华为在数字化转型和数据治理方面面临的挑战和整体策
略。后续内容将从数据体系建设和数据分类开始,围绕信息架构、数
据底座、数据服务建设,结合数据感知、数据质量和安全合规能力打
造,详细阐述华为在数据治理和数字化转型方面的经验。
第2章
建立企业级数据综合治理体系
数据作为一种新的生产要素,在企业构筑竞争优势的过程中起着
重要作用,企业应将数据作为一种战略资产进行管理。数据从业务中
产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参
与,IT系统确保遵从,这是一个非常复杂的系统工程。
华为公司经过十多年的实践证明,只有构筑一套企业级的数据综
合治理体系,才能确保关键数据资产有清晰的业务管理责任,IT建设
有稳定的原则和依据,作业人员有规范的流程和指导;当面临争议
时,有裁决机构和升级处理机制;治理过程所需的人才、组织、预算
有充足的保障。综合上述因素,最终建立有效的数据治理环境,数据
的质量和安全得到保障,数据的价值才能真正发挥出来。
华为的数据治理体系框架如图2-1所示。
图2-1 华为数据治理体系框架
2。1 建立公司级的数据治理政策
数据治理政策是华为数据治理的顶层设计,该政策在华为公司
EMT(经营管理团队)汇报通过后,由总裁签发,该政策明确了数据工
作在华为公司治理体系中的地位,体现了公司管理层对数据工作重要
性的统一认知。
2。1。1 华为数据管理总纲
华为数据管理总纲明确了数据治理最基本的原则,包括信息架
构、数据产生、数据应用及数据质量的职责和分工等,确保数据治理
环境的有效构建。
(1)信息架构管理原则
第一条:建立企业级信息架构,统一数据语言。
第二条:所有变革项目须遵从数据管控要求。对于不遵从管控要
求的变革项目,数据管控组织拥有一票否决权。
第三条:应用系统设计和开发应遵从企业级信息架构。关键应用
系统必须通过应用系统认证。
(2)数据产生管理原则
第一条:数据规划对齐业务战略,业务战略规划必须包含关键数
据举措及其路标规划。
第二条:公司数据Owner拥有公司数据管理的最高决策权,依托
ESC(变革指导委员会)决策平台议事。各数据Owner承担数据工作路
标、信息架构、数据责任机制和数据质量的管理责任。
第三条:关键数据须定义单一数据源,一点录入,多点调用。数
据质量问题应在源头解决。
第四条:谁产生数据,谁对数据质量负责。数据Owner负责基于使
用要求制定数据质量标准,且须征得关键使用部门的同意。
(3)数据应用管理原则
第一条:数据应在满足信息安全的前提下充分共享,数据产生部
门不得拒绝跨领域的、合理的数据共享需求。
第二条:信息披露、数据安全管理、数据保管和个人数据隐私保
护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商
业伙伴和其他可识别个体的数据。
(4)数据问责与奖惩管理原则
各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构
或存在严重数据质量问题的责任人进行问责。
2。1。2 信息架构管理政策
信息架构是公司统一的数据语言,是业务流打通、消除信息孤岛
和提升业务流集成效率的关键要素。华为公司通过明确对信息架构的
管理要求,规范信息架构的建设和遵从原则,使公司的信息资产得到
有效管理和重用。
(1)管理信息架构的角色与职责
第一条:公司数据Owner负责