继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

AI不再模拟仿真,数据智能平台实现预测

慕标5832272
关注TA
已关注
手记 1229
粉丝 229
获赞 1001

数据智能(data intelligence)一词相较于大数据和人工智能而言更为年轻,但是数据智能的诞 生却和这两个由来已久的概念密不可分。简单讲,数据智能就是大数据和人工智能技术的融合。 数据智能应用的终极目标是利用一系列智能算法和信息处理技术实现海量数据条件下的人类深 度洞察和决策智能化,终走向普适的人机智能融合。它代表着一种新的认知范式,超越了简 单的“是什么”和“为什么”,即Jim Gray(图灵奖得主,关系数据库的鼻祖)所述的第四个 认知范式1:随着数据量的高速增长,计算机将不仅仅是模拟仿真,还能进行分析总结,得到结论, 终实现预测。

webp

数据智能平台(数据中台)的概念和特点

数据智能平台的概念往往包括了平台本身和运行平台的机制,本质是通过能力的共创、复用、 沉淀等,促进前端业务或者数据智能产品的效率、协同、创新

数据智能平台通常有两类:

一类是大型综合型的服务公司为了支持自身前端多样化的产品和业务而搭建 的,在公司的内部,常常被称为“数据中台”(如,阿里的“大中台”)。

另一类是开放生态下由某一个企业对接多个利益相关的企业而搭建的,为了支持生态系统中的合作伙伴构建面向 自己无法覆盖的多个业务情境的数据智能(例如,IBM的Watson)。无论是在企业内部还是在 更大范围的生态中,数据智能平台/数据中台的共有特点都是开放、共享。

在数据智能平台/数据中台中,包括着对应特定商业情境的可获得数据形成的数据集,一些通 用性的模型,也包括着处理这些数据集的工具的集合以及一些处理能力(例如计算资源和算法) 的集合,以及一些面向特定商业情景的数据、模型、工具能力的中间件,可以以服务化的形式呈现。

数据智能平台/数据中台不是纯粹的多种软件工具集合的平台,数据是它的护城河;数据中台 也不是简单的数据集的集合,服务化的中间件是它的组成部分。因此数据智能平台 /数据中台 需要在数据加工程度和软件工具、客制化和标准化中找到一个平衡,才能大效率地赋能数据 智能产品和解决方案。

webp

数据智能平台/数据中台有两大使命:帮助企业更好的“看现在”对现有数据的治理;帮助 企业更好的“看未来”通过数据挖掘对未来进行预测。“看现在”的终目的是为了更好的“看 未来”,这是因为在数据智能时代,数据的量级、异构程度都极其复杂,千里之行始于足下, 因此这是企业实现数据智能的第一步,也是实现数据智能价值为关键的一步。进一步来说, 这两个能力又包括了以下这些能力要素:为了更好“看现在”的连接、共享、安全;以及为了 更好“看未来”的管理、科学与工程。

1. 连接(connection):连接能力是一个数据智能平台的基础。连接指的是将不同来源的数据 连接、匹配、融合的能力,让用户能连接到云端和本地化的结构化、非结构化数据,包含支持 不同类型的数据存储平台。这个概念不强调对数据的拥有,而强调能够触及和返回的数据的广 度与饱和度。例如标识一个移动设备的设备号有很多种类型(imei,安卓id,ssid等),每个设 备号都能索引不同维度的数据。而一个数据智能平台应该可以尽可能广泛地将所有相关的数据 都引入平台,因此如何判定这些不同的设备号码背后映射的是同一设备、将不同来源的数据汇 聚和连接起来形成更丰富的数据维度,是数据智能平台的使命。

2. 共享(sharing): 共享能力是评估数据智能平台是否合格的首要标准。共享不代表完全的透明, 而是构建一个合理的、权限区分的、在保护数据的同时让知识价值流转的机制。为保护数据而 禁止任何算法的流转或者由数据所沉淀洞察知识的流转,都是不合理的。因此一个数据智能平 台存在的意义就是共享,并且是能够给对应的人共享他应该获得的信息,同时保障不应该共享 的部分——例如原始数据——应有的私密性。

3.安全(security):安全合规是重中之重。一个数据智能平台是中立的、合法合规的,它中间 涉及到的各项任务都应该是安全且合规的,具有安全管理、用户管理、平台接入与使用的审计、 调优和保障高可用性和容灾的能力。数据、算法、模型、工具和计算资源都要从进入数据智能 平台起,进行监控和管理、保障安全有效,同时所有的任务都应该遵循相关的法律法规有序进行, 不以危害数据安全、数据隐私为代价而换取效率的提高或任务的完成。更进一步,数据智能平 台有着帮助监管机构一起制定安全合规标准的责任与义务。

4.管理(governance):管理是数据智能平台实现价值的起步,是让数据成为企业的可开发资 源或者资产的第一步。数据是晦涩的、客观的,但是对于数据的管理就包含了数据管理者的智慧, 让数据的排列有序、结构趋同,可以被进一步的分域、保存、备份、重新组合,形成更多的协 同价值。常见的数据智能平台上的数据管理能力包括原数据管理 2 、自有数据的抽取、转换、加 载以及数据存储 3 、数据准备 4 等。

5.科学(science):数据科学是探索数据价值的流程,也是数据价值被挖掘的核心过程。不同于其他业务,数据的价值不是一次成型的,数据价值的挖掘依赖于不断假设、分析、验证、校 准的反复迭代过程,终才能凝聚沉淀成模型和解决的方案,这个过程不仅要秉承科学的范式, 也要使用科学的工具,才能保证结果的信效度和普适性。数据智能平台的流程的部分是符合科 学的流程,其工具也是科学的工具,才能让数据终转化成价值。常见的数据智能平台上的数 据科学能力有数据科学探索 5、可交互的视觉化探索 6 和可扩展的数据模型架构 7 等。

6.工程(engineering):不同于软件工程,数据工程是复杂的系统,也是数据智能平台的产出 能够直接影响决策的重要因素。数据能够直接变成决策,中间需要工程来构建环境,实现汇聚、 仿真和自动化。工程这个因素将数据和算法、工具和能力有机的结合起来,终形成一个封装的、 内部自成体系的数据智能产品,固化了整个数据智能平台上的相应资源和智慧。常见的数据智 能平台的的工程能力有便捷的使用和可视化展现,以及平台能力和工作流 8 等。

有了以上六个能力因素,数据智能平台才得以成为一个独特的平台,也成为企业想要快速构成 数据智能产品,实现客户价值的必需平台。

(部分内容来源于网络,如有侵权请联系删除)



作者:万智文摘
链接:https://www.jianshu.com/p/abdbd48336f5


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP