你、我、他的中台 | 从数据中台到AI中台

创业点子 阅读(765)
新利18体育app苹果版

每个人都是产品经理。我想在3天前分享它

本文首先谈谈中间的数据是什么,然后是平台中间的理想数据,然后谈谈数据中的技术,了解台湾,并结合新的思维图来确定数据。台湾的中间将是下一个发泄,最后从数据中泰到艾中泰是一个自然增长。

image.php?url=0MZGsiu5ct

用旧地图找不到新世界是不可能的!

在香港青年创业营的早年,马云的老师公开表示,DT,阿里巴巴也是早期企业在中间建立数据。但是,马老师没有说明平台中间数据背后的目的以及数据背后的力量。

在本文中,作者首先讨论了数据的中间部分,然后是平台中间数据的理想结构,然后是在平台中间理解数据的技术,并结合新的思维图判断台湾中间的数据将成为下一个出路?最后,从中间的数据到中间的AI是自然增长。

首先,中间的数据是什么?

在第二次世界大战期间,美国军队为军队而战;当它在越南战争中,它作为一个单位进行战斗;当它在中东时,它与一个7或11人的小班战斗。这是今天最灵活的军事组织。它也是一个拥有最强核心竞争力和打击能力的组织。美国军方之所以能够灵活战斗,敢于把这么小的团队放在前面,是因为有一个非常强大的导弹指挥系统和非常强大的中型能力。它可以支持这样一个小团队快速做出判断并引领整个罢工。

随着阿里巴巴和华为业务的发展,有越来越多的平台业务线。例如,根据作者之前的调查,阿里巴巴的中型BU(商业集团)每年生产117种产品,并在年底上线。有超过10个模型,有几个社会认可的模型。整个部门中没有人被集团所有者Ma记住。

产品线实际收到的任务是针对大型淘淘服务,以及与淘大广告相关的服务,如直通车服务,演习等产品,没有热情。动员团队开发和创造产品。

因此,Ali从美国中期阶段发展到阿里组织的中间,然后随着各种业务线的数据的增长,从组织的中间发展到数据中心,这取决于产品。不是阿里的终极目标。

中间数据是指通过数据技术收集,计算,存储和处理海量数据,标准和口径统一。在数据统一在数据中之后,形成标准数据,然后存储以形成大数据资产层,从而为客户提供有效的服务。

这些服务与公司业务密切相关。它是独一无二的,可重复使用。这是业务和数据的沉淀。它不仅减少了重复施工,还降低了烟囱协作的成本。阿里巴巴同一系列的100多种产品同时为烟囱提供服务。

广义数据中心包括数据技术,例如用于收集,计算,存储和处理海量数据的技术集合。我们现在谈论的数据中心现在包括数据模型,算法服务,数据产品,数据管理等。它与企业的业务有很强的相关性。它是企业独有的,可重复使用的,如企业建立的2000个基本模型,300个融合模型和50,000个标签。

数据平台广泛定义为企业业务和数据的沉淀。它不仅减少了冗余结构,还降低了烟囱协作的成本。它也是差异化的竞争优势。

第二,平台中间的理想数据

我们都知道,在海运中,无论什么合法货物都可装入集装箱,集装箱结构都很好,类似于中间平台的理想数据,如下图所示:

image.php?url=0MZGsipYsY

通过上面的架构图,可以看出数据中心模式具有以下特征:

首先是吸收和存储全球数据,以实现企业中各种业务类别的数据集成和集中管理。其次,根据标准化数据结构(数据仓库规划,数据模型构建,指标定义规范等),统一研发数据,实现数据口径和数据模型标准化。再次,它是建立几个由业务需求驱动的主要数据系统,并深入提取数据的价值。最后,集成数据资产管理功能,从数据操作,应用程序,管理,分析和可视化五个方面统一管理数据资产。第三,台湾中部的数据需要了解技术

数据仓库的构建如下:

image.php?url=0MZGsiJunX

从上图中可以看出,最左边的数据源很好理解,但很难实现。因为数据的特点是每个家庭的数据都具有每个家族的商业特征,但这些功能很难团聚,即数据岛!

ETL:ETL代表:提取,转换转换,加载负载。 Extract是从数据源中提取指定数据,需要指定数据。转换是将数据转换为指定格式和数据清理以确保数据质量。加载是将转换后的数据加载到目标数据仓库中。 DM:数据集市可以理解为“小型数据仓库”,通常面向部门,单个主题或特定应用程序,而不会相互影响。 ODS:全名是操作数据存储,它操作数据存储。存储主要业务数据库的ETL之后的数据是最接近数据源中数据的层,主要目的是集中数据。一般来说,大多数都是根据源业务系统的分类方法进行分类,因此它们具有独特的业务数据库的特征,甚至在关系数据库中具有一定的数据范式组织形式。但是,它不等同于原始数据,并且数据格式根据位置的数量统一,并且简单地清理。

(1)实用数据存储

原始数据治理平台管理的数据存储范围包括:数据仓库中的主题层和数据应用层,包括:Hive,MySQL,Kylin,Palo,ES,Druid。

如下图所示:

image.php?url=0MZGsi0VWy

上图所示的数据存储中的数据处理过程是数据开发工程师的责任。具体的存储介质由数据开发工程师的综合数据存储空间,查询效率和模型的组织决定。然而,后续使用和维护由源数据管理平台管理,并且管理方法通过管理元数据信息和查询这些数据表来实现。

管理数据存储后,数据表元数据信息变更监控,表数据生成(存储空间,生产状态和完成时间)监控,表数据波动(相同环比等)监控和使用表(模型构建和查询效率)等。原始数据管理平台自动完成监控和评估。所有信息变更都会自动知道相应的负责人,以确保数据应用的安全性和稳定性。

(2)实用的元数据管理

元数据信息包括两个主要部分:业务元数据信息和数据元数据信息。

服务元数据信息包括:指示符服务定义,维度服务定义等;数据元数据信息包括:数据表元数据信息,模型元数据信息,维度表和维度之间的绑定关系,以及数据模型字段和指示符绑定。关系。

为了实现元数据信息的管理,源平台设计有四个模块:数据表管理模块,模型管理模块,指标管理模块和维度管理模块。元数据管理是原始数据管理平台的核心。原始平台是通过控制元数据来控制数据的生成和消费。

(3)实用数据表管理模块

数据表管理模块管理数据库信息和数据表信息,其中数据库信息包括数据库链接信息。在维护数据库信息之后,源数据管理平台自动获得相应库中的表的元数据信息。

数据表信息包括:表的元数据信息(引擎,字段等),表类型(维度表或事实表),表的使用(是否由模型使用),对应于表的ETL,人员表格,表格建议,说明,手表配置和报警历史记录以及样本数据。以上信息为业务用户提供指导,为模型管理提供数据支持,并为数据表和数据稳定性提供监控和预警。

(4)实用维度管理模块

维度管理模块包括基本信息和技术信息,对应于不同的人员维护。服务管理人员维护与基本信息对应的维度的服务信息,包括维度名称,服务定义和服务分类。与技术信息的维度相对应的数据信息由数据开发工程师维护,包括是否存在维度表(无论是枚举维度还是独立维度表),是否为日期维度,相应的代码英文名称和中文名称,以及相应的英文名称和中文名称。

如果维度具有维度表,则需要将其绑定到相应的维度表,并设置与代码和名称对应的字段。如果维度是枚举维度,则需要填写相应的代码和名称。维度的统一管理有利于将来数据表的标准化,也便于用户查看。

(5)指标管理模块

指标管理模块的核心包括基本信息和技术信息管理。派生信息包括相关指标和相关应用程序管理。基本信息对应指标的业务信息,由业务人员填写,主要包括索引名称,业务分类,统计频率,准确性,单位,指标类型,指标定义,计算逻辑等信息。分析方法,影响因素和分析维度;基本信息的另一个重要部分是监控配置,主要是配置指标的有效波动范围,同环波动范围等,并监控指标数据的正常运行。

技术信息构成比较复杂,包括数据类型和指标代码,但核心部分是指标与模型之间的约束关系。通过使用进化,形成了当前系统的两种类型的绑定关系:绑定物理模型和构建虚拟模型。

虚拟模型的创建是通过现有指标及其相应的物理模型。具体步骤首先配置现有指标的计算方法或指标维度的过滤,然后选择指标绑定的物理模型,形成虚拟模型。模型的分析维度是所选指标的基础模型的共同维度。

从以上实际操作来看,产品,操作,技术和业务人员正在共同完成平台中间数据的实际操作。当然,如果某个岗位人员的技能和经验丰富,则不排除该人和多人可能。有关更多相关实用知识点,请参阅作者的书《AI赋能:AI重新定义产品经理》。

四,台湾的数据将成为下一个发泄?

车站中间的数据是否会成为下一个通风口,首先,我不同意旋风,并支持这样一种观点,即物品的长期价格取决于其基本价值。其次,台湾产品中间的当前数据是各种数据源的组合,由ETL技术处理,用于有限的纯商业实现目的。此外,数据中心的各种技术模块也越来越成熟,稀缺性是数据吸收和数据资产实现模式。

因此,一方面,台湾中部的数据刚刚兴起,而这种增长甚至是技术团队的崛起。例如,作者在一所着名的学校CS技术小组中间讨论了数据,然后有一段时间了。该产品开始被讨论,然后它将是一个操作讨论,然后市场将遵循。

下图显示了技术组数据早期讨论中数据的技术平台:

image.php?url=0MZGsiTRZp

平台中间的数据技术具有原创性和创新性,但整体相对成熟。其余的是业务进入方式,例如:架构完整,但数据缺失,数据隔离等是真正的问题。无论数据是否在下一个通风口,数据中心的产品都将运行,尤其是数据中心的思维概念是:“数据共享”。这样一个美丽的概念值得每个人对数据中心的需求。

V.中间的数据和平台中间的AI

艾中泰是建设大规模智能服务的基础设施。它为企业所需的算法模型提供逐步构建和生命周期管理服务,允许企业将自己的业务下沉到单独的算法模型中。为了达到多路复用,组合创新,大规模建设智能服务的目的。

从中间的数据到中间的AI!

从AI在平台中实现的方式来看,AI中间站可以是数据中心的进一步扩展,并从数据中心逐步演变。

首先,从基础设施的角度来看,可以智能化数据中间所谓的数据智能化,这意味着可以智能地实现数据中心内执行的一系列数据服务构建操作,要访问,存储和分析的数据。培训和建设管道都更加自动化。

例如,对于通用CI/CD,测试将无法构建,那么AI是什么?

答案可能是“此模型的准确性低于先前构建的准确性”,CI应该无法构建。

实际上,这可能是CI构建过程的维度之一,还有许多其他度量和维度。我们需要在现有数据平台的CI中实现和自动化这些指标和维度,以使其更加智能化。更多AI应用案例可以在作者的新书《AI赋能:AI重新定义产品经理》中找到。

其次,我们从不了解数据的使用情况。中间数据的目的是将数据转换为数字资产。如果这种资产仅用于租赁,那绝对不如智能的应用价值,这是从中间数据到台湾AI的第二个原因。

第三,当前数据中心终端应用程序基于直接2C生成严格的订单。我们不确定这个推荐是否由数据中心的引擎播放,智能应用层直接面向终端。如何使用元数据等功能组合不同模型提供的服务,构建具有组合效果的创新服务。为了更好地了解用户的人性。

总结

无论数据是否会成为下一个发泄!无论业务,运营,技术和产品如何,如何讨论车站中间是如此受欢迎,无论提到多少都没关系。你只需要了解台湾中部应该掌握的思想,技术和实践。然后理解我们开始的话:用旧地图找到新世界是不可能的!你可以建立一个智能中间平台。

下次继续分享智能中间平台的情况。

收集报告投诉