建云学院
当前位置:建云学院 > 其他培训 > 正文

大数据

在企业中,由于开发时间或开发部门的不同,往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行,这些系统的数据源彼此独立、相互封闭,使得数据难以在系统之间交流、共享和融合,从而形成了”信息孤岛”。随着信息化应用的不断深入,企业内部、企业与外部信息交互的需求日益强烈,急切需要对已有的信息进行整合,联通”信息孤岛”,共享信息。

数据集成:数据集成通过应用间的数据交换从而达到集成,主要解决数据的分布性和异构性的问题,其前提是被集成应用必须公开数据结构,即必须公开表结构,表间关系,编码的含义等。

背景

近几十年来,科学技术的迅猛发展和信息化的推进, 使得人类社会所积累的数据量已经超过了过去5 000年的总和,数据的采集、存储、处理和传播的数量也与日俱增。企业实现数据共享,可以使更多的人更充分地使用已有数据资源,减少资料收集、数据采集等重复劳动和相应费用。但是,在实施数据共享的过程当中,由于不同用户提供的数据可能来自不同的途径,其数据内容、数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各软件系统中的流动与共享。因此,如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。

由于现代企业的飞速发展和企业逐渐从一个孤立节点发展成为不断与网络交换信息和进行商务事务的实体,企业数据交换也从企业内部走向了企业之间;同时,数据的不确定性和频繁变动,以及这些集成系统在实现技术和物理数据上的紧耦合关系,导致一旦应用发生变化或物理数据变动,整个体系将不得不随之修改。因此,我们进行数据集成将面临着如何适应现代社会发展的复杂需求、有效扩展应用领域、分离实现技术和应用需求、充分描述各种数据源格式以及发布和进行数据交换等问题。

分类

数据集成模型分类

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了很多成熟的框架可以利用。通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。在这里将对这几种数据集成模型做一个基本的分析。

联邦数据库系统

联邦数据库系统( FDBS)由半自治数据库系统构成,相互之间分享数据,联盟各数据源之间相互提供访问接口,同时联盟数据库系统可以是集中数据库系统或分布式数据库系统及其他联邦式系统。在这种模式下又分为紧耦合和松耦合两种情况,紧耦合提供统一的访问模式,一般是静态的,在增加数据源上比较困难;而松耦合则不提供统一的接口,但可以通过统一的语言访问数据源,其中核心的是必须解决所有数据源语义上的问题。

中间件模式

中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web 资源等。中间件位于异构数据源系统(数据层) 和应用程序(应用层) 之间,向下协调各数据源系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务,中间件系统则主要集中为异构数据源提供一个高层次检索服务。

中间件模式是比较流行的数据集成方法,它通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节,使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。

数据仓库模式

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。其中,数据被归类为广义的、功能上独立的、没有重叠的主题。这几种方法在一定程度上解决了应用之间的数据共享和互通的问题,但也存在以下的异同:联邦数据库系统主要面向多个数据库系统的集成,其中数据源有可能要映射到每一个数据模式,当集成的系统很大时,对实际开发将带来巨大的困难。

数据仓库技术则在另外一个层面上表达数据之间的共享,它主要是为了针对企业某个应用领域提出的一种数据集成方法,也就是我们在上面所提到的面向主题并为企业提供数据挖掘和决策支持的系统。

关键

数据高速缓存器是关键

对数据集成体系结构来说,关键是拥有一个包含有目标计划、源-目标映射、数据获得、分级抽取、错误恢复和安全性转换的数据高速缓存器。此外,数据高速缓存器包含有预先定制的数据抽取工作,这些工作自动地位于一个企业的后端及数据仓库之中。

一个高速缓存器作为企业和电子商务数据的一个单一集成点,最大限度地减少了对直接访问后端系统和进行复杂实时集成的需求。这个高速缓存器从后端系统中卸载众多不必要的数据请求,因此使电子商务公司可以增加更多的用户,同时让后端系统从事其指定的工作。

数据集成软件与企业应用集成厂商和程序集成商进行联合,而不是取代它们。的确,由于数据集成软件越来越普遍地被用来作为B2B集成的一个工具,它会引人注目地改造B2B集成商一起合作的方式以及企业向Internet迁移的方式。

实施

在实施数据集成时,最重要的是要确保有相对应的业务需求。以下列出了三个业务场景:

企业集团需要统一数据

当企业产生并购的时候,你可能需要整合所有企业数据,将它们集成起来。拿Hypercity举例,Hypercity、Shoppers Stop、Crosswords这些都是零售集团公司,我们需要把它们所有的客户数据进行集成,以更好地服务于我们的客户群体。

促进系统中的数据流

即在你需要集成多个数据源和应用,去实施某个业务流程的时候;比如有些业务分析工具的数据流会来自多个应用程序–商品管理系统或Oracle财务系统等等。

部署新应用时可能需要的数据集成

一项新的企业应用需要来自现有应用程序中的所有数据。还是拿Hypercity举例,在实施送货上门的应用之时,我们需要从现有系统中调取客户和产品信息,这时数据集成就显得非常重要了。

关键步骤:

1.与软件厂商合作

作为企业,让厂商正确理解你的业务需求对自己有益无害。因为只有这样,厂商高管才能准确识别并集成所有你需要的数据点。

2.定义划分集成优先级

列出所有所需的数据集成任务,安排好部署计划。你的目标应该是在部署或正式投入使用阶段之前完成所有的数据集成活动,并界定增长数据的更新频率。除此之外,还要本着成本时间的节约,根据数据集成解决方案对其效益进行估测。

3.选择合适的集成界面

数据集成解决方案提供了两种数据界面:单向和双向。你需要知道应该应用哪种。

单向界面中,数据仅从A点传送到B点,没有返回或来回的运动。在我们的B2B平台上,供应商能够追踪到商店的货运信息。库存、付款以及销售信息都被发送到B2B平台上,但没有任何数据返回到这些数据源。

双向界面中,数据从一个应用传送到另一个应用,然后返回。在我们的平台上,如果部署了一个新的应用(如销售点,POS),产品数据就会从商品管理系统发送到POS上,然后销售数据又会从POS发回来。

4.选择一款正确的接口媒体,最简单的不一定最好

选择接口媒体一定要考虑未来需求和升级问题。数据集成有很多种方法–XML、逗号限定、电子表格、直接数据库连接等等;然而,最简单的方法不一定最适合你的企业,应该从多方面进行考虑,如可扩展性需求、数据容量和预算开销等。多年来,基于文本的集成一直很盛行,但是目前有很多企业都开始使用XML和直接数据库连接。

5.监控流程,设置多个检测点

对集成数据进行微调。对我们的B2B平台来说,数据集成在每天结束的时候都会进行,而只有增长的数据会被传送到服务器上。Hypercity的检测点从源系统开始,分布于各个级别。一些涉及销售数量和零售价格的问题在这些检测点中提出。B2B平台的提取上载阶段构成了第二个检测点,问题的答案会在这里出现。自动化系统会检测输入数据的准确性。为了避免错误的出现,相关用户会收到提示邮件,以确认全天的数据是不是正确上载、是不是需要纠错措施。

6.保证数据的安全性

根据风险级别设置安全政策。如果你只是在内网中转换数据,也许不需要加密;但如果你需要将数据对外传送,可能就要加以防范了。

作用

数据集成对于企业信息系统的作用

数据集成的出现使企业能够将后端的ERP信息迁移到Internet上。数据集成产品在一个公司的Internet计算机与SAP、Oracle和PeopleSoft等公司的后端系统之间提供”高速缓存”或数据分级。

数据集成提供了在一个企业主计算机上存储的后端信息的一幅镜像。当一个Internet客户需要检查一项订单的状态时,这项查询就被转移到数据集成软件。因此,并非总需要访问该企业的主计算机。数据集成软件拥有足够的智能,知道什么时候与主计算机保持同步以便使数据不断更新。为电子商务应用集成ERP数据是通过数据分级和直接访问ERP数据这两者的结合来完成的,它包括使用一个数据服务器和一些数据高速缓存器。数据集成软件以智能方式将直接实时的和分批的数据存取方法混和起来,以便从一个ERP系统中抽取数据。

数据从一个或多个源前进到一个或多个目标表以及信息类型(如XML),数据移动的步骤包括确定应该从中抽取数据的源、数据应当进行的转换以及向什么地方发送数据。用户通过一个图形用户接口来指定数据映射和转换。

由用户定义的程序控制每一块数据的移动并确定这种移动之间的内部相关性。例如,如果一个目标表依靠其他目标表的值,则使用一些程序来指定一个数据服务器应当按什么次序来管理这些目标表中的单个数据移动。数据移动可以被设计来以批量方式或实时方式运行,并由管理员来创建和管理,以控制ERP、电子商务、客户关系管理、供应链管理以及通信应用之间的数据移动。数据移动使用分布式查询优化、多线程、存储器内数据转换和并行流水线操作来提供很高的数据通过量和可伸缩性。例如,要管理抽取程序并从SAP软件中来执行批量数据抽取,可使用优化的ABAP代码(SAP的专有编程语言),不需要开发和维护定制的ABAP代码。

介绍

Informatica Enterprise Data Integration包括Informatica PowerCenter和Informatica PowerExchange 两大产品,凭借其高性能、可充分扩展的平台,可以解决几乎所有数据集成项目和企业集成方案。

· Informatica PowerCenter用于访问和集成几乎任何业务系统、任何格式的数据,它可以按任意速度在企业内交付数据,具有高性能、高可扩展性、高可用性的特点。Informatica PowerCenter包括4个不同版本,即:标准版,实时版,高级版,云计算版。同时,它还提供了多个可选的组件,以扩展Informatica PowerCenter的核心数据集成功能,这些组件包括:数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown Optimization)、团队开发和非结构化数据等.

· Informatica PowerExchange 是一系列的数据访问产品,它确保 IT 机构能够根据需要随时随地访问并在整个企业内传递关键数据。凭该能力,IT机构可以优化有限的资源和数据的业务价值。Informatica PowerExchange支持多种不同的数据源和各类应用,包括企业应用程序、数据库和数据仓库、大型机、中型系统、消息传递系统和技术标准。

注意要点

数据集成是企业进一步发展面临的问题。通过数据模型建模和相关应用技术在企业信息集成应用上作了一定的分析。在有效应用模型设计思想开发应用的同时,应重点把握以下几点:

(1) 模型的时效性:包括开发期模型和运行期模型,而运行期模型则显示了模型驱动的核心思想。

(2) 模型的进化性:它揭示了模型是否可以根据应用的变化而自我进行改变。

(3) 模型的层级性:随着系统的复杂性增加,模型可以由多层级构成。

集成挑战

IT机构在经济危机中面临的数据集成挑战

企业要平安渡过当前的经济危机并变得愈发强大,则必须转变为数据驱动型企业。它们需要将其企业数据视为可用来支持战略和运营决策的宝贵资产。通过转为数据驱动型,企业可以更为高效地运营、更好地管理风险、改善客户服务、更快做出明智的决策并保持较低成本。

在此演进过程中,IT 机构发挥着关键作用。企业期望其 IT 团队能够随时随地按需提供完整、准确、一致和最新的数据。数据不仅可以有力促进在经济低潮期”保持业务持续运转”的关键方案,而且还使企业做好准备,以待将来情况改善时取得发展,获得成功。

在经济低潮期,IT 也面临严峻挑战。您的 IT 机构如何才能从可用资源(人力资源和技术资源)中”挤出”更多价值?面对每个项目更加严格的预算审查,您如何加快部署?您的团队如何能够始终灵活地响应不断变化的业务需求?

简而言之,您如何做到事半功倍(以更少资金、更少资源和更短时间应对更多项目)?面对这些挑战,您的 IT 机构需要做好三件事:

1. 降低成本

2. 更为高效地运营

3. 最大限度发挥现有技术的价值

而实现这三个目标,IT 机构需要借助一个全面、统一、开放且经济的数据集成平台。

集成问题

IT 机构中的问题

企业当前的抉择将决定它们能否顺利度过眼下的金融风暴。各类企业的主管人员都在探索着:

走向全球 · 我的企业如何才能实现跨越不同区域的多样化发展,以减少对某一经济体的依赖?

获得市场份额· 我的企业如何才能通过收购实现扩张,拓展宏图?

保持至精至简· 我的企业如何才能降低开销,从而以机动灵活性取胜?

使企业井井有条 · 我的企业如何才能确保遵守当前和即将颁布的行业和政府法规?

这需要成千上万个决策。但是每个业务规则的成功秘诀只有一个:及时、完整和 准确的数据。这正是需要 IT 的环节。企业期望其 IT 机构能够随时按要求提供业务所需的数据。

但说起来容易,做起来难。数据分散于整个企业 – 应用程序、数据库、桌面上的 PDF、Excel 电子数据表和 Word 文档中。它也存储在公司防火墙之外 – 在与软件即服务(SaaS) 和业务流程外包 (BPO) 供应商以及与贸易合作伙伴的应用程序”云”中。

IT 机构感觉问题很棘手。每个业务规则生成一个新 IT 方案。每个新 IT 方案创建一个新 IT 项目。每个 IT 项目均需要数据 – 访问数据、迁移和整合数据以及基本清楚数据的质量。

方法不足

传统数据集成方法存在不足之处。它们不能解决当今 IT 环境的复杂性,也不能覆盖 IT 必须执行的一系列方案的处理。

对于连接数百(或数千)个应用程序的不同单点解决方案,它们仅仅分裂运营数据并将其锁定在部门应用程序中,例如 ERP 和 CRM。以应用程序为中心的数据集成方法没有考虑所有企业数据。例如,它们不能处理计划数据,这些计划数据通常保存在 Excel 电子数据表中,而未保存在部门数据库应用程序中。它们也不能解决驻留在企业外部的有关 BPO 或 SaaS 供应商的数据或与贸易合作伙伴共享的数据。

手动编码数据集成方法也不起作用。手动编码费时费力,并且还容易犯错。由于 IT 机构力求管理更多的数据和更多的数据格式,手动编码通常导致更复杂- 而不是更简单,如图 2 所示。它会增加维护成本并使 IT 效率下降。

数据质量方面的表现如何?传统数据集成方法无法保证所有数据(客户数据、物料与资产数据以及财务数据)保持完整、一致、准确和最新,而无论数据驻留于何处。

如果您的 IT 机构继续采用传统方法进行数据集成,即按部门、按应用程序或按数据库,在”孤岛”中进行数据集成,那么您将花费更多时间和金钱来管理复杂情况并”保持业务持续运转”,而不是集中精力来处理新的业务规则。

方法特点

IT 机构需要采用可靠的新方法进行数据集成- 新方法可以:

l 集成企业内的所有内部预置数据孤岛,包括非结构化数据

l 集成云计算应用程序和系统中的外部数据

l 与贸易合作伙伴之间以企业对企业的形式无缝交换数据

l 确保所有数据的质量

l 经济高效地管理应用程序生命周期

而在企业要求其 IT 机构处理更多数据集成项目时,它们已经在财务上严阵以待。如果没有积极削减 IT 预算,企业则会更加仔细地检查每笔开支。企业正在放缓 IT 采购周期,以做到其它方面的谨慎处理。它们正在延长部署时间,以评估总拥有成本 (TCO) 和分析潜在投资回报 (ROI)。另外,它们正在积极寻找控制成本和消除冗余的方法。

面对这两种相反力量的平衡,您的 IT 机构需要提高 ROI,同时降低 TCO。您可以采用三种平衡方法:

1. 提高运营效率

2. 充分利用现有技术投资

3. 降低开发和部署成本以及运营和维护的开支

IT 机构可以通过数据集成平台一次性实施所有这些方法。如图 3 所示,数据集成平台是一整套全面的技术,包括访问、发现、清洗、集成并为扩张的企业提供数据。

数据集成平台支持各种数据集成项目,例如:

l数据仓库

l数据迁移

l 测试数据管理

l 数据存档

l数据整合

l主数据管理

l数据同步

l B2B Data Exchange

我们将查看数据集成平台可以如何帮助您的 IT 机构:

l 降低成本

l 更为高效地运营

l 充分利用现有技术投资

降低成本

新的数据集成方法帮助企业降低成本

当今密切审核的 IT 预算使成本成为关键的考虑因素。单独的集成方法,例如手动编码或单点解决方案,乍一看好像经济实惠,但是事实很快证明为这样的方法提供支持费时费力。更改单个应用程序或系统将导致跨越多个集成点的连锁反应,以致创建的结果不可靠,从而不得不进行额外的交叉检查和手动清洗。

相比之下,数据集成平台可大为减少部署、维护和管理所需的时间和资源。易用的、基于角色的工具和可复用的开发资产库可提高工作效率并降低部署时间。规范化的方法可消除差异,使结果更准确。高可扩展性和简便的管理可简化维护与升级。这等于使 IT 成本在最初以及一段时间以来均获得一定的减少。

从仅仅是”保持业务持续运转”转变为”不断开发出新项目”

数据集成平台可以帮助您的 IT 机构大大缩减成本,从而从简单的”保持业务持续运转”转变为”不断开发出新项目”。

请看示例。

假设您的 IT 机构通过数据集成平台方便的使用和管理、预建的连接性、可复用的逻辑和规则、高可扩展性和性能以及无缝升级,实现了该平台的成本节省。最终,您获得资源和预算,以推出过去六个月一直要求您推出的单个关键的应用程序。

您面临三个基本问题:

1. 如何将需要的数据从旧系统迁移到新系统,并确保按照业务要求只迁移有用的、准确的和有效的数据?

2. 在发生迁移失败之前,如何测试是否已正确配置系统,如何测试系统是否在正常工作?

3. 如何确保您的应用程序不会随时间而膨胀,以致需要购买更多主存储、更多数据库许可证和更强大处理器,以保持系统有效运行?

您的数据集成平台将是您的妙方。

首先,您需要准确定义对于从遗留应用程序迁移到新应用程序十分重要的数据。借助数据集成平台,您可以识别旧数据和新数据结构并快速建立至新系统的映射。您可以持续使用这些映射,因为您可能要将数据快速移进或移出系统。

其次,您需要测试和配置应用程序。借助数据集成平台,您可以只选择最相关的业务数据,以快速复制和刷新符合您需求的特定生产数据。与创建一个完整系统/数据库备份相比,此方法大大减少了需要的时间、精力和磁盘空间。

最后,在完全建立和运行应用程序之后,您需要将非活动数据从新应用程序迁移至安全存档,从而在存储、数据库许可证和性能方面保持任务关键应用程序的稳定状态。借助数据集成平台,您可以简便地标识和移动非活动数据,使之以联机或脱机方式长期保留,您也可以随时访问已存档数据。

高效运营

新的数据集成方法帮助企业更为高效地运营

随着企业日渐将数据管理视为业务问题,而不再仅仅是 IT 方面的考虑,将多个工具、技能集和供应商的复杂度降至最低对于工作效率的提高变得尤为关键。许多IT 机构都需要了解这重要的一课。它们尝试着处理多个数据集成项目,然而,对于每个项目所采用的方法却仍然建立在”特殊”的基础上。由于每个项目采用不同的工具和方法,并且无法充分利用过去项目中形成和吸取的教训,因此往往只能以成本高、复杂、冗余和不可靠收场。

数据集成平台通过提高工作效率,帮助 IT 机构更为高效地运营。平台使 IT 不必在每个项目上做重复工作。IT 而是可以在所有项目中共享方法、技术和资产,例如逻辑和元数据。

当您在平台上标准化数据集成实践,然后创建集成能力中心(Integration Competency Center,简称 ICC)或卓越中心时,您可以在集成应用程序和数据接口的开发时间与成本以及维护成本方面获得极大节省。

数据集成还涉及许多不同角色 – 从数据管理员和业务分析师到数据架构师和 IT 开发人员- 各司其职并且各尽所能。IT 部门和业务部门需要协同工作,以便以更为快速和实惠的方式应对不断变化的业务需求。

统一的数据集成平台让 IT 部门和业务部门可以更加有效地协作。平台提供界面和使用感受一致的工具集,使工具集中各部分能够在多个项目中无缝配合使用。这些工具专为各项功能定制,因此各岗位人员都能专注于他们各自的专长领域,并更为迅速地提高自身技能。参与数据集成的各人员只需花费较少时间了解平台,从而可以将更多时间投入本职工作中。

提升技术

新的数据集成方法帮助企业提升技术价值

在当前经济环境下,每项技术投资都面临着严格的审核。IT 机构需要充分利用现有技术。借助数据集成平台,IT 机构可以继续使用遗留的系统和应用程序,规避 “淘汰和更换”所带来的浪费和风险。

此外,数据集成平台让 IT 团队可以在项目间重复使用资产,从而减少 TCO 以及培训人员和开发技能集的支出。在多个项目中采用相同的流程和方法使企业可以从小项目入手 – 例如单个数据仓库项目- 然后根据需要轻松扩大范围。首先,IT 只需采用当前项目必需的特定数据集成工具。然后,在出现新项目时,IT 利用平台的公用引擎、用户界面和元数据以及准备就绪、训练有素的用户,可以经济高效地快速接纳这些新项目。

集成平台理想的数据集成平台

数据集成平台必须解决企业间数据碎片的问题,以更快地做出数据驱动型业务决策和更有效有力地进行业务运作。它必须作为企业技术基础提供服务,提供容易掌控的方法来集成数据。

要满足这些需求,数据集成平台必须具备四个特性:全面、统一、开放和经济。

支持完整的数据集成生命周期

数据集成平台必须支持数据集成生命周期中的所有五个关键步骤:访问、发现、 清洗、集成和交付(见图 4)。

第 1 步:访问 大多数机构的数据存储在数千个位置,不只限于企业内部,还存放在防火墙外的业务合作伙伴或 SaaS 供应商的”云”中。无论何种来源或结构,所有数据都必须可以接受访问。必须从隐秘的大型主机系统、关系数据库、应用程序、XML、消息甚至从电子数据表之类的文档中提取数据。

第 2 步:发现数据源– 特别是记录不详尽或来源未知 – 必须探查才能了解其内容和结构。需要推断数据中隐含的模式和规则。必须标记潜在的数据质量问题。

第 3 步:清洗 必须清洗数据以确保其质量、准确性和完整性。必须解决错误或疏漏问题。必须强制执行数据标准,并且对值进行验证。必须删除重复的数据条目。

第 4 步:集成 要跨越多个系统保持一致的数据视图,必须集成并转换数据, 以便协调不同系统在定义各种数据元素并使之结构化的方式上存在的差异。例如,对于”客户盈利”,营销系统和财务系统可能具有完全不同的业务定义和数据格式,这些差异必须得到解决。

第 5 步:交付 必须以适当的格式、在适当的时间将适当的数据交付给所有需要数据的应用程序和用户。交付数据的范围涵盖从支持实时业务运营的单个数据元素或记录到用于趋势分析和企业报告的数百万个记录。必须确保数据的高可用性和交付安全性。

此外,数据集成平台还必须:

审计、管理和监控 数据管理员和 IT 管理员需要协作进行审计、管理和监控数据。不断地对关键指标(例如数据质量)进行衡量,随着时间的推移这些指标会得到有目共睹的稳步提高。这是为了跟踪关键数据属性的进度,并标记任何新问题,以便在将数据传回数据集成生命周期之后,可以解决这些问题并不断改进。

定义、设计和开发 业务分析师、数据架构师和 IT 开发人员需要一套功能强大的工具来帮助他们在定义、设计和开发数据集成规则与流程上展开合作。数据集成平台应包括一套常用的集成工具,以确保所有人员一起有效工作。实现任何数据集成项目

数据集成平台必须足够可靠、灵活和可扩展,以处理任何一类型的数据集成项目,其中包括:

数据仓库·

数据迁移·

测试数据管理和存档 ·

数据整合·

主数据管理·

数据同步·

B2B Data Exchange ·

从单个部门的数据仓库项目到全局数据迁移项目,您的 IT 机构可以一次性展开许多类型的数据集成项目。您的团队需要能够从小规模的一个项目类型入手,然后在接下来的项目中重复运用相同的技术和资产- 通过共享元数据实现。

数据集成平台需要能够处理分析数据集成(报告和分析),还要能够处理运营数据集成(与运营执行相关的业务流程)。

以任何周期提供数据

对于数据集成,存在跨度很广的一系列时间范围和周期要求,这取决于应用程序和使用案例。某些项目要求按月或按周集成数据;而另外一些项目需要按秒提供集成的数据。IT 机构需要能够灵活更改周期要求,而不必重新构建整个基础结构。

如图 5 所示,理想的数据集成平台必须在整个周期范围内提供支持、根据应用程序或用户需要随时提供可信任的数据- 无论以实时、批量还是变更数据捕获 (CDC)的方式。

统一

单个的统一数据集成平台可大大简化 IT 团队的工作。当您具备扩展型企业(从单一供应商发展成)所需的所有数据集成能力时,您通过基于角色的协作、共享元数据和单一的统一运行时引擎,最大限度地提高了工作效率。

基于角色的协作

数据集成项目包括充当多个角色的 IT 和业务人员。每个角色都需要一套特别为其设计的不同工具。同时,项目团队成员必须精诚合作、共同承担工作和任务,以提高跨团队的工作效率并确保 IT 和业务部门的协调。

如图 6 所示,理想的数据集成平台提供角色专用的工具,这些工具专门针对每人的技能和任务而设计。这些角色专用的工具拥有一致的界面。这些工具拥有相同的界面和使用感受,并且相互集成。因此,它们易学易用。通过跨越不同数据集成项目重复使用资产,团队成员能够快速启动运行并保持高效。

共享元数据

数据集成平台必须提供共享的元数据。平台内的每个工具必须能够访问有关数据存储位置的元数据以及与其关联的业务规则和逻辑。借助共享的元数据,大家可以共同处理同一件事。分析师和开发人员可以处理不同类型的元数据或者用不同方式查看相同的元数据,并仍然保持有效协作。元数据保持一致,并且每个用户均能轻松查看潜在的更改会带来的影响。

统一的运行时引擎

数据集成平台的关键是单个的运行时引擎。组成平台的各个单独的产品应全都在简化实施、管理和维护的相同引擎上运行。单个引擎确保可以更为方便地升级多个版本。平台必须为企业级部署而设计,具备可靠的可扩展性、可用性和安全性,这样您可以在该平台上放心开展业务。

开放

开放、中立的数据集成平台旨在能够在您当前的 IT 环境中兼容一切 -您的硬件、软件、技术标准,以及未来您要添加的任何内容。开放的平台能保护您的企业免受有关供应商瓶颈的风险。

访问任何来源的数据

大多数机构以数百种不同格式来存储数据:企业应用程序、数据库、平面文件消息队列、电子数据表和其它文档。如图 7 所示,数据集成平台必须处理任何数据类型或格式,包括任何来源的结构化和非结构化数据和所有主数据类型,例如客户数据、产品数据和财务数据。

数据集成平台必须能够访问驻留在企业外部的数据。这包括来自多个业务实体的数据和分布在许多不同地理位置和国家/地区的数据。

降低风险

IT 格局正在改变。这导致不确定性。IT 机构需要采用策略来降低这种变化带来的风险。您需要一个数据集成平台,它支持从操作系统到数据库的当前所有技术标准。它必须是开放式的,确保能够与现有或将来可能配置的一切内容兼容。这包括在您的企业与”云”中或合作伙伴的全部各种应用程序和数据源。

经济

经济的数据集成平台能够带来尽可能低的总拥有成本 (TCO) 和最快最高的投资回报 (ROI)。在当前严峻的经济环境下,每笔技术投资都要接受严格审查,评估其帮助 IT 机构和业务的能力,因此这些因素显得特别重要:

降低成本 ·

更为高效地运营 ·

快速产生价值 ·

更低的总拥有成本

数据集成平台必须提供易用的工具和可靠的可扩展能力与性能,以缩减前期费用、削减持续的维护和管理成本并快速产生价值。企业可以部署用于特定数据集成项目的平台,然后对平台进行扩展,用其解决其它项目,而不必在其它工具或培训上破费。简而言之,数据集成平台能让您的 IT 机构事半功倍。

更快的投资回报

在数据集成平台中获得快速的投资回报取决于您能否迅速行动并投入使用。您需要增加 IT 资源。

了解 Informatica 的开发人员比了解市场上其它任何数据集成软件的开发人员多三倍以上。因此,寻找熟练且实惠的 Informatica 资源来帮助您完成项目会比较容易。加快投资回报的另一个方法是创建集成能力中心,以在整个企业范围内支持更多集成方案。

应用平台

应用中的Informatica 平台

现在让我们查看 Informatica 平台如何帮助不同行业和地理位置的四家公司提高工作效率、最大化技术投资效益并降低成本。

T. Rowe Price 是一家跨国投资管理公司,以范围广泛的共有基金形式持有超过 3340 亿美元的资产。随着金融行业变得愈加复杂、竞争更为激烈、监管更为严格,公司需要更为有效地管理更多数据。为改善客户服务、确保一致的 IT 环境并符合数据治理法规,T. Rowe Price 决定创建由 Informatica 平台提供支持的 ICC。公司制定出标准、安全策略和发布方法,然后创建了数据管理程序,以从业务和 IT 部门招集参与者。从数据仓库开始,公司将 Informatica 平台的使用逐步扩大到其它集成项目。最终,T. Rowe Price 取得这些成果:

1. 更高的员工效率。IT 团队在首年即同时启动 12 个数据集成项目。到第五年,此记录已增加到一次性处理 60 个项目。

2. 使技术投资发挥到极致。通过将流程和过程标准化来促进重复使用已实现高达 ICC 团队自身成本的两倍以上的累计效益和成本节省。

3. 降低成本。T. Rowe Price 使用 Informatica 平台,在第二年即已开始实现收回成本后的净效益,五年间更是实现了可观的效益。大多数节省额归功于削减新开发、持续的编码维护和影响分析的成本。

Duke Energy 在 2006 年与一个竞争对手合并,成为美国最大的电力控股公司之一,拥有分布在卡罗来纳州、肯塔基州、俄亥俄州和印第安纳州的超过 400 万客户。随着合并完成,公用事业公司紧接着需要整合广为分散的多个不同数据集。它还需要确保具有保持高效运营所必需的一致、准确和及时的业务信息。

Duke Energy 求助于 Informatica 平台来创建最佳实践、削减成本并加快上市。通过消除点对点接口并创建集成的数据管理体系结构,公司顺利完成合并,并为未来的计收购铺好道路。

依靠 Informatica 平台,Duke Energy 能够:

1. 提高运营效率。通过可以从公司交易系统中删除数据管理和报告的单个数据集成平台,Duke Energy 可以更为迅速地为经理们提供各种类型数据的高级视图。它还完成了更多的项目:仅在部署后的前六个月,就已检查 31 个项目,实施 8 个项目。

2. 使技术投资发挥最大效益。由于 Informatica技术平台专为与广泛的各种源系统兼容而设计,因此 Duke Energy 可以轻松扩展以整合未来合并所带来的数据,而无需中断业务报告。

3. 降低成本。Duke Energy 每年将从整合、集中化和缩减运营成本中节省 150 万美元。此外,它还有望在接下来的两年中节省额外 300 万美元的运营和维护费用,而完成下一次合并收购所需的成本预计将比上一次少一半。KPN 是西欧一家市值 195 亿美元的电话、互联网和电视服务提供商,主要在荷兰、德国和比利时开展业务。这家通信公司要为其超过 3500 万的客户提供优质服务 – 但是各类客户数据存储在 50 多个独立的应用程序中,销售和服务代表无法始终了解他们交谈的对象,更无法考虑如何为这些客户提供帮助或额外服务。为改善客户服务并提高运营效率,KPN 决定将跨越多个业务单位的所有客户数据与按功能分隔的系统集成起来。作为 Informatica 的长期客户,KPN 决定扩展 Informatica 平台,以清洗、同步和加载其所有主数据到新的 CRM 解决方案。

借助 Informatica,KPN 员工现在已拥有唯一的、全面的、保持最新并呈现每位客户关系的视图。最终,公司达到这些目标:

1. 更高效率。由于可以在呼叫中心快速访问准确的实时数据,因此客户服务代表可以少用 10% 的时间来处理每个电话,并且仍然可以更为有效地开展交叉销售和提升销售,工作效率提高 5%,而从每位用户获得的平均收入增加 5%。

2. 更高技术投资回报。由于 KPN 曾在企业的其它地方使用 Informatica 平台,因此KPN 只需将平台简单扩展到新项目。KPN 可以按时、按预算地轻松完成 CRM 实施,从而快速实现价值。

3. 降低成本。对详细客户数据的实时访问使 KPN 能够将客户流失每年降低 10%。此外,改善数据质量并使之自动化降低了 IT 维护费用。

企业目标

IT 机构转变成数据驱动型企业的目标

那些成功抵御经济衰退期的企业都是能随机应变应对局势变化的企业。在竞争格局、市场和经济发生变化时,这些企业能够迅速采取行动并充分利用机遇。

这些企业需要数据 – 在适当的时间获得拥有毋庸置疑的质量的合适数据。依 Gartner 所见,”信息的战略使用决定企业竞争和获胜的能力。 2这些企业在很大程度上需要依赖它们的 IT 机构。IT 部门在帮助其企业转为数据驱动型企业方面扮演着关键角色。全面、统一、开放和经济的数据集成平台使 IT 部门能够应付自如。这样的数据集成平台为更高效、有效和实惠的数据访问提供了坚实的基础。它是及时、可信任数据流的生命线。这让 IT 机构能够支持企业度过经济低潮期,使企业在经济好转时更为强大、更为灵活并更具有竞争力。

通过让您的 IT 机构实现以下目标,Informatica 平台可以帮助您转变为数据驱动型企业:

· 访问、发现、清洗、集成并为扩张的企业及时提供可信任的数据- 随时随地提供任何数据

· 支持数据集成流程中涉及的所有角色

· 处理所有类型的数据集成和数据质量项目

· 与现有和将来可能添加的所有系统和流程兼容

经过成千上万个实际部署验证,Informatica 平台确实能够帮助 IT 机构降低成本、 提高效率并为企业带来更多价值。

未经允许不得转载:建云学院 » 大数据

赞 (1)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址