在分析生态系统中利用孤立数据的最佳实践

每家公司都在努力处理传统事务系统（ERP，EHR，计费/会计等）无法维护的数据。在这些公司中，电子表格（Excel）成为维护和存储“孤立数据”的事实工具。孤立数据可以具有不同的含义；但是，在这种情况下，孤立数据是指在事务系统中没有主目录但对业务运行至关重要的数据。有时，此孤立数据称为“用户托管数据”。 以下是孤立数据的一些实际示例：

• 一家大型零售商使用Excel来维护商店空间的详细信息，以支持商店内的第三方商店（即大型零售店内的星巴克和麦当劳）。此数据必须由每个商店或区域经理完成，并在每个月末进行更新，以完成期间关闭过程。电子表格存储在SharePoint/Teams上，然后通过FTP/ETL传输到分析平台。错误很常见，通常只有最终报告中的异常才会被注意到。及时支持期末成为一项重大挑战。
• 在线药房利用Excel来维护有关可用药物、替代品和过去/未来定价的信息。电子表格包含数百个规则和验证。必须将此数据集的某些部分上传到企业数据存储以进行BI和分析。
• 一家农用化学品生物技术制造商使用Excel来维护当前和规划未来的销售组织结构。 在这种情况下，电子表格很复杂，需要来自ERP和数据仓系统的数据来计算佣金，平衡未来的销售覆盖率与类似的收入、成本、英里/区域覆盖范围等。该过程是迭代的，最多需要六个月才能完成。许多部门和团队参与整个过程，并且必须签署/批准更改。
• 另一家大型制造商正在努力标记数据。例如，他们需要识别暴露于特定促销活动的所有客户和/或产品。用户搜索、筛选客户或产品数据并将其下载到Excel。然后，用户添加属性以指定产品或客户是否利用了促销。它们对类似的请求重复该过程。因此，Excel电子表格无处不在，对电子表格世界的深入了解至关重要。

这些方案中的每一个对于启用核心业务流程和推动业务决策都至关重要。这些示例都不属于任何一个ERP、EHR、计费或其他事务系统，也不能证明定制这些系统的努力和成本是合理的。如果没有这些基于Excel的数据，这些公司就无法关闭期末财务、支付销售团队、向客户提供定价信息、或组织销售团队以获得最佳绩效。此外，业务用户越来越需要快速进行更改的方法，而无需为每个更改设置“IT 项目”。如今，公司希望保持敏捷和主动。他们需要利用可用的工具、技术和深度分析。一切照旧已经无法满足需求。

简而言之，孤立数据通常是许多公司无法实现更高效的核心业务流程的根本原因。以下列表列出了与启用更高效的孤立数据相关的一些挑战：

• 缺乏合规性
• 安全
• 治理
• 数据质量问题
• 规模/性能
• 沿袭/审核历史记录
• 协作问题
• 数据和流程所有者进行更改的便利性和速度

我们有一些好消息！相关工具已经发展到可以应对部分挑战。让我们来看看组织正在使用的一些常用工具，以及要寻找什么。

在过去十年中，SharePoint、Teams等工具提供了一种更简单的方法来存储和访问孤立数据，但它们只能解决存储和访问问题。存储在SharePoint/Teams中的数据需要定期传输/移动到具有更广泛访问权限的位置。这通常意味着数据移动到企业数据仓（EDW）、数据湖、对象存储等。此数据必须提供给企业报表、分析模型和其他规划应用程序。 因此，合规性、安全性、治理、数据质量、沿袭和规模等问题依然存在。

为了应对这些其他挑战，让我们研究一些其他选项。此列表包含评估工具时要查找的关键功能：

• 基于网络的工具，具有良好的最终用户体验。基于浏览器的功能消除了让最终用户安装或维护任何客户端级别详细信息的需要。此外，基于网络的工具可以更轻松地从外部扩展到关键合作伙伴、客户或供应商。
• 能够支持通过Excel轻松下载和上传，因为用户已经习惯了使用Excel。
• 使用业务规则引擎和无需编码即可配置规则的选项实施数据质量。
• 直接在所选数据存储上工作，以最小化/消除任何数据移动。（请记住，目标就是要让改变跟得上业务速度。如果该工具可以与多个数据存储进行通信，那将是一个额外奖励。）
• 易于配置，但足够灵活的自助服务工具，可在需要时支持组织的特定流程和需求。
• 提供可由非技术业务用户配置的强大审批和工作流功能。
• 提供强大的访问控制和安全性，并能够集成到组织的身份验证工具中。
• 提供审核跟踪和历史记录（更改了人员、更改内容、更改原因等）
• 轻松配置数据的结构更改（更改/添加属性、表、视图、用户界面等）
• Teradata的参考数据管理器（RDM）满足所有列出的功能。Teradata在十多年前发布了业界首批RDM解决方案之一。虽然其他RDM工具可能专注于管理代码和关系，但Teradata利用基本代码和关系管理功能来提供更广泛的数据管理功能。例如，Teradata RDM会自动为任何数据表生成数据维护用户界面和网络服务。如下显示了自动生成的网络用户界面的示例。此外，Teradata RDM可以快速将电子表格转换为表格。

对于第一部分中列出的每个业务用例场景，Teradata RDM快速解决了孤立数据的挑战。遵循以下步骤：

1. 将每个方案建模为表、视图等的集合。这些表/视图看起来与原始Excel电子表格非常相似。
2. 利用参考数据自助服务工具（RDM），该工具可为每个表自动生成网络用户界面。网络用户界面支持无需代码的表维护以及通过Excel上传/下载。Excel上载过程支持数据质量强制实施（数据模型和应用程序级业务规则）。
3. 如果数据模型逻辑需要满足强制质量要求或者其他规则/逻辑（比如：数据类型强制要求或有效值列表强制要求），那么需要质量检查的属性是单独隔离出来需要查验的。
4. 业务规则（通常是SQL）是为非数据模型规则（有效范围、容差等）定义的。Teradata RDM提供了一个业务规则向导，无需编码即可创建SQL规则。
5. 确定了每个属性的数据所有权，并将其合并到基于角色的访问控制中。自助服务工具支持对行和列（单元格）交集级别的基于角色的精细访问。
6. 部署六个月后，上述示例中90%的用户不再使用Excel进行大多数更新。10%的例外情况仍在使用Excel进行批量数据上传。

总体而言，孤立数据挑战可能令人生畏。但是，当您将正确的流程和技术结合起来时，解决方案变得简单明了。