Subscribe to the Teradata Blog

Get the latest industry news, technology trends, and data science insights each week.

实现业务和IT部门的不同需求,加速分析生态系统的创新——简便性

实现业务和IT部门的不同需求,加速分析生态系统的创新——简便性
在加速分析生态系统创新的系列文章中,我们着重于从IT和业务部门的角度更全面地理解问题。在我们的第一篇文章中,我们重点介绍了灵活性。而在这篇文章中,我们将重点放在简便性上。

如最初所述,认识冲突是更全面地理解问题的第一步。没有人有错,他们双方都只专注于实现自己的目标。看起来我们似乎陷入了僵局,但解决办法仍然存在。   
 
我们的目标是实现双赢,让业务和IT能够同时以最小的摩擦实现自己的目标。在接来下的讨论中,我们将利用图1中的分析功能框架来了解业务和IT的不同需求,并提供满足这些需求的建议。
 

下面的框架描述了在现代分析架构中成功所需的三种基本能力。这三种能力是:

 
  1. 灵活性 – 选择最合适的软件资源(工具、语言和库等)的能力,加快用户的洞察力、并最大程度地减少运营工作。
  2. 简便性 – 以简化、可管理且具有成本效益的方式为业务用户和IT快速配置或停用分析资源(计算、存储和网络)的能力。
  3. 可用性 – 能够有效地查找、保护和管理整个分析生态系统中的信息和分析,而不会减慢业务用户的速度或危害生产的能力。
 
Picture1.png图 1 – 分析能力框架

在不失控的前提下,简化计算、存储和连接

现代的分析生态系统中加入了几年前还不存在的功能。这些新的灵活功能也提升了系统的复杂性。而造成复杂性提升的部分原因可以归结于与数据、性能、存储、计算和连接性相关的特征。随着对于更多分析技术的需求增加,加上数据量、速度和多样性的提升,导致对具有不同性能和成本特征的数据存储的需求也增加了。为了应对更加复杂的企业范围分析所带来的计算需求,企业对具有可变性能和成本的、可扩展程度更高、更强大的计算资源产生了更多的需求。

业务用户需要比它们的电脑更强大的计算资源,当前的电脑已经可以利用大规模并行计算能力(可能是GPU计算)、大量内存和高带宽I / O。但他们需要能够为他们的分析问题选择正确的计算引擎和数据存储。他们今天可能需要这些资源,但明天可能就不需要了。此外,他们还需要在计算资源上执行工作负载,而这些工作负载可能会根据需要在运行时被动态分配,而需求可能会发生很大的变化。

用户需要能够轻松获取和存储可能非常大量数据的能力。为了执行分析,他们需要来自多个系统的数据,这些数据存储在与S3兼容的对象存储或分布式文件存储中,例如HDFS。他们需要访问高质量的生产数据以及他们自身数据的能力。用户经常需要合并多个数据存储中的数据,并将它们与已经加载到探索沙盒中的数据结合起来。由多名分析师手动将数据从多个生产平台移至探索沙盒中的过程既费时、浪费资源,又会导致数据散乱、并且随着时间的流逝而导致数据质量的降低。用户需要能够轻松、无缝地查询数据,而不必手动处理来自不同数据源的数据才能执行分析。

IT团队需要管理生产和发现环境中使用到的分析资源。IT部门必须确保生产工作负载满足SLA,但还需要确保分析探索资源的可用性、可访问性、并提供保护。对于IT来说,为分析沙盒配置的IT资源必须经过批准、高度灵活并被妥善管理,这一点至关重要。


业务需求:
 
  • 获取存储和计算资源,以支持业务分析需求

  • 简化配置流程,以获取用于分析探索和创新的资源

  • 通过虚拟化技术,轻松访问多个数据存储中的数据,以减少对数据复制的需求

  • 简化的分析切入点


IT需求:
 
  • 提供标准化、可控的资源用于探索分析,确保可支持性并加快实现价值的速度

  • 确保满足生产SLA

  • 启用虚拟化功能,从而简化高速结构中的数据访问和分析处理工作

  • 优化与合理化资源,以提高成本效率

  • 管理、监控对于生产和发现资源的使用


优化建议:
 

为了实现简化的计算、存储和连接性,我们建议:

 
IT部门注意:
 
  • 提供具有足够的计算、存储能力和连接性的分析探索/创新平台,以支持业务的分析需求。利用诸如对象存储之类的新技术,这些技术可以提供成本非常低廉的存储能力,并数据传输速率较为合理,虽然数据延迟程度较高,但这对于大多数针对大型数据集进行的分析来说都是可以接受的。

  • 建立一个理想环境,最小化将分析从发现环境迁移到生产环境中的摩擦。

    • 建立分析操作框架和流程,通过适当的管理、轻松地将新数据和分析推广到生产中,以确保数据和分析的质量稳定性。

    • 与业务部门积极合作,评估能够满足其需求的新工具和技术,确保这些新工具和技术能够得到批准和资助,并将其合理化地结合到分析生态系统中。

  • 为用户提供简单的自动化供应能力,帮助用户获取沙盒资源
    • 把经过认可的资源变为使用案例,这些资源能够满足用户的分析需求,并具有足够的可控性、可以进行有效管理。
    • 按职能角色分配默认配置值(允许例外)。
  • 在数据存储平台之间提供高速数据架构,以减少数据传输延迟、并最大程度地减少数据复制的需求。

  • 建立数据虚拟化功能和策略,以简化对多个数据存储中的数据访问。

    • 自动创建外部表格,以支持基于简单SQL的跨平台数据访问。
  • 平衡专注于分析生态系统的性能、灵活性和总持有成本等的IT需求,与专注于发现和创新的业务需求。
  • 部署工作负载管理功能,确保生产能够满足SLA,同时实现在发现环境中直接获取生产数据。
 
业务部门注意:
 
  • 使用经过IT认可的环境,以最大程度地减少将探索环境中的分析应用于生产环境中所需的工作量和时间。
  • 利用IT部门提供的自动配置流程来加快对分析环境的访问。
  • 利用数据虚拟化技术,通过SQL从多个数据存储中按照需要连接数据,而不是创建更多的数据加载工作,从而最大程度地减少数据复制、提高数据质量并最大程度地提高洞察力。
  • 与IT部门积极合作,应用解决业务差距的新技术。
  • 在探索时专注于挖掘洞察的速度和性能表现。
 
简便性让用户能够快速配置自己的分析沙盒,以专注于分析并解决其业务问题。IT部门在向用户们提供简单的配置功能时,他们能够确保可以支持、监控和管理资源,提供对正在加载的数据和正在执行的分析过程的可见性。用户可以自由使用各种类型的资源,而IT部门可以查看分配和使用的资源。

在本系列的第三篇也是最后一篇文章中,我们将讨论可用性的重要性。

Portrait of Dwayne Johnson

(Author):
Dwayne Johnson

Dwayne Johnson is a principal ecosystem architect at Teradata, with over 20 years' experience in designing and implementing enterprise architecture for large analytic ecosystems. He has worked with many Fortune 500 companies in the management of data architecture, master data, metadata, data quality, security and privacy, and data integration. He takes a pragmatic, business-led and architecture-driven approach to solving the business needs of an organization.
  View all posts by Dwayne Johnson
Portrait of Mark Mitchell

(Author):
Mark Mitchell

Mark is a principal ecosystem architect at Teradata with 25+ years of data warehouse experiencing as system engineer, enterprise architect, and implementer of large data warehouses to Fortune 500 companies.   He has performed consulting engagements at many large Fortune 1000 leveraging his analytic skills and technical knowledge to implement innovative data driven solutions focused on delivering value by optimizing efficiency or growing sales.   He has spoken at the Teradata user conference on topics ranging from dual active implementations to workload visualization techniques. He holds a patent related to applying state machine concepts to managing high availability of systems.
 
  View all posts by Mark Mitchell

Turn your complex data and analytics into answers with Teradata Vantage.

联系我们