为什么需要集成数据生命周期解决计划
发布时间：2021-12-13 08:42:35 所属栏目：大数据 来源：互联网
导读：如今，数据成为了一种新石油，但是如何挖掘其价值?在数据的生命周期中有很多阶段，这就是企业需要采用一些方法和措施处理从数据收集到获得见解的整个生命周期的原因。 几乎每个经历了数字化转型的企业都在努力地利用收集到的大量数据。实际上，对于大多数企业
|
如今，数据成为了一种“新石油”，但是如何挖掘其价值?在数据的生命周期中有很多阶段，这就是企业需要采用一些方法和措施处理从数据收集到获得见解的整个生命周期的原因。 几乎每个经历了数字化转型的企业都在努力地利用收集到的大量数据。实际上，对于大多数企业来说，85%～95%的数据从未得到充分利用，因此会造成浪费。 数据的生命周期有许多阶段，其中包括数据获取、创建数据工程/数据集以赋予原始数据意义、大容量存储数据以供进一步使用和分析、创建数据库以探索数据，最后，还可以使用高级分析或机器学习从数据中提取见解，同时保持数据安全和完全的合规性。许多企业面临的挑战是如何更好地组合这样的系统，同时保持合理的成本并最大程度地减少部署和运营的时间，以及如何以更具意义的方式呈现数据，以便人们能够从中获得见解。 企业需要的是处理从数据采集到分析的整个数据生命周期的方法，同时还要保持开源的优势以及利用内部部署或混合云计算的能力。数据仓库可以处理存储和交付，但它们不能提供完整的解决方案。许多组织已经实现了数据云，无论是通过纯粹的开源产品(如Apache Hadoop)还是商业产品(如Talend、Informatica、Amazon Redshift、IBM、SAP、Oracle等)，但这并不能解决整个数据生命周期方面的挑战，通常会迫使企业使用许多可能难以集成的附加异构产品。 尽管开源软件/系统似乎非常有吸引力，尤其是从成本角度来看，但“自行开发”实施功能解决方案的方法通常充满挑战，而其“免费”并不是真正的“免费”。通过选择一个完整的解决方案，可以显著减少全面运营的时间，同时也降低了持续运营和支持的复杂性。从长远来看，这种方法可以为企业部署节省大量的投资。根据调查，复杂性和集成挑战会导致多达50%～65%的企业系统达不到预期或全部失败。此外，非优化系统的持续维护成本会对运营预算造成重大影响，估计这些成本可能是完全集成的解决方案成本的2～5倍。 除了增加以及对多种技术和可用资源有更多的需求之外，还有一个问题是，导致洞察延迟，并且可能永远无法实现。而采用基于开源的解决方案要有效得多，它已经创建了所有必要的集成，以构建可以轻松快速地实施并最终得到有效支持的完整系统。 作为更完整的数据生命周期解决方案的一个例子，Cloudera公司创建了一个与其Cloudera数据平台(CDP)的集成方法，不仅包括数据采集和存储，还支持机器学习和缩短洞察时间，同时还包括一个配置文件驱动的分层数据安全方法。它将数据采集、数据流、数据工程、数据仓库、数据库和机器学习(ML)集成在一个可扩展的框架内，并允许根据需要从不断扩大的合作伙伴生态系统中集成其他功能。它可以在内部部署、混合云或公共云上工作，当部署为云计算实现时，它实际上可以消除与单个组件部署相关的延迟，从而可能节省获得数据洞察的时间。 （编辑：衡阳站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
