****大数据平台技术架构设计实践与应用

 一、****大数据平台建设背景及目标

我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好;二是虽然在信息化建设过程中建设了比较完成的BI应用，但随着业务不断发展，这些解决方案已不能完全满足业务对于数据分析的需求;三是大数据技术的快速发展和应用为满足业务迫切需求提供了新的解决方案。

我们在信息化道路上已经走过很长一段历程，通过软件系统将业务逻辑和业务流程进行电子化改造，实现了业务数据结构化存储。随着业务数据的结构化存储不断发展，****在数据分析和利用方面也逐步进行建设，比如数据采集、数据仓库以及集市等应用也逐步建立，数据下发、报表以及驾驶舱等数据消费应用也逐步完善。运用先进的数据分析工具深度挖掘数据价值在行内的有着比较深厚的“群众基础”，上至行领导、下至支行普通员工都深刻得理解数据分析工具对于挖掘数据价值的重要性，并随着数据应用不断深入对于怎样更好的进行数据分析和使用有了越来越多的需求。

业务部门已经不满足于仅对财务报表数据、经营情况的数据分析，希望能对业务开展各个环节进行快捷的数据分析，对于业务经营活动提供强力有的数据支撑和决策能力。这势必增加数据存储和计算资源，在面对这些新业务需求时传统的数据处理遇到的困难主要有几个方面。一方面扩容成本比较高，且只能处理及结构化数据;另一方面大量的数据分析对于系统的计算资源要求太高，无法保证数据分析效率;最后，只能提供离线数据处理，无法提供实时或准实时的数据分析，这样就导致了业务需求井喷但数据分析系统却无法支撑的局面。

我行从2013年我们开始对大数据解决方案进行试验性论证，大数据解决方案可将更多的数据纳入分析，将以前无法处理的半结构化以及文本数据进行处理，能够与现有的数据仓库和集市等进行整合，充分利用现有整合结果进行精加工，并通过将大数据分析结果下发给行内业务系统、报表工具进行数据消费，进一步深入挖掘数据的价值。

总的来讲就是我们有比较好的信息化基础和数据分析基础，业务对于数据分析的诉求无法完全通过传统的BI类应用得到满足，而大数据提供的技术解决方案让业务更有想象空间。

经过与业务部门需求的深入沟通，与同业及厂商的进行深入调研，结合我行实际情况，明确了大数据平台建设需要实现以下几个技术目标：

一是要有更多的数据，要比传统BI处理和分析更多的数据，提升数据分析的范围，在现有数据的基础上补充对半结构化和非结构化数据的分析处理能力，实现对业务全流程相关数据的整合和分析;

二是更全面的数据处理能力，批量处理能力要比传统BI更强，每天能完成TB级数据处理，同时突破现有的BI系统仅提供批量离线数据处理的桎梏，必须要提供实时的基于事件的数据分析决策能力;

三是要有更好的数据服务，针对业务对传统BI类应用使用中的痛点进行该改进，让用户能够方便快捷了解平台能提供什么样的服务，怎样能快速获取到平台的数据服务;四是更丰富的系统对接方式，传统BI将处理结果以批量方式下发给业务系统使用，我们需要将大数据技术的处理结果封装成数据服务接口，与现有业务系统对接进行数据消费，减少批量数据下发对下游系统的存储和性能压力。

二、建设难点及应对措施

在建设过程中面临的困难主要有几个方面，大数据技术基础薄弱、大数据技术应用能否发挥价值的不确定大、数据治理管控的难度比较大等问题。

大数据相关技术薄弱无积累

****信息建设过程是逐步积累起来的，且有比较多的同业建设经验可以借鉴，而我们在准备进行大数据建设时，彼时在****系统内掌握并用好大数据技术的还比较少，并没有太多同业成功经验可以复制，新技术引入对于开发和系统维护的挑战都很大。我们做了三个方面的工作进行弥补：一是加大人员投入，聚焦技术方向深入研究相关技术;二是找靠谱的实施服务商，通过实施服务商找一些有大数据开发能力和实施经验的开发人员，加快原始技术积累进程;三是加强技术交流，鼓励结合项目不断学习新技术并在项目组内进行交流，鼓励参加开源社区组织的技术沙龙走出去看看别人怎样做的，积极与****同业以及先进的互联网公司进行技术和应用的交流。

大数据应用前景的不确定性大

大数据应用首先是技术上革新，其次是对内部管理模式和工作机制也是新的挑战，****和互联网企业的“基因”上差异很大，项目建设论证阶段，专家评委对大数据技术在****系统内是否会“水土不服”表示担忧。对于一个新组建的几乎零基础的团队能不能把大数据技术用起来，以及能否发挥数据的业务价值都有很大的疑虑。为此，我们将建设工作分成几个阶段实施，尽量减少一次性大量投入的风险。在平台建设方面，先建设离线数据处理能力，通过离线建设摸索大数据技术与****业务结合的实现方案，再进行自助数据分析和实时决策能力的建设，不断完善数据治理能力;在应用上，与业务达成共识选定易于实现且成效显著的业务场景，搭建最小集群进行开发和应用，待应用模式逐步成熟后根据业务需求对集群进行扩容。当技术路线或者实现方式等导致与业务需求存在偏差的情况，可以及时调整方向，降低技术不确定性带来的影响。总体上来讲，按照“先离线后实时，先简单后复杂，兼顾数据治理”的思路进行分阶段建设，每一阶段均按照“小步快跑，快速迭代”的思路快速应用产生价值。

数据大集中的治理管控难度大

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!