****大数据平台技术架构设计实践与应用

批次管理服务，调度服务负责在达到批次执行条件时正常发起批次，批次运行条件设置比较复杂且无法满足大数据平台批次复杂的依赖关系设置。监控工具需要能结合数据运行过程中的状态信息进行监控，且支持的方式比较单一。结合调度服务和监控工具的特点，充分发挥调度和监控的特长，重新设计了批次管理服务和批次监控规范，在数据处理的关键节点埋点记录批次运行的状态信息，方便进行批次运行情况监控以及上下游数据批次依赖关系维护等。

在数据管理能力上，将数据开发的规范和数据治理要求内嵌至数据开发过程，作为强制执行要求进行约束，进行指标管理、元数据管理、数据依赖关系维护等。每一份数据接入即约定了数据生命周期，数据开发工具定期将过期的数据、指标进行清理，确保严格按数据生命周期管理数据;通过维护数据质量检核规则，定期出具数据质量简报，确保能及时发现数据加工过程中的潜在问题。

四、一个典型的业务应用场景

业务场景：针对新发卡营销活动，实时向达到活动资格的新用户发送营销信息。

相关角色：营销活动策划人员、数据分析人员、数据开发人员、应用开发人员。

这个场景中，不同角色利用大数据平台提供的能力和服务，将数据采集整合加工、业务数据探索和分析、业务系统对接工作等基于大数据平台形成闭环。

1)营销活动策划人员提出营销活动的idea，通过大数据平台的数据探查能力了解idea落地执行是否具有可行性。

2)应用开发人员根据业务需求，制定数据对接方案。通过实时决策能力进行指标实时加工，并准实时将决策结果通知给营销信息触达的应用发送活动达标信息。

3)数据开发人员基于数据开发能力完成营销效果统计所需数据采集工作。

4)营销活动策划人员通过数据开发能力设计支持营销活动需要的指标及指标统计口径，以及设计营销效果统计需要的指标及口径;

5)数据分析人员通过自助分析能力分析营销活动效果，并将分析结果分享给营销活动策划人员。

6)营销活动策划人员根据活动的效果，及时调整营销策略和广告资源投放策略，提升营销活动效果。

五、成效总结

基本实现预定的技术目标

经过近几年不断地摸索和实践，大数据团队整合了客户、产品、风险管控、经营决策等各维度的数据，大数据平台具备了批量数据加工和实时决策等基础能力，实现业务系统与平台的快速对接快。数据服务能力显著增强，业务人员对于数据使用和理解更加深入，在不同的应用场景中均发挥了大数据的价值。

提升数据能力发挥业务价值

大数据平台对行内业务系统的支撑作用，主要有几个方面。一是基于大数据平台加工的客户360°视图对行内业务创新的支撑作用，为客服部门提升了用户满意度，为电营部门提高了电话营销的成功率，为风控部门提供了新的解决思路。二是基于实时数据接口，为渠道类系统优化用户体验提供数据支持。通过实时决策服务，为营销和推荐提供了非常有效的技术支撑，用户体验也有了很大提升;为风控提供了新的思路，真正做到了事中阻断拦截，减少用户损失。

（编辑：衡阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!