凯发天生赢家一触即发首页

中国移动客户关系管理

　　2021年7月，恒丰银行发布了“建设一流数字化敏捷银行”的新战略，明确了未来5年乃至到2035年全面㊣推进数字化转型的时间表与路线图。根据战略规划，恒丰银行将围绕“建设一流数字化敏捷银行”的发展愿景，抓住生产力和生产关系两个战略方向，加快数字化转型，构建先进生产力，以敏捷组织重塑新型生产关系，推动数字银行先进生产力更高效释放、金融供给能力跨越式跃迁。数据湖建设项目完全沿用企业的存量基础设施和数据资产，提高新的基础设施（数据湖）建设效率，兼顾国产信创及自主可控的技术目标。通过更加灵活和具有开放性的数据湖，为全行加快数字化建设注入新动能。

　　数据湖采用分片式建设实施工艺，在数据湖建设无独立立项、无独立费用情况下，从部门及企业级的重要项目中，确定数据湖实施需求范围。根据以下实施步骤完成：

　　从业务、数据、应用、技术㊣4大方面进行需求收集。包括：业务描述及痛点、数据集成及加工需求、数据质量及安全要求、异构等㊣技术特殊需求。根据每个目标的数据集成及加工需求进行详细评估✅（入湖清单、生产容量、利旧方案、迁移方案等）。

　　结合访谈中的问题及技㊣术特殊要㊣求做公共能力评估，如现有数据线公共能力无法支撑项目建设，则与访谈目标沟通建设意向。

　　目前恒丰银行数据湖采用星环科技的Hadoop大数据组件TD㊣H&ArgoDB，企业级数据仓库采用酷克公㊣司的MPP数据库HashDdata。为了实现湖仓的数据互访，恒丰银行在业内首次打通了Hashdata与TDH&ArgoDB的技术壁垒，成功实现了两个商业数据库之间的互连互通。为同业推进湖仓一体建设提供了借鉴，具有良好的行业推广能力，模式可复制具备较高经济价值。

　　通过数据联邦能够自动优化执行计划，将执行语句优化并下推至数据源，只需获取计算结果而不需要获取全部数据，在避免数据重复存储的同时能够提升整体计算性能。

　　性能测试结果表✅明，HashData与TDH&ArgoDB使用Hive Connector和数据联邦的方式进行访问，比通过传统ETL模式整体性能提升40~50%，初步满足✅日常跑批时效性。但各应用需根据实际使用场景进行设计和优化，尤其上亿级表关联。同时随着并发的增加，表关联时长变长，运行性能㊣下降，实际生产环境应根据资㊣源配置选择最优并发，避免对批量作业产生影响。

　　基于TDH&ArgoDB与HashData 的异构数据库互联互通方案，主要用于支撑以下应用场景：

　　(2)连接各类数据源，完成数据采集，且满足企业批量和实时的时效性要求。通常来说，HashData外部表可以满足企业对跑批业务的需求，而Hive Connecto㊣r连接器可以很好地满足对实时性比较高的业务需求；

　　(3)实现Data Fabric架构，在混合云或者多云的环境中，实现动态管理不同数据源，并基于MPP 引擎进行并行、高速的数据✅访问，实现混合数据生态的无缝集成。

　　该方案采用Hadoop与MPP的湖仓混合架构，打通了两者间的元数据和数据互访，将数据仓库的高性能及管理能力与数据湖的灵活性、开放性融合。底层支持多种数据类型并存，能实现数㊣据间的相互共享，上层可以通过统一封㊣装的接口进行访问，同时支持实时查询和分析。该方案能高效发挥湖仓混合低成本、高可用、易拓展等优势，为我行海量数据存算、共享、分析和治理带来了更大的便利性。

　　搭建数㊣据湖，新一代数仓与数据湖并行加载源数据文件，整合模型需要的贴源数据采用双写模式，新增贴源数据仅入✅湖。

　　Hashdata与ArgoDB产品数据互访，两区模型互访✅共享。打破产品限制，数据经过数据湖和数据仓库加工后，统一对外提供服务。

　　完成数据湖的基础建设。首先基于测评情况和资源评估情况，释放利旧资源，基于星环大数据平台TDH完成数据湖的搭建。其次首批业务数据入湖，基于数据湖完成审计、市场风险等需求实施，对外提供服务。最后对数据湖节点进行扩充，完成老数仓历史数据迁移，老数仓进行下线。本阶✅段采用双写模式，数据湖✅和数仓分别加载存储需求的贴源数据。

　　完成数据湖并行期建设，首先完成新一代数仓的贴源切换，所有贴源数据先入湖再入✅仓，数据湖聚焦所有贴源结构化数据，半结构化及非结构化数据的存储及简单加工，数据仓库集中做数据模型加工、计算。依据硬✅件资源情况，完成目标态160+80节点的数据湖及ArgoDB数仓扩容。基于Hashdata与㊣ArgoDB两个产品数据能✅互访，实现湖仓混合技术路线，双方模型可以无差别共享，对应用无感。

　　完成核心技术验证；完成数据湖节点安装；数据湖逻辑分层设计及开㊣发；完成数据湖SIT及正式对外发布。

　　贴源入湖规范及双写范围确认，整合模型需要的数据采用双写模式，新增贴源数据仅入湖；企业级项目需求、总分行需求及需求入湖；

　　hashdata采用hiveconnect连通TDH；扩大贴㊣源入湖范围并确认切换范围及准则；贴源切换新一代数仓；完成贴源切换。完成数据湖160+80的升级扩容任务；完成ArgoDB数仓升级扩容任务，实现湖仓混合技术路线。

　　数据湖建设，严格遵守恒丰应用架构、技术架构、安全架构、数据架构对于新建设（重构）系统制定的多项技术标准：

　　2. 高可用：双中心✅主备部署。无单点故障隐患，符合应用组件失效恢复时间要求（MTTR）5分钟；符合✅㊣应用APM监㊣控规✅✅范；应用日㊣志满足日志规范；错误码编码遵循错误码设计规范；应用服务器CPU利用率60%; 内存利✅用率60%，支持横向及纵向扩展。

　　数据湖采用分片式建设实施工艺，数据湖建设无独立立项、无费用情况下，最终明确各个企业级项目支持数据湖建设。从部门“10+1”、领导讲话中的重要㊣项目，确定访谈需求范围。

　　由“湖仓一体化”令主及数据架构师牵头，与项目负责人、业务负责人、科技研发和需求进行访谈，从业务、数据、应用、技术4大方面（24个点）进行访谈：

　　结合访谈中的问题及技术特殊要求做公共能力评估，如现有数据线公共能力无法支撑㊣项目建设，则与访谈目标沟通建设意向。

　　目前数据湖运行良好，截止2023年底，累计完成11847张表入湖，涉及到155个系统、23个归属部门，满足审计部做数据建模、分析、评估、预警、审计㊣的需求，满足零售金融部和个贷部的板块经营决策，营销分析，数据挖掘等工作提供统一数据服务需要，为交易银行部、公司/同业金融部、外部数据、风险管理部提供数据支撑，满足审计、风险、授信、对公、零售等领域赋能数据支撑。

　　当前数据湖共50个节点，43计算存储节点，其中：总存储1537321G，CPU3200核，内存25492G，资源满足数据✅湖存储计算要求，系统平稳高效运行。

　　数据湖建设项目，解决数据孤岛现状，实现全行统一的、可共享的数据平台。 数据湖统一整合行内、外部各类业务系统数据。数据湖全行数据最全且唯一。赋能业务部门，促进敏捷开发，快速响应业务需求，加速业务价值实现：数据湖通过提前接入数据源，覆盖全部业务领域数据，快速找到业务所需数据表，快速响应业务需求。当前数㊣据湖已在如下场景实现数据支撑，产生实际业务成效：

　　审计系统需要几乎覆盖接入全部行内系统数据，数据湖统一集成了审计系统所需数据，满足审计集市访问多业务系统数据进行审计分析，避免跨系统系统分析取数，极大降低审计获取数据难度，审计集市基于数据湖贴源数据进行进一步加工，满足审计部门高效的数据建模、分析、评估、预警的需求。

　　行内模型管理平台系统对接数据湖，目前各部门已实现通过模型管理平台访问数据湖进行数据探查，构建板块经营决策看板，营销分析挖掘，风险数据挖掘。数据湖数据覆盖存款、贷款、国债、基金、理财、银证通、客户及渠✅道、商户信息、手机银行、资金交易资产管理、信用卡㊣申请、审批、卡片、合约账户、客户、账单、交易、分期、供应链系统、支付结算、现金管理、对客资金交易、保理、代收、对公存款、贷款、客户信㊣息管理、营销及销售和价格管理、资金监管、客户评级及细分、征信、评级、风控集中平台、资产计量㊣及管理、IFRS9、经济资本、外部数据等系统数据中国移动客户关系管理。满足行内统一数据服务需要。

　　数据湖存储大量历史数据，目前可以通过统一数据查询系统对接数据湖进行历史数据查询，从而释放各应用系统数据存储压力，降低历史数据查询复杂度，提升效率，满足业务对于历史数据查询需要，实现降本增效。

　　数据湖集成海量数据源，将逐步支撑包括数据仓库在内的监管报送、经营分析、营销支持、风险管理等百余个行内系统的数据用㊣数需求。

　　数据湖项目总共涉及到30多个需求，总涉及人员超50+，包含㊣㊣各业务部门领导、企业级项目✅IT㊣BP、需求、开发经理、实施厂商，人员多、路径长给管理带来极大困✅难。通过制定详细跟踪计划，建立专项沟通群，特事特办，确定事项Face To Face沟通。合理制定总计划，拆分子任务，分析各个需求，按照计划严格执行，并执行周例会机制，有序同步计划执行情况。

　　跨团队建立专项沟通群，针对不统一的问题及时会议沟通形成统一意见。数据湖在成立之初就存在无独立立项无费用情况，部门领导跟各企业级项目多次沟通费用情况，最终明确各个企业级项目支持数据湖建设。各团队分工通力协作，数据湖项目设立项目管理组，技术支持组，产品支持组，需求分析组，开发实施组，实施运维组，制度规范组。各组分工协作，从制定技术路线和开发框架，到产品安装运维优化，业务需求分㊣析，系统开发优化，缺陷修复，系统测试，以及㊣系统实✅施、运维、故障处理的及时响应和处理工作。各组的高效协作，保障项目平稳上线.深耕湖仓，步步为赢✅

　　数据湖建设过程中，项目组攻坚✅克难，基于我行现状以及业内主流数据架构，制定湖仓混合架构，即数据湖和数据仓库互相补充、融合，协同的架构为用户提供了数据湖的灵活性和数据仓库的诸多特性，能够将大数据的总体成本进一步降低。项目实施过程中，有效解决了异构数据库的同步和互操作性问题，数据技术研发团队攻坚克难，利用4个㊣月的时间，实现了HashData与TDH&ArgoDB通过Hiveconnector、数据联邦机制等混合模式的互访。为该方案能高效发挥湖仓混合低成本、高可用、易拓展等优势，为我行海量数据存算、共享、分析和治理带✅来了更大的便利性。

　　更多金融科技案例和金融数据智能优秀解决方案，请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。