常熟农商银行郁敏：TEZ引擎LAKEHOUSE金融级数据中台重构创新实践
当前，随着大数据、云计算、人工智能等技术的飞速发展，金融机构的业务模式、服务方式乃至整个行业生态都在发生深刻变化。数字化转型已成为金融机构提升竞争力、实现可持续发展的必由之路。在这一过程中，数据作为金融行业的核心资产，其重要性日益凸显。如何高效地收集、存储、处理和分析数据，以支撑业务创新、风险管理和决策优化，成为金融机构面临的重要课题。数据中台作为连接数据源与业务应用的桥梁，通过提供统一的数据存储、处理和分析能力，有效解决了数据孤岛、数据不一致等问题，成为金融机构数字化转型的关键基础设施。
近日，在“2026金融业数据管理创新研讨会暨首届金融数据管理人年会”上，常熟农商银行统计与数据资产部总经理助理郁敏，就“TEZ引擎+LAKEHOUSE金融级数据中台重构创新实践”这一主题进行了深入分享，不仅展示了常熟农商银行在数据中台建设方面的最新成果，也为金融行业的数据管理，特别是中小金融机构的数据创新提供了可供借鉴的经验和启示。
传统上，金融机构主要依赖数据仓库进行数据处理和分析。然而，随着业务的发展和数据的爆炸式增长，数据仓库在扩展性、灵活性和成本效益等方面逐渐暴露出局限性。为了应对这些挑战，金融机构开始探索向数据中台转型的道路。
数据中台不仅继承了数据仓库的数据处理能力，还通过在数据应用层面引入微服务架构、容器化技术等手段，实现了数据的快速迭代和应用的灵活部署。同时，数据中台还特别强调数据的共享和复用，通过提供统一的数据接口和服务，降低了数据使用的门槛和成本。
与一般行业的数据中台相比，金融级数据中台在安全性、稳定性和合规性等方面有着更高的要求。虽然数据中台通常部署于金融机构的内网环境，但是对于网络访问的安全管控，特别是要针对数据泄露风险作出针对性的防范，从而保障客户信息和数据应用的安全。同时，虽然数据中台通常不直接面向客户提供服务，但是随着监管部门对数据报送要求的提高、业务条线对数据分析驱动营销/风控/运营的迫切需求，作为数据底座的金融级的数据中台还需要具备高可用性和灾备能力，确保在极端情况下业务能够连续运行。
此外，随着监管政策的不断收紧，金融机构还需要确保数据中台符合相关法律法规的要求，避免因数据违规使用而引发的法律风险和声誉损失。
常熟农商银行的数据中台建设始于十年前，经历了从数据仓库到数据中台的逐步转变。初期，银行采用TD（Teradata）数据仓库技术，主要面向主题数据进行建模，支持决策分析。随着业务的发展和技术的进步，银行于2018年引入了CDH（Cloudera Data Hub）技术，形成了数据中台的雏形。
然而，面对信创（信息技术应用创新）的严格要求和市场环境的快速变化，常熟农商银行决定对数据中台进行全面重构。2025年，银行上线了基于华为MRS（MapReduce Service）和DWS（Data Warehouse Service）融合的第三代数据中台，实现了全信创环境下的自主可控和高效运行。
常熟农商银行的第三代数据中台采用了湖仓一体架构，将数仓（主集群）和数据湖（主集群）有机结合，实现了数据的统一存储、处理和分析。湖仓一体架构不仅简化了数据架构，还通过备集群的建设实现了主备容灾和高可用性，确保了数据的安全性和业务的连续性。
在具体实施上，银行利用华为提供的前瞻性功能，实现了数仓与数据湖底层元数据的直接打通。这一创新使得银行无需进行数据同步即可进行跨库查询，大幅提升了数据查询效率。同时，湖仓一体架构还支持海量数据处理和实时交易场景，为银行的数字化转型提供了有力支撑。
针对传统跑批引擎性能不足的问题，常熟农商银行引入了TEZ引擎，并通过30多项参数调优实现了跑批时效的显著提升。TEZ引擎采用DAG（有向无环图）高效调度算法，减少了不必要的HDFS（Hadoop Distributed File System）写入操作，进一步提升了系统整体性能。
据郁敏介绍，新平台的跑批时效比老平台提升了2.4倍，主干链路跑批更是提升了2.3倍。这一优化不仅解决了跑批性能瓶颈问题，还为银行的实时风控和敏捷营销提供了有力保障。例如，在信贷审批场景中，新平台能够快速处理大量申请数据并提供准确的审批结果，大大提升了客户体验和业务效率。
在存储方面，常熟农商银行对新平台的存储格式进行了全面梳理和优化。通过采用ORC（Optimized Row Columnar）和Zlib等高效存储格式，银行成功将数据容量压缩43%。
这一优化不仅降低了存储成本（服务器和软件授权合计节省总预算的19.5%），还提升了数据读写效率。例如，在数据查询场景中，新平台能够更快地返回查询结果，提升了用户体验和业务响应速度。同时，存储压缩还减少了数据备份和恢复的时间成本，为银行的业务连续性提供了有力保障。
新数据中台的上线不仅带来了技术上的升级，更引发了业务效能的革命。据郁敏分享，新平台上线后，关键业务报表的出数时间最高提速了649%。这一变革为银行的敏捷营销和快速决策提供了“小时级”的数据支撑。
例如，在绩效考核场景中，新平台能够在早上六点钟就生成前一天的绩效考核数据，而老平台则需要到下午才能生成。这一提速使得分支机构能够更及时地调整工作策略和优化资源配置，提升了业务效率和竞争力。
在实时风控方面，新数据中台通过独立集群部署和高效的数据处理能力，支撑了授信、小微、零售、村镇等业务的风险管理。目前，信贷侧已形成超过70套策略，为银行的小微贷款业务提供了强有力的风险保障。
据统计，审批时效由原来的30分钟缩短至平均10秒，大大提升了业务处理效率。这一提效不仅增强了客户的满意度和忠诚度，还为银行赢得了更多的市场份额和竞争优势。
为了进一步降低数据获取门槛、提升全员数据体验，常熟农商银行还推出了BI看板和AI问数等产品。通过BI看板，银行将数据中台上沉淀的数据融合层和领域集市层的数据，受控地开放给各分支机构和业务部门，使他们能够根据自身需求搭建数据统计和业务考核方案。
而AI问数产品则通过问答式查询方式，为数据分析人员、支行长和客户经理等不同角色提供了便捷的数据获取途径。目前，该产品已提供了1000多个标准化指标供用户查询和使用，真正实现了数据的普惠化应用。例如，在综合营销平台中，客户经理可以通过AI问数产品快速查询自身的存贷业绩增长情况、所属机构的整体排名等信息，为精准营销和个性化服务提供了有力支持。
在常熟农商银行的数据中台建设实践中，通过引入TEZ引擎和LAKEHOUSE架构等先进技术手段，银行不仅解决了传统数据仓库面临的诸多痛点问题，还实现了数据处理效率和业务响应速度的显著提升。正如郁敏在分享中所言：“数中见义，用数据成就美好。”在未来的发展中，常熟农商银行将继续秉持这一理念，不断探索和实践数据管理的新模式、新方法，为金融行业的数字化转型贡献更多智慧和力量。
Q：请问数仓和湖的备集群与主集群的时差分别是多少？如何保证主备集群数据一致性？
按照批量同步的方式来做，设定了每天的同步时间窗口。本来想用华为的数据库同步工具来实现，但是发现用工具的话，灵活性不满足要求，有的表我们不需要同步。关于一致性，本身数据copy完就会做检验，然后再叠加count和sum检验。
Q：华为这套数据存储的成本与之前的CDH比较有没有优势？主备集群的数据存储副本数一样吗？
副本一样多，不过开发测试环境做了单副本，提高性价比。存储成本通过使用容量更大的硬盘，综合测算下来相差不大。
正向加工严格遵守先mrs，再dws。另有存档数据流，在空闲时把dws的数据同步回mrs的归档区。Dws作为跑批定向加速的场景，在上面主要部署应用集市。而mrs主要是承载贴源、模型、领域集市和对时效要求不那么高的应用集市。
有的，数据量大的，我们会设置bi分店的模式，以平衡用量和管理复杂度的问题。不过这个分店不面向个人创建，而是以业务部门/分支机构为单位创建，其中的数据原料由我们部门统一提供。
2月13日，国家金融监管总局发布批复显示，同意筹建甘肃农村商业银行股份有限公司（以下简称“甘肃农商银行”），批复时间为2月9日。金融监管总局表示，关于筹建甘肃农村商业银行股份有限公司的请示及相关说明解释材料收悉。经审核，现批复如下：一、同意筹建甘肃农村商业银行股份有限公司。
2月14日，云南省纪委监委通报了3起党员、公职人员酒驾醉驾典型问题。一、迪庆州香格里拉市市场监督管理局工作人员孙某醉酒驾驶机动车问题。2025年10月17日，孙某酒后驾驶机动车被公安机关查获。
江苏省连云港市东海县发生火灾事故，致8人死亡、2人轻微灼伤，相关责任人已被控制
2026年2月15日14时30分许，江苏省连云港市东海县石榴街道东安村因村民个人燃放烟花不当，导致附近一烟花爆竹经营部爆燃，应急、消防、公安、卫健等部门赶赴现场救援处置。16时许明火已扑灭，造成8人死亡、2人轻微灼伤。
2月13日上午，潘女士在打扫其公公的老房子时，意外发现房间角落处存放着一罐子弹。出于安全警惕，她第一时间联系了浙江台州三门县海游派出所工作人员。
近年来HPV越来越受关注尤其在女性群体中掀起了一股疫苗接种潮可能在很多人眼里HPV是女性病但实际上它是无差别攻击男人也会感染HPV！于是，谢玺先为他进行留置导尿，解除排尿痛苦的问题，同时赶紧取了肿块的活检送病理。
经湖北省委批准，湖北省纪委监委对十堰市人大常委会原党组成员夏树应严重违纪违法问题进行了立案审查调查。
每口成本仅19元的普通锅具、每套成本仅32元的菜刀......这些用低成本在网上买来的厨房用具，竟被几名年轻人包装成售价698元、具备“神奇养生功效”的“高科技产品”，骗了300多名老年人。这起案件的曝光，给老年群体提了醒，也给其家中子女敲响了警钟。
国家安全部今天发布安全提示文章，在光影触手可及、分享即时便捷的时代，我们享受着影像记录带来的便利与乐趣。
高速免费的第一个夜晚，全国司机集体陷入“甜蜜的烦恼”导航上一片飘红，原本4小时的路程，有人开了8小时还没出省；服务区堵到进不去，有车主在应急车道上踮脚泡面；更有人拍下“名场面”：前后左右全是车，车灯连成一片灯海，恍惚间以为自己在“停车场看星星”。
极目新闻记者 王鹏1月8日，中国人民警察节前夕，2025天津市“最美基层民警”名单发布，其中一个很多天津人早已熟悉的身影，再次走到聚光灯下——天津市公安局北辰分局交管支队西堤头大队大队长李天斌。