在探讨数据建模的创新性应用时，首先要强调的是，数据建模师与数据库管理员(DBA)的角色差异，数据建模师的核心在于对业务的深刻理解，建模方法和技巧应围绕业务需求展开。本文将暂时脱离业务层面，聚焦于建模方法和技巧的实践经验总结。

数据库及数据仓库建模方法主要分为四类。第一类是熟悉的关系数据库三范式建模，常用于构建操作型数据库系统。第二类是Inmon提倡的三范式数据仓库建模，该方法包含三层结构，实体关系层（业务数据模型）、数据项集层（根据数据产生和访问频率）和物理层（具体实现）。第三类是Kimball倡导的维度建模，即星型结构建模，常与雪花模型结合使用，旨在提供面向用户需求、易于理解且访问效率高的建模方式。第四类是更为灵活的建模方式，常用于后台数据准备区，建模方式多样，以满足特定需求为目标。

第四类建模方法的经验总结如下：数据准备区表的使用特点在于不直接面向用户，因此ETL工程师可自由决定表的数据范围和生命周期。具体来说，对于数据范围较小的临时表，通过在临时表中仅保留处理所需的数据，可显著提高更新和计算效率。数据处理完成后，再一次性加载到数据仓库表中。对于带有冗余字段的临时表，由于表仅由自己使用，因此建立冗余字段可以带来便利，无需承担风险。

在数据仓库架构方面，本文总结了当前常用架构方式及其优缺点。一致性的原子层数据在数据仓库中保持企业范围内的统一是关键。独立数据集市架构（Independent data marts）在大范围内可能造成信息孤岛，除非在较小企业内或针对固定主题。联邦式数据仓库架构（Federated Data Warehouse Architecture）需要在不同平台上建立数据仓库并通过参考数据整合，整合可能不彻底，除非采用类似Kimball总线架构中的一致性维度功能。本文主要讨论了三范式原子层+数据集市、星型结构原子层+HOLAP以及三范式原子层+ROLAP架构，它们各有优势和适用场景。

变化数据捕获技术在数据仓库系统中至关重要，用于保留历史变化信息。常见方法包括文件或表全扫描对比、DBMS日志获取、在源系统中增加触发器、基于时间戳、复制技术或DBMS提供的方法。其中，由DBMS直接提供变化数据捕获功能成为趋势。对于缓慢变化的维度表，Kimball的方法基本可以处理各种变化情况。对于事实表数据的改变，建议采用更新事实表的方式，避免插入新记录带来的后续麻烦。在遇到主键随数据变化而改变的情况时，可以采用触发器实现变化数据捕获，但这种方法需谨慎考虑对源系统性能的影响。

对于操作型数据库系统的设计者，建议避免建立智能型会变化的主键、加入操作人和操作时间字段或使用“冲红”方式更新记录，以简化后续数据仓库建设过程中的事实表数据变化问题。期待数据库管理系统厂商提供强大且易于使用的变更数据捕获功能，简化技术实现，聚焦业务需求。

本文地址： http://www.goggeous.com/20241127/1/95201

文章来源：天狐定制

版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。