大数据实战Demo系统 MaxCompute数据仓库数据转换实践介绍 彬甫 2018年6月5日 数据架构及流程 MaxCompute 数据源 应用层 临时层 基础数据层 hdfs hbase RDS 核心模型 客户商品事件 渠道代码 数据集市 增量数据 全量数据 客户分析 销售分析 商品库存分析 … OSS 通用汇总 通用汇总 文件 基础数据层 ?基础数据层包含客户、商品、事件、渠道、代码等数据，共26张表； 基础数据层表的设计原则：1、能保存历史数据；2、能方便、高效的使用 基础数据层表的分类：1、主表；2、历史表；3、追加表 ?使用数据仓库的实体、属性命名规范（则）来创建模型表。应用层同样适用这个原则。 数据保留周期：永久 ETL加载转换策略： ?M1：全表覆盖 ?M2：更新插入 ?M3：直接加载 ?M4：全量历史拉链 ?M5：增量历史拉链 应用层 ?应用层 包含客户分析、销售分析、商品分析等集市表，主要是追加表； 数据按需进行保留。 ETL算法 ?M2：更新插入（主表）算法 ?M3：直接加载算法 ?M4：全量历史表算法