数据中台（七）数据中台架构总体架构图数据存储计算引擎数据汇聚数据汇聚是把数据资源通过实时、批量的⽅式存储到数据中台。基本是按照数据的原始状态堆砌在⼀起的，是企业对过往所有IT信息化建设积累的成果的融合。数据开发数据开发是数据资产内容建设的主战场，是数据价值⽣产过程中核⼼环节。数据资源是原材料，数据资产是商品，数据开发就是商品⽣产流⽔线，通过这条流⽔线将数据资源转换成数据资产。为 了 降 低 开 发 难 度 ， 提 ⾼ 开 发 效 率 ， 需 要 ⼀ 个 可 视 化 的 开 发 平 台， 主要 包括以下产品功能：数据体系数据体系是在全域数据资源的基础上，进⾏标准定义及分层建模，数据体系建设最终呈现的结果是⼀套完整、规范、标准、准确的数据体系，可以⽅便⽀撑数据应⽤。贴 源 数 据 层 STG： 数 据 资 源 通 过 批 量 同 步 和 实 时 接 ⼊ 临 时 存 储 的 数 据 层 ， 只 存 储 增 量 数 据 或 部 分 全 量 数 据 。 数 据 结 构 与 源 系 统 基 本 保 持⼀ 致 。 仅 做 简 单 整 合 、 ⾮ 结 构 化 数 据 结 构 化 处 理 、 增 加 审 计 列 ， 不 做 深 度 清 洗 加 ⼯ 。操 作 数 据 层 ODS： 对 贴 源 数 据 层 进 ⾏ 处 理 ， 存 储 全 量 数 据 。 数 据 结 构 和 贴 源 层 保 持 ⼀ 致 。统 ⼀ 数 仓 层 DW： 分 为 明 细 数 据 层 DWD、 汇 总 数 据 层 DWS和 公 共 维 度 层 DIM。 按 照 维 度 建 模 的 ⽅ 式 进 ⾏ 数 据 组 织 ， 定 义 ⼀ 致 的 维 度 和指 标 ， 各 业 务 板 块 、 业 务 域 按 照 统 ⼀ 规 范 独 ⽴ 建 设 ， 通 过 清 洗 、 规 范 化 形 成 统 ⼀ 规 范 的 标 准 业 务 数 据 体 系 。明 细 数 据 层 DWD： 按 照 业 务 过 程 建 ⽴ 事 实 表 ， 主 要 包 括 维 度 表 的 键 、 原 ⼦ 指 标 、 少 量 冗 余 列 和 审 计 列 。汇 总 数 据 层 DWS： 把 DWD层 按 照 业 务 域 进 ⾏ 聚 合 ， 形 成 粗 粒 度 的 事 实 表 。 主 要 包 括 维 度 表 的 键 、 派 ⽣ 指 标 、 少 量 冗 余 列 和 审 计 列 。公 共 维 度 层 D...
VIP
