数据资产管理在腾讯游戏的实践 演讲人：陈才 2019 中国数据智能管理峰会 个人简介 陈才 七年数据管理工作经验 90后 腾讯高级工程师 专注方向 数据资产管理、自动化运维、AIOps 2019 中国数据智能管理峰会 腾讯游戏大数据运营概况 15w+表 离线计算量：220+万/天 流式计算量：2000+万/秒 4000亿+数据 100P+ 端游 100+ 款 页游 90+ 款 4w+表 600亿+数据 多维分析 Bitmap Index Generator Data Mapper Bitmap Filter Builder Col-1 Col-1 Col… 30w+表 Execute Engine TDW Dynamic Bitmap Index Cache Aggregate Merger 13000亿+数据 手游 300+ 款 每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20% 2019 中国数据智能管理峰会 问题与痛点 在游戏大数据管控中，面临着众多问题与痛点 01 数据多样化，缺少统一标准 02 计算逻辑理解一不致，导致统计结果有偏差 03 04 05 06 数据全链路质量问题，层次复杂、不能快速定位问题 数据质量偏低给数据应用带来的各种挑战 数据标准缺乏结构化管理，集成困难 数据分散，没有形成完整的成本管理 游戏数据管控的问题与难点 07 数据价值的评估较为困难 数据安全与合规保障的问题 08 …… 2019 中国数据智能管理峰会 发展历程 构建游戏大数据资产管理体系-历经6年在各阶段解决的关键问题 数据集成 数据治理 ?数据孤岛形成 资产运营 ?没有统一数据平台 ?数据标准缺失 ?数据流转架构混乱 数据驱动 ? 质量参差不齐 ?数据传输时延高 ?数据集成效率低 ?平台组件不够稳定 ? ? ? 数据成本剧增 ?数据安全防护差 ?数据血缘不完整 ?数据获取效率低 指标概念不一 数据合规存在风险 ?数据价值难评估 ?数据生命周期不合理 ? 运营效率有待提升 2013年 2014年 2016年 2018年 2019年 游戏大数据资产管理：通过组织、流程、制度、技术等组合手段，确保数据交付的 质量、效率、成本和安全，助力业务数据价值提升 2019 中国数据智能管理峰会