Golang在阿里巴巴调度系统 Sigma中实践交流 阿里巴巴-系统软件事业部 调度系统-鹰缘 20180415 系统软件事业部：打造具备全球竞争力、效率最优的系统软件 大纲 取材 -资源调度领域Sigma -选“共性的、具备借鉴性”(阿里特有的不讲) -更多的时间留在QA环节 Sigma总览 工程问题 -架构设计与语言选择 -业务并发模式下的任务粒度和锁处理 -综合解决方案，以Slave架构引出 4个案例+4段代码 工程背后的那些事 -围绕规模化，上云，运维友好 小结 -踩过的坑，大规模场景下解决方案的一种实现 -最难调的bug 往往是 低级错误引起的 系统软件事业部：打造具备全球竞争力、效率最优的系统软件 Sigma总览-> 业务+规模 Normandy Lark Zeus (外)ECP企业级容器平台(EDAS+公有云 ) Sigma-ApiServer (内)全集团BU 100%( 天猫、淘宝、菜鸟、高德、优酷等 ) 自 顶 向 下 Sigma-Etcd Sigma-Master 全集团Pouch化100%(包括DB、中间件、搜索等 ) Sigma-Slave 百万级容器实例(1%发布也就是万级实例) 系统软件事业部：打造具备全球竞争力、效率最优的系统软件 Sigma总览-> Sigma架构 存在即合理，但不是最佳 Level0- Controller SigmaMaste r FuxiMaster Level0- Datas Sigma Data Fuxi Data Sigma APIServer Level0- Agent 抽象出 Sigma Scheduler Sigma Slave FuxiAgent SigmaSlave 4个案例 Follow the OCI standards RunC RunV RunLXC Pouch Pouch Online Services PouchContainer JOB JOB Batch Jobs 系统软件事业部：打造具备全球竞争力、效率最优的系统软件 案例1：APIServer -> 思路 -> 架构设计与语言选择 背后的事 架构整体设计大于语言选择 需求：发布、扩容、销毁、启停、升级、云化(混合云) 规模：总应用 十万级，活跃万级，交易核心千级，总实例百万级 APIServer APIServer APIServer 规模引发的问题 运维友好 高可用 一致性 解决思路 Redis (1)数据一致性：etcd/redis 实时+全量 (2)状态一致性问题 转为 存储一致性问题 (3)简单的-够用就好 (4)高可用-无状态( master|slave、stateless、fast failover ) (5)降级-抢占 (6)内外兼容：一个团队两块牌子 Worker Worker Worker 系统软件事业部：打造具备全球竞争力、效率最优的系统软件