淘宝-购物狂欢节的运维故事

淘宝-购物狂欢节的运维故事 购物狂欢节的运维故事 阿里集团 仲明 我们今天来讨论什么, 一个项目 一种能力 一个项目 对运维一场大考。 一个项目 ?? 资源 ?? 风险 ?? ?? 现场 资源评估与采购 项目启动 资源部署 评估 应急预案演习 监控 预案实施与撤销 项目 AUG SEP OCT NOV 1111 资源 总是有限的，合理利用才是根本。 能力需求 ?? 由业务指标推导出系统能力需求 ?? 业务指标 ?? 用户行为 ?? 流量配比 ?? 集群QPS 成交额 历史成交分布 笔单价 成交笔数 每秒最大 成交笔数 业务PV与 成交转化比 最大QPS 能力建设 ?? QPS ?? 机器 ?? 机架 ?? 交换机 ?? 带宽 ?? 热点 ?? BUFF 风险 没有不可能，只有没想到。 用户行为 ?? 流量超预期 ?? 用户行为变化 ?? 攻击 搜索 店铺 商品购物车 收藏夹 购买 故障 ?? 程序bug ?? 数据错误 ?? 服务器故障 ?? 集群不可用 ?? 网络设备故障 ?? 机房不可用 ?? 运营商链路故障 预案 应对风险的必备良药。 服务降级 ?? 通过降低服务质量来保障服务可用性 ?? 改变非关键业务规则 ?? 关闭非关键功能 缓冲与限流 ?? 改变服务响应方式来降低系统负载，避免服务不可用。 ?? 缓冲 ?? 分流 ?? 限流 业务影响 ?? 评估预案对用户的影响，最大限度的保障用户利益。 实弹演习 ?? 通过对预案的不断演习来保证实施效果 ?? 模拟机器故障 ?? 模拟机房故障 ?? 模拟网络故障 ?? 模拟用户流量 ?? 模拟攻击行为 现场 运筹帷幄，决胜千里。 信息传递 ?? 需要将有效信息进行快速传递 ?? 采集 ?? 过滤 ?? 分拣 ?? 上报 决策与执行 ?? 最短的决策路径及有效地执行 ?? 分层决策 ?? 双人执行 决策 指挥 执行 执行 旺旺群 旺旺群 旺旺群 一种能力 可以掌控、可以重复。 运维能力建设 ?? 系统度量 ?? 资源调配 ?? 业务伸缩 ?? 快速响应