银行信息系统作业调度自动化建设

银行信息系统作业调度自动化建设 广发银行股份有限公司信息技术部马海明王玉洁 服务器相互建立心跳连接,负责监 业 务 无 法 正 常 开 展。 因 此, 作 业 集作业调度自动化是 I T 运维自动 中调度系统的高可用性是系统设计 化的一个重要组成部分,开放平台 听 及 维 护 调 度 服 务 器 的 健 康 状 态。 过 程 中 应 该 考 虑 的 重 中 之 重 。 另 信 息 系 统 作 业 调 度 的 自 动 化 水 平 心跳诊断线程主要用于维护本地调外 , 在 关 联 系 统 众 多 、 且 各 个 系 偏 低 , 会 导 致 作 业 调 度 复 杂 、 监 度服务的状态,并监控其他调度服 统 作 业 设 计 规 范 参 差 不 齐 的 现 状 控 工 作 强 度 大 , 并 带 来 批 次 作 业 务的状态,一旦发现其他调度服务 下 , 如 何 将 作 业 集 中 调 度 系 统 在 故 障 发 现 时 间 较 长 、 人 为 操 作 风 出现异常,经确认后启动失效备援 所 有 系 统 中 进 行 推 广 , 也 直 接 影 险 高 等 问 题 。 机 制, 实 现 作 业 无 缝 隙 切 换。心跳 响 了 项 目 的 成 败 。 为 了 满 足 业 务 快 速 发 展, 提 高 监控线程与调度服务部署在同一个 运维水平,广发银行实施了作业集 1. 作业集中调度系统高可用 服务进程上,在启动调度服务程序 中调度项目,该项目初步实现了作 性设计 时心跳监听线程同步启 动。为了保 业的集中调度、集中监控和集中管 在 系 统 设 计 过 程 中, 通 过 采 取 障心跳监控的可配置能力,心跳频 理, 提 高 了 作 业 运 维 工 作 效 率, 降 以下三个实现作业集中调度系 率、心跳诊断对象和心跳监控指标 低了人为操作风险,提升了运维操 统的高可用性及高容灾能力: 可通过参数进行配置。 作自动化水平。 :1: 调 度 服 务 器 间 的 心 跳 诊 断 :2: 集 群 内 调 度 服 务 器 负 载 能 机制 力均衡机制 为了 实 现 系 统 容 量 的 灵 活 动态 为 了 实 现 集 群 内 多个 调度服务 扩展,并对作业调度压力进行负载 器之间作业调度压力的均衡,集群 均衡,系统从软件层面实现了服务 一、项目建设目标 器集群功能,允许将多台调度服务 作 业 集 中 调 度 系 统 作 为 银 行 信器定义为一个集群,集群内的调度 息 系 统 作 业 调 度 的 集 中 处 理 平 台, 内主调度服务器执行启动工作流时,一旦发生故障,将直接影响关联信 通过计算集群内各个调度服务器压 力情况,选择负载压力相对较小的 息系统作业的正常运行,最终导致 中国金融电脑2013.4 IT ,, T RUNNING AND MAINTENANCE 服务器完成作业调度工作。C / S 程序用户模拟操播运行,实现 在未来三年批次作业数量翻一番的:3:失效备援机制 作,获取 C / S 界面或消息框输出信 情 况 下,1~2 名 值 班 操 作 员 即 可 完 息,对作业执行情况进行实时监控; 为 了 提 高 系 统 的 容 灾 能 力, 系 成批次管理工作。系统还兼容 J a v a、存储过程、F T P 统设计采用失效备援机制,即在集 再 次, 实 现 批 次 应 急 操 作 一 体等多种作业接口,通过代理程序可 群环境下,若由于特殊原因导致某 化,系统管理员通过作业集中调度远程执行 Java、存储过程类作业。 台服务器服务终止,则集群中的其 他服务器自动接管宕机服务器上正 系统提供的一体化界面可完成批次3. 批次改造开发规范的制定 在运行的工作流,保障业务的正常 的应急处理,避免多次登陆后台系在 项 目 的 实 施 与 推 广 过 程 中, 运行。 统, 缩 短 故 障 处 理 时 长, 规 范批次广发银行制定了批次改造开发规范, 假设集群服务器中有 A、B、C 作业调度、应急处理。从 批 次 架 构 设 计、 模 块 调 度 性、 日 三 台 服 务 器, 若 A 服 务 器 宕 机 后, 最 后, 实 现 批 次 作 业 运 行 数 据志输出原则等方面,对批次单位封 B 或 C 服务器上的心跳监控程序会 大集中管理,为后续的批次作业压装、 步 骤 依 赖 关 系、 作 业 接 口、 作 通知服务器 A 宕机,并调用失效备 援 程 序, 临 时 委 任 主 调 度 服 务 器, 力 趋 势 分 析、 容 量 评 估、 故 障关联业 应 急 处 理 方 法、 批 次 重 试 机 制、 使得 A 服务器上未完成的作业被调 分析及故障影响面分析等工作提供批次日志输出内容、作业执行结果 配 到 B、C 服 务 器 上, 并 对 A 服 务 数据基础。返回等内容进行了规范与约定,为 器宕机告警,失效备援工作完成后, 批次的改造与开发工作提供了原则 临时委任身份自动失效。 根 据 规 划, 广 发 银 行 将 持 续 在性的指导,有利于促进广发银行批 2. 兼容多种批次作业接口 开放平台信息系统进行推广作业集为了实现批次作业的集中调度、 次作业设计的规范化。 集中监控,作业集中调度系统 必须 中 调 度 系 统, 实 现 100% 的 批 次 调兼 容 各 种 接 口 类 型 的 作 业。 因 此, 度 自 动 化, 提 升 运 维 自 动 化 水 平 二、项目成效作业集中调度系统为各种作业接口 同时,进一步完善系统的用户体验设计了不同的接口适配器,以满足 通 过 作 业 集 中 调 度 系 统 的 实 施及报表统计分析功能,通过数据的各种不同接口类型作业的调度及监 与推广,广发银行初步实现了开放 分析挖掘,逐步实现批次容量评估控需求。系统兼容 SHELL、BAT 接 平台信息系统批次作业的调度自动 口类作业,通过代理程序远程调用 故障关联分析及影响面评估等方面化、 监 控 集 中 化、 应 急 操 作 一 体 化 S H E L L、B A T 接 口 类 作 业; 兼 容 的智能化。及批次设计规范化,主要项目成效 H T T P 接 口 作 业, 通 过 模 拟 H T T P 体现如下: 请求,实现发起作业及监控作业状 首先,实现批次作业集中监控, 态的功能;兼容 Winauto 接口作业, 将批次作业故障发现时长由原来的 通过录制用户操作,并后台静默重 30 分钟缩短到 1 分钟以内,提高了 批次作业故障发现及时率。 其次,实现批次作业集中管理, 减 少 批 次 作 业 运 维 监 控 人 员 投 入。 栏目编辑:李克 like@fcccomcn .. 50 IIL I FNANCACOMPUTER OF CHNA