贷记卡业务的风险控制系统的设计与实现

贷记卡业务的风险控制系统的设计与实现 上海交通大学 硕士学位论文 贷记卡业务的风险控制系统的设计与实现 姓名沈伟 申请学位级别硕士 专业计算机技术 指导教师陆朝俊肖少拥 20050601 上海交通大学硕士研究生学位论文 摘要 2003 年国内各主要商业银行的贷记卡系统纷纷投入使用 随着贷记卡业务 在国内的开展 随之而来是贷记卡系统的风险控制的问题 目前系统的风险控制 不足以应对可能出现的欺诈行为 为了有效地防范风险 建立贷记卡风险控制系 统 CRAMS 成为当务之急 围绕CRAMS 系统的数据仓库的构建和风险控制方法 的研究和实现成为了了本文的研究目标 本文介绍了贷记卡的业务特点以及现有贷记卡系统已经应用的风险控制方 法 为贷记卡风险控制方法的研究奠定了基础 本文会对构成CRAMS 系统的两大技术 数据仓库和数据分析 数据挖掘技术 展开研究 根据企业模型分析 概念模型分析 逻辑模型分析 物理模型分析 数据装载接口设计等五步数据仓库系统设计的基本流程来构建 CRAMS 系统的数 据仓库 而数据分析和数据挖掘方面 会将数据分析技术应用于重复交易的发现 应用决策树算法 序列算法 神经网络算法 聚类算法等数据挖掘算法来构建 CRAMS 系统中的信用评分 信用额度动态调整 欺诈管理等三种风险控制模型 CRAMS 原型系统的实现阶段 在完成数据仓库建设的基础上 基于数据分析 数据挖掘技术基本完成了三种风险控制模型的构建 并结合业务规则和实际经验 对各个模型的可行性进行了评价 为投入实际的风险控制提供了可能 尝试数据仓库和数据分析 数据挖掘技术的结合来对贷记卡的业务数据进行 分析后构建各种风险控制模型是贷记卡风险控制方法的研究上的一个新的思路 同时随着数据分析 数据挖掘的深入 风险控制模型的准确度不断提高 越来越 多的有价值的规则将应用到贷卡记风险控制管理中 CRAMS 作为一个集数据仓库 数据分析 数据挖掘技术等多项技术而构建的 贷记卡风险控制系统 系统的建设不仅仅代表了新兴技术在传统银行业务分析上 的一次有益的探索 更尝试应用业务经验来解释系统产生的各种模型 新技术和 业务经验的结合使得模型更具代表性 可理解性 为根据模型产生的风险规则的 快速应用奠定了良好的基础 关键词 数据仓库 拖欠 信用评分 欺诈检测 决策树 序列算法 神经网络 聚类 重复交易发现 2 上海交通大学工程硕士研究生学位论文 Abstract In 2003 The credit card systems had been put into production in the most of Chinese commercial banks The fraudulent issues accompanied with the business expansion The current system can t be able to detect prevent and solve these issues so the new application system for risk analysis and fraud detection is needed The goal of this paper is the building of data warehouse and method research of risk analysis based on the credit card system At the beginning of this paper the current credit card system business characteristic and risk detection method applied are introduced to give a good understand of the background This paper will do research in the CRAMS s Credit Risk Analysis Management System building of data warehouse and data analysis data mining technology The data warehouse for credit card risk system will be built according to the standard processing of data warehouse Data analysis and statistic technology will be used to find the duplicate transactions Several algorithms such as SLIQ decision tree sequence neural network and clustering will be used to build three risk models These models is credit scoring model credit limit adjust dynamically model and risk management model The system prototype had been built including the construction of data warehouse and deployment of the data mining algorithm After the processing of the system the three risk model has been built and been proved to be useful for the fraud detection and prevention This paper is a try to develop the credit card risk system based the data warehouse and data analysis data mining technology With the experience of data analysis data mining and the increasing accuracy of the models I believe that the risk system will be put into production and provide a good service for fraudulent detection With the data warehouse data analysis and data mining technologies We constructed the CRAMS And with the business experience and models we got our results By these idea We can deploy the rules to the production line rapidly Keywords Data Warehouse Delinquency Credit Scoring Fraudulent Detection Decision Tree Sequence Algorithm Neural Network Clustering Algorithm The Duplicate Transaction Finding 3 附件四 上海交通大学 学位论文原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进行研究工作所取得的成果 除文中已经注明引用的内容外 本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果 对本 文的研究做出重要贡献的个人和集体 均已在文中以明确方式标明 本人完全意识到本声明的法律结果由本人承担 学位论文作者签名 沈伟 日期 2005 年9 月4 日 1 附件五 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版 允许论文被查阅和借阅 本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或扫 描等复制手段保存和汇编本学位论文 保密 在 年解密后适用本授权书 本学位论文属于 不保密 请在以上方框内打 学位论文作者签名 沈伟 指导教师签名 陆朝俊 日期 2005 年9 月4 日 日期 2005 年 9 月 4 日 2 上海交通大学工程硕士研究生学位论文 第一章 前言 11 应用背景和问题的提出 信用卡是银行或其它财务机构签发给那些资信状况良好人士的一种特制卡 片 是一种特殊的信用凭证 持卡人可凭卡在发卡机构指定的商户购物和消费 也可在指定的银行机构存取现金 从广义上说 凡是能够为持卡人提供信用证明 持卡人可凭卡购物 消费或享受特定服务的特制卡片均可称为信用卡 广义上的 信用卡包括贷记卡 准贷记卡 借记卡 储蓄卡 提款卡 ATM 卡 支票卡及 赊帐卡等 从狭义上说 国外的信用卡主要是指由银行或其它财务机构发行的贷 记卡 即无需预先存款就可贷款消费的信用卡 是先消费后还款的信用卡 这种 信用卡正渐渐走入我们的生活 贷记卡相对其他准贷记卡 借记卡 储蓄卡 提 款卡 ATM 卡 等而言 优势非常明显 无需预先存款就可贷款消费 消费享受 免息期 循环信用 是真正意义上的信用卡 2003 年作为中国贷记卡的元年 各主要商业银行的贷记卡系统纷纷上线 对于在中国境内开展贷记卡业务 风险主要来自于来自于两个方面 持卡人给银 行带来的风险和商户所引发的风险 对于商户所引发的风险可以通过商户管理子 系统来控制 而持卡人的风险控制的目前做法是 在受理贷记卡申请时的征信控 制和日后联机 批量时阈值控制 鉴于国内尚未建立完善的征信体系 尚未健全 的授理环境以及国外在贷记卡系统初期所出现的风险问题 所以目前贷记卡的风 险控制机制不足以应对可能出现的问题 所以希望通过本课题的研究 提出一些 风险控制的方法 并加以实践 希望帮助银行在贷记卡市场赢得先机的同时 降 低银行的金融风险 12 研究内容的介绍 目前贷记卡系统的风险控制基本在主机内部实现 可扩展性不强 所以要根 本解决贷记卡风险控制方面的缺陷 是在贷记卡系统的外围实现贷记卡风险控制 系统 即 Credit Risk Analysis Management System下文引用时均简称为 CRAMS 系统 CRAMS 系统是本课题需要实现的应用 而围绕着这个应用的是数据 仓库 数据分析 数据挖掘技术 所以CRAMS 系统的数据仓库的系统设计 基于 数据分析和数据挖掘技术的风险控制方法的研究是本文的研究内容 本文将严格按照数据仓库设计的基本流程来构建CRAMS 系统的数据仓库 本文还将讨论 SLIQ 决策树算法 CARMA 序列算法 神经网络算法 聚类算 法等一系列数据挖掘算法 以及以这些算法为基础在CRAMS 系统中建立起来的信 用评分 信用额度动态调整 欺诈管理等三种模型 最后会对CRAMS 的原型系统下各种模型的实验结果进行分析 对模型 产生的 规则的可行性进行论证 从而最终将模型转化为可操作性强的风险控制方法 13 文章结构的介绍 以下的章节 本文将如下安排 在第2 章将介绍贷记卡的业务特点和贷记卡系统现有的风险控制方法 1 上海交通大学工程硕士研究生学位论文 在第3 章从数据仓库 数据分析技术和数据挖掘技术三个方面介绍了数据处 理技术在金融行业的应用 在第 4 章以商务智能系统和 CRAMS 系统的差异比较展开话题 逐一介绍了 CRAMS 系统的设计要求 功能描述以及体系结构 在第5 章按照数据仓库设计的基本流程 完成了从企业模型分析到数据装载 接口设计整个的CRAMS 系统的数据仓库的设计工作 在第6 章对贷记卡风险控制方法展开了研究 涵盖了数据分析和数据挖掘领 域 完成了CRAMS 系统中的信用评分模型 信用额度动态调整模型和欺诈管理等 三个模型构建的初步设想 在第7 章介绍了CRAMS 系统原型的实现 以及在原型系统上所进行的统计分 析和数据挖掘模型构建的实验工作 最后对实验结果进行分析 在第8 章是对全文的总结 提出了原型系统的不足和进一步研究的方 向 2 上海交通大学工程硕士研究生学位论文 第二章 贷记卡业务特点以及风险控制 贷记卡作为一种真正的信用卡 有着一些比较特殊的业务处理点 所以在本 章之初 我们将对贷记卡的业务特点作一个简单的介绍 由于本课题研究主要方 向是基于贷记卡的风险控制 所以接着会对目前在贷记卡系统中采用的风险控制 手段给出一个大致的介绍和分析 为之后应用其他技术手段实现风险控制方法的 研究奠定基础 21 贷记卡的业务特点 信用卡是银行或其它财务机构签发给那些资信状况良好人士的一种特制卡 片 是一种特殊的信用凭证 持卡人可凭卡在发卡机构指定的商户购物和消费 也可在指定的银行机构存取现金 从广义上说 凡是能够为持卡人提供信用证明 持卡人可凭卡购物 消费或享受特定服务的特制卡片均可称为信用卡 广义上的 信用卡包括贷记卡 准贷记卡 借记卡 储蓄卡 提款卡 ATM 卡 支票卡及 赊帐卡等 从狭义上说 国外的信用卡主要是指由银行或其它财务机构发行的贷 记卡 即无需预先存款就可贷款消费的信用卡 是先消费后还款的信用卡 这种 信用卡正渐渐走入我们的生活 贷记卡相对其他准贷记卡 借记卡 储蓄卡 提 款卡 ATM 卡 等而言 优势非常明显 无需预先存款就可预定的信用额度内进 行贷款消费 消费享受免息期 及时还款则形成循环信用 是真正意义上的信用 卡 贷记卡的业务流程包括这样几个方面 卡片的申请核准及发卡 交易的授权及清算 在贷记卡系统中交易采用双信息的形式 分为授权 和清算信息 授权信息在联机授权时获取 而清算信息则在授权完成后 的几日内由国际组织或清算中心送达 交易的入账 帐单日费用的入账 例如利息 超限费等 以及帐单的产生和寄送 如果客户未能在免息期内还清最小还款额 则在到期还款日或帐单日产 生滞纳金入账 并且取消消费免息的优惠 原消费金额所产生的利息入 账 客户发生拖欠后的催收处理 争议处理 包括退单 调单 再请款 二次退单 协商 仲裁等处理 商户的管理 在以上的贷记卡的业务流程中我们可以看到整个过程围绕着发卡银行 收单 银行 持卡人和特约商户四个基本当事人之间的债权债务的发生与清偿关系进行 的 同时我们也会发现对于发卡行而言 由于受控于国际组织或区域性组织 收 单行基本不会对发卡行构成风险 而商户和持卡人是构成了对发卡行的主要风 险 3 上海交通大学工程硕士研究生学位论文 22 贷记卡与其他卡种之间的关系 目前在国内我们能够接触到的卡片种类按照根据清偿方式的不同 可以划分 为 贷记卡 准贷记卡和借记卡 贷记卡即狭义上的信用卡 是一种向持卡人提供消费信贷的付款卡 其核心 特征是信用销售和循环信贷 持卡人不必在发卡行存款 就可以 先购买 后结 算交钱 即信用销售 根据客户的资信以及其它情况 发卡行给每个信用卡账 户设定一个 授信限额 比如10000 元人民币 这意味着 持卡人可以使用信 用卡付账 只要在帐单周期内累计不超过10000 元人民币即可 持卡人可以通过 还款来恢复授信限额 从而实现了循环信贷 一般发卡行每月向持卡人寄送一次 账单 持卡人在收到账单后的一定宽限期内 可选择付清账款 则不需付利息 或者付一部分账款 或只付最低还款额 以后加付利息 由于信用卡不需存款 所以信用卡持卡人不必在发卡行开有银行账户 此种信用卡是目前国际上流通最 为广泛的支付卡种 在国外贷记卡又可以分为银行卡 非银行卡 银行卡是由银 行等金融机构发行的 方便客户取得融资途径 并且具有购物消费 转帐结算等 功能的各种支付卡 非银行主要包括商业机构发行的零售信用卡和旅游服务行业 发行的旅游娱乐卡两种 准贷记卡是我国为了适合我国政治经济体制 社会发展水平 人民的消费习 惯等因素 在发展具有中国特色信用卡产业发展过程中 创造的一种绝无仅有的 信用卡品种 此种信用卡兼具贷记卡和借记卡的部分功能 一般需要交纳保证金 或提供担保人 使用时先存款后消费 存款计付利息 在购物消费时可以在发卡 银行核定的额度内进行小额透支 但透支金额自透支之日起计息 无论是取现还 是消费 持卡人的透支金额不享受免息还款期和最低还款额 所以我们可以将它 归入到借机卡的范畴 相对应贷记卡 后付款 的是借记卡的 先付款 为获得借记卡 持卡人 必须在发卡机构开有账户 并保持一定量的存款 持卡人用借记卡刷卡付账时 所付款项直接从他们在发卡银行的账户上转到售货或提供服务的商家的银行账 户上 因此借记卡的卡内资金实际上来源于持卡人的支票帐户或往来帐户 即活 期存款帐户 借记卡的现金或消费的支付款额不能超过存款的数额 其实 对 于持卡人在账面上来说 用借记卡付款的过程和从银行直接提款 然后用现金付 账的过程 没有本质的差别 只不过用卡要方便多了 可以说 借记卡只是消费 者支付现金或支票的另一种更方便的形式 借记卡也因此被称为现金卡 统计数据表明 到2002 年底 美国信用卡的总数超出了6 亿张 信用卡的 年交易量已超过 14 万亿美元 而借记卡大约为 175 亿张 借记卡的年交易量 近5000 亿美元 目前在国内这个数字可能正好相反 持卡人手中的借记卡数量 可能远远超过贷记卡的数量 但随着和国际的接轨 消费信贷的观念的普及 以 及国内银行对信用卡产品的推广 贷记卡正在逐渐地融入中国老百姓的生活中 但是由于贷记卡的信用销售和循环信用的双面性 也就是贷记卡产品本身较借记 卡 准贷记卡产品更具风险 所以迫切需要增加风险防范和控制的措施和方法 23 贷记卡系统中现有的风险控制 在开始贷记卡业务的风险控制方法的研究开始之前 有必要了解目前贷记卡 系统提供的风险控制的方法 本章节列举了在现有贷记卡系统中较常用的风险控制的处理点或方法 它们 4 上海交通大学工程硕士研究生学位论文 发生在贷记卡系统的不同处理点或处理模块上 分别是 申请和审核 联机授权 控制 批量授权控制 批量欺诈参数 批量欺诈报表 国际组织的欺诈机制 和争议处理 com 申请和审核 [1] 信用卡的申请阶段 是贷记卡系统实施风险控制的第一道门户 客户的申请 表进入系统 即进入审核阶段 审核阶段用来核准是否批准客户对某一个卡品种 的申请 审核阶段主要包括两个方面 信用评分和欺诈检查 信用评分根据客户在申请表上所列举的已有各项特征以及已有的信用情况 进行评分 对客户已有的各项特征的评分成为系统内评分 客户的特征可以包括 年龄 性别 职业 职称 供养人口 房产情况等很多方面 通常由客户在申请 表上填写 关键信息银行会通过电话或信函等方式进行核实 已有的信用情况通 常由征信局给出 因为征信局掌握了此申请人的信用记录历史 包括可能的欺诈 行为 所以这方面的信息对于申请人来说非常关键 我国的征信体系正在逐步完 善中 综合以上两项评分得到客户总的信用评分 除了征信局提供的申请人的信用记录历史外 发卡行可以通过欺诈检查对于 申请表上的记录实现进一步的核实 例如可以对申请人填写的邮政编码 电话号 码的有效性 合法性进行检查 核实申请人所填写信息的真实性 在信用评分的计算和欺诈检查完成之后 系统会根据申请人所申请的卡品种 最低要求评分 来裁定是否批准申请 或者降档处理 或者拒绝申请 com 联机授权控制 贷记卡系统为双信息系统 授权信息通过联机交易报文进入系统 日终后清 算信息进入批量接口 和联机信息进行匹配后实现交易的入账 所谓联机授权控 制在系统的联机接口处设定阈值 对于可能出现的欺诈行为进行实时处理 以下 图2-1 给出贷记卡系统联机授权控制参数表的一个截图[2] 5 上海交通大学工程硕士研究生学位论文 图2-1 联机授权控制参数表截图 Fig2-1 Online Authorization Control Parameters 以图2-1 中的实际参数为例 EXCEEDED NBR OF PIN TRIES 表示超过联机授 权的密码重试次数后 系统采用的动作 目前设置为D表示当前密码重试次数 超过后 系统直接拒绝这笔授权请求 实际在这个栏位可以设置其他动作来实现 不同的控制 例如设置C 表示在持卡人的交易终端上显示请致电客户服务中心 由客户服务中心来决定此笔授权请求是否批准 设置为K 表示拒绝授权请 求且 吞卡 设置为R 则需要持卡人致电卡中心 由卡中心来决定授权是否批准 设 置为V 表示在终端上提示检查持卡人有效证件后批准授权 设置为空格则表示联 机授权程序不进行此项检查 而与上述参数相对应的 ALLOWABLE NBR OF PIN TRIES 表示当日密码重试的最大次数 国内通常设为03 次 通过对以上两个参 数详细地介绍 由此可以看出 通过联机授权系统的几十个或上百个授权控制参 数的设置和组合 可以基本防范绝大多数的联机授权风险 com 批量欺诈参数 联机授权控制在出现欺诈行为时 立即采取相应的行动 属于实时控制 或 者说是事前控制 事前控制通过事先确定规则 在风险发生及时应对 而这里 讨 论的批量欺诈参数属于事后控制机制 在系统日终批量处理时 检查当日或 者连 续几日的授权情况 核对欺诈参数阈值 决定日后在联机授权所采取的策略 [3] 我们来看一下相应的处理过程 首先设置批量欺诈参数 参见图2-2 6 上海交通大学工程硕士研究生学位论文 图2-2 授权欺诈参数 Fig 2-2 Authorization Fraud Parameters 从图2-2 我们可以看到批量欺诈参数的控制不仅仅局限在当日的批 量 而 是可以延伸到最大七天的控制 可以用来控制一天内成功消费笔数 消费金额 也可以控制连续两天内发生的成功消费笔数 消费金额 直至可以控制连续七天 的成功消费笔数 消费金额 同样也有针对失败消费笔数 金额的类似设置 在批量处理时 检查当日授权情况 以及前几日的授权情况累计 是否超过 上述设置的欺诈参数 如果发现超过阈值的情况 则会在此持卡人的卡片记录上 设置相应的警告码 在之后的联机授权处理时 发现持卡人的卡片记录上被设置 了警告码 会去寻找对应此警告码的行动处理 警告码对应的行动处理可以参见 图2-3 7 上海交通大学工程硕士研究生学位论文 图2-3 与警告码相对应的授权行动处理 Fig 2-3 Authorization Processing Parameters According To Warning Code 我们可以从图2-3 看到对于不同的警告码 联机授权系统可以有不同的行动 处理相对应 同时我们看到批量欺诈参数用来发现潜在的欺诈行为 通过每日的日终处理 来更新和累计新的授权信息 所以当持卡人因为一段时间内过度用卡行为而被设 置警告码之后 在之后适当地控制用卡行为后 警告码会从持卡人帐户上移去 则恢复正常的授权处理 com 批量欺诈报表 批量欺诈报表的方法同样通过在批量处理过程中监测持卡人帐户上各种交 易的入账情况 来发现其中潜在的欺诈行为 以欺诈报表的形式呈现出来 可以 设定这样一些控制阈值 来检查持卡人过度用卡行为 帐期内的消费 取现笔数 每日的借记交易笔数 帐期内的借记交易笔数 帐期内的退货金额和消费金额之比 卡启用至今的退货金额和消费金额之比 单笔最大 最小交易金额 每日最大 最小交易笔数 com 国际组织的欺诈报告机制 国际组织通过欺诈报告机制来为成员行提供报告 跟踪 分析欺诈交易的一 种手段 成员行通过与国际组织的专用网络来向国际组织提交欺诈交易报告 国 际组织收集 整合这些报告后 每日 每周 每月或者每旬向成员机构转发 这 8 上海交通大学工程硕士研究生学位论文 些欺诈报告帮助成员行检验他们所提交的交易 修正并重发被拒绝的交易 准确 定位可能存在的欺诈行为 以维萨国际组织为例 维萨的欺诈报告机制被称为 Fraud Reporting System FRS 通过 VisaNet 来实现成员行和 Visa 之间的欺诈报告的传递 表 2-1 列举了Visa 的欺诈报告流程[4] 表2-1 Visa 欺诈报告流程 Table 2-1 The Process Of Visa Fraud Reporting 步骤 处理 1 欺诈交易发生 2 持卡人提出争议并报告发卡行 3 发卡行根据对欺诈交易的判断来决定是否冻结此帐户未来的 授权 请求 4 欺诈交易的数据被收集并报告维萨国际组织 5 发卡行检查每日 每周的欺诈报告 确定所发出的欺诈交易准确地 出现在报告 发出的欺诈交易如果被拒绝 则修正后重新发出 6 发卡行指派专人对此欺诈交易展开调查 7 持卡人提交宣誓并提供能够证明欺诈交易存在的必要书面证明 8 发卡行向收单行发出调单请求 9 10 如果未能在规定时限内收到调单 则向收单行发起退单 流程结束 11 如果收到调单 则检查压印 签名 授权码 到期日 卡号的有 效 性等条件 12 13 如果通过 11 的检查发现 由于商户的原因造成此笔欺诈交易 则 向收单行发起退单 14 检查交易金额是否低于商户的代授权底限 15 16 如果 14 的检查中发现交易金额低于商户的代授权底限 且此卡片 未被列入黑名单 则发卡行承担交易的损失 17 如果发现此卡片出现在黑名单上 则维萨将此笔交易退还给收单 行 收单行可以决定是否由商户来承担此笔交易的损失 18 接17维萨同时通过TC33 将此笔交易被拒绝的消息传送给发 卡行 19 20 接 14 交易金额高于商户的代授权底限 检查原交易是否被发卡行 授权 发卡行向收单行发起退单 21 接20 收单行尝试由商户来承担交易的损失 并着手检查和商户在 受理环境上存在的漏洞 流程结束 22 接 19 原交易被发卡行授权 收单行调查原交易授权是否指向不存 在的帐户 23 如果原交易被发卡行或其代理机构授权 则收单行将原始授权单据 和授权日志发给发卡行 24 发卡行承担交易损失 流程结束 25 如果收单行不能识别发卡行的BIN 则向维萨发出伪卡报告 26 收单行承担交易损失 且如果伪卡频繁发生 收单行着手检查和商 户在受理环境上存在的漏洞 流程结束 9 上海交通大学工程硕士研究生学位论文 com 争议处理 持卡人对其帐户下发生的入账交易发生异议 提出争议请求 由此引发争议 [5] 交易 争议处理涉及受理方 国际组织和发卡方对争议交易的处理过程 整 个 争议处理的流程如图2-4 所示 受理方 国际组织 发卡方 请款 退单 调单 调单响应 再清款 二次退单 提交依从 提交依从 协商解决 协商解决 提交仲裁 提交仲裁 图2-4 争议流程 Fig 2-4 Dispute Item Process 对争议流程中的处理动作做一下简要的解释 请款 –属于正常清算动作 贷记卡系统属于双信息系统 持卡人通过 受理方发起授权交易 通过国际组织转发给发卡行 发卡行完成授权批 准 授权交易记录和将授权成功响应转发给受理方 在日终时 受理方 完成和国际组织的清算后 国际组织将清算文件 即请款请求发送给发 卡方 发卡方在清算信息和授权信息相匹配的情况下完成此笔交易的入 账 退单 –也可称之为一次拒付 若发卡行或持卡人对第一次请款交易有 争议 可发起争议 发卡行可要求收单行提供争议交易的原件或复印件 或直接提出拒付 大部分拒付不用提出调单请求 在规定的时效内 发卡行提出拒付 拒绝支付收单行有关争议交易部分或全部的款项 调单 - 发卡行可以就争议交易 向收单行调阅持卡人签购单 大部分 争议是不需要调单的 调单可以调原件 也可以调复印件 替代性签单 再请款 –也可称之为二次请款 收单行可在发卡行提出拒付后的规定 时效内再次向发卡行提交有关争议交易的资料以请款 二次退单 –也可称之为二次拒付 发卡行在收到收单行的二次请款后 可在规定时效内再次拒绝支付收单行争议交易的部分或全部款项 提交依从 - 如果一方违反 造成财务损失 而另一方又找不 到相应的拒付理由码 则可以提交依从 由国际组织Visa 或MasterCard 10 上海交通大学工程硕士研究生学位论文 做最终裁决 协商解决 - 发卡行和收单行通过协商 解决争议交易 提请仲裁 - 在发卡行二次拒付后 协商解决不成功 收单行仍有异议 可提请VISA 或MasterCard 作最终裁定 24 小结 通过以上的介绍可以发现 为了应对欺诈 拖欠等风险行为 现有的贷记卡 系统本身作了很多风险控制方面的工作 但目前这些风险控制的手段和方法都是 基于IBM S390 大型机 所用的方法和具体的实现还停留在较陈旧的技术上 这 也为我们之后的工作创造了研究的空间 在以后几章我们将讨论一些新的数据分 析和处理技术 以及如何将这些技术结合到贷记卡风险控制中 最终实现CRAMS 的原型系统 11 上海交通大学工程硕士研究生学位论文 第三章 数据处理技术在金融行业应用 金融行业一直是数据处理新技术的积极拥护者和使用者 数据库的出现 解 决银行的手工操作自动化的问题 在银行的联机事务处理系统运行了若干年后 数据仓库的适时出现 解决了历史数据的保留和未来分析的可能性 同样因为数 据仓库的存在 为之后的数据分析 数据挖掘提供了基础 其中金融 电信等行 业的推动作用促进了新技术的发展 本章从数据仓库的概念切入 逐步展示数据分析 数据挖掘等新技术在金融 行业的应用 希望能够从中对我们的风险控制方法的研究给出一种新的思路 31 数据仓库的概念及应用 著名的数据仓库专家Ralph Kimball 曾经说过 我们花了20 多年的时间将 数据放入数据库 如今是该将它们拿出来的时候了 这句话道出了数据仓库将在 未来的数据存储和数据分析方面扮演了越来越重要的角色 com 数据仓库的定义 数据仓库目前尚未有统一的定义 目前业界较能接受的是80 年代中期数据 仓comn 在其著作 Building the Data Warehouse 一书中给予如 [6] 下描述 数据仓库 Data Warehouse 是一个面向主题的 Subject Oriented 集成的 Integrate 相对稳定的 Non-Volatile 反映历史变化 Time Variant 的数据集合 用于支持管理决策 对于数据仓库的概念我们可以从两个层次予以 理解 首先 数据仓库用于支持决策 面向分析型数据处理 它不同于企业现有 的操作型数据库 其次 数据仓库是对多个异构的数据源有效集成 集成后按照 主题进行了重组 并包含历史数据 而且存放在数据仓库中的数据一般不再修改 com 数据仓库的特点 根据数据仓库的定义的描述 可以看到数据仓库拥有以下四个特点 面向主题 –操作型数据库的数据组织面向事务处理任务 各个业务系 统之间各自分离 而数据仓库中的数据是按照一定的主题域进行组织 主题是一个抽象的概念 是指用户使用数据仓库进行决策时所关心的重 点方面 一个主题通常与多个操作型信息系统相关 集成的 - 面向事务处理的操作型数据库通常与某些特定的应用相关 数据库之间相互独立 并且往往是异构的 而数据仓库中的数据是在对 原有分散的数据库数据抽取 清理的基础上经过系统加工 汇总和整理 得到的 必须消除源数据中的不一致性 以保证数据仓库内的信息是关 于整个企业的一致的全局信息 相对稳定的 - 操作型数据库中的数据通常实时更新 数据根据需要及 时发生变化 数据仓库的数据主要供企业决策分析之用 所涉及的数据 操作主要是数据查询 一旦某个数据进入数据仓库以后 一般情况下将 被长期保留 也就是数据仓库中一般有大量的查询操作 但修改和删除 操作很少 通常只需要定期的加载 刷新 12 上海交通大学工程硕士研究生学位论文 反映历史变化 - 操作型数据库主要关心当前某一个时间段内的数据 而数据仓库中的数据通常包含历史信息 系统记录了企业从过去某一时 点 如开始应用数据仓库的时点 到目前的各个阶段的信息 通过这些信 息 可以对企业的发展历程和未来趋势做出定量分析和预测 com 数据仓库的体系结构 数据仓库的体系结构包含四个层次 数据源 - 是数据仓库系统的基础 是整个系统的数据源泉 即我们通常所 说的数据库 如银行的储蓄 对公系统中联机事务的历史数据 数据的获取 存储与管理 - 数据获取针对现有各业务系统的数据 进行抽 取 清理 并有效集成 按照主题进行组织 数据仓库的真正关键是数据的存储 和管理 数据仓库的组织管理方式决定了它有别于传统数据库 同时也决定 了其 对外部数据的表现形式 数据仓库按照数据的覆盖范围可以分为企业级数据仓库 和部门级数据仓库 通常称为数据集市 OLAP 服务器 - 对分析需要的数据进行有效集成 按多维模型予以组织 以 便进行多角度 多层次的分析 并发现趋势 其具体实现可以分为 ROLAP MOLAP 和HOLAP ROLAP 基本数据和聚合数据均存放在RDBMS 之中 MOLAP 基本数据和 聚合数据均存放于多维数据库中 HOLAP 基本数据存放于RDBMS 之中 聚合数据 存放于多维数据库中 前端工具 - 主要包括各种报表工具 查询工具 数据分析工具 数据挖 掘 工具以及各种基于数据仓库或数据集市的应用开发工具 其中数据分析工具主要 针对OLAP 服务器 报表工具 数据挖掘工具主要针对数据仓库 com 数据库发展之后的数据仓库 正如我们在本章节之初提到过 银行在联机事务处理系统运行了若干之后 突然发现大量的历史数据的处理成了一个非常头痛的问题 如果继续留在联机事 务处理系统 不仅代价昂贵 且会影响系统联机处理性能 所以这些历史数据通 常会被移出系统 存放在大容量的磁带上 数据仓库的出现 终于解决了数据的 存储问题 但数据仓库并非是一个仅仅存储数据的简单信息库 因为这实际 上与 传统数据库没有两样 数据仓库实际上是一个 以大型数据管理信息系统为基础 的 附加在这个数据库系统之上的 存储了从企业所有业务数据库中获取的综合 数据的 并能利用这些综合数据为用户提供经过处理后的有用信息的应用系 统 如果说传统数据库系统的重点与要求是快速 准确 安全 可靠地将数据 存进数据库中的话 那么数据仓库的重点与要求就是能够准确 安全 可靠地从 数据库中取出数据 经过加工转换成有规律信息之后 再供管理人员进行分析使 用 现阶段 国内几大商业银行都在着手调研并准备实施基于数据仓库技术的管 理信息系统和客户关系管理 其中 中国工商银行认为对私业务是未来业务和利 润的增长点 将以信用卡业务作为数据仓库管理信息系统的试点工程 积极推广 信用卡业务的客户关系管理和信用风险管理 而中国农业银行则从总帐系统 信 用卡业务和信贷业务入手进行管理信息系统的建设 系统建设目标是兼顾内部风 险控制和外部客户关系管理 13 上海交通大学工程硕士研究生学位论文 32 数据分析的方法和应用 com 数据分析的方法 数据分析方法以及用户应用接口全部由应用逻辑层来实现 应用逻辑层提供 的主要功能是使银行卡业务分析系统使用人员通过报表和图形的方式 简便 快 捷地访问数据仓库系统中的各种数据并进行各种分析预测操作 应用逻辑层将提 供多种数据加工展现方法 包括预定义报表 即席查询和多维动态分析 预定义报表 - 预定义报表是一种经营分析人员在使用系统的过程中 根据需求和有关分析结果进行预定义后 格式内容相对固定的报表 即席查询 - 即席查询的内容可由银行卡业务分析系统使用人员自由定 义 允许使用者控制数据的访问方法 并对查询结果提供多种可选择的 展现方式 多维动态分析 - 多维动态分析是基于多维数据模型的分析方法 用于 支持复杂的分析和预测 包括多种分析方法 如多维分析 趋势分析 意外分析 排名分析 比较分析 原因和影响分析和WHAT-IF 分析等 应用逻辑层将提供一个统一的门户入口 实现预定义报表 即席查询 多维 动态分析和数据挖掘的无缝连接 并提供集成化的认证 信息发布和管理环境 使业务分析系统的使用人员无需关心具体的技术实现途径 即可实现对银行卡业 务分析系统数据的访问和分析 同时门户站点还可根据不同分析和决策人员的需 求 对所需的访问和分析内容进行方便 简捷的定制 以满足个性化信息服务的 需求 com 数据分析的应用 银行卡业务分析系统的建设总体来说 要达到如下三个方面的目标 即决策 支持 风险管理和客户关系管理 围绕着这三方面的目标 通过四个模块来实施 应用系统的建设 银行卡经营管理分析指标体系 - 反映银行卡在财务管理及风险管理的 执行绩效 了解客户行为 分析利润贡献 提供差异化服务 评估作业 流程及员工效率 追求不断改进 银行卡风险管理 –包括卡业务总量指标管理 卡业务资产质量分析 卡存贷款比例等 流动性管理 中长期卡贷款比例 卡资产流动性比例 卡备付金比例 卡负债流动性分析等 安全性管理 单个卡贷款比例 卡贷款质量指标 卡信用贷款比例 效益性管理 卡资金损失比例 卡 负债成本比例 卡资产盈利比例 实收卡利息比例 卡资产回报率等 利率风险分析 银行卡客户分析 –包括客户价值分析 客户细分 客户行为分析 客 户响应度分析和客户忠诚度满意度分析 银行卡业务 - 绩效利润分析模型从五个方面来进行绩效利 润分析 即 净利息收入 其它收入 直接成本 间接成本 和 风险成本 33 数据挖掘在金融行业的应用 在今天的市场上 信息的利用至关重要 各行各业面临激烈的竞争及经济压 14 上海交通大学工程硕士研究生学位论文 力 产品的生命周期缩短 需要为顾客提供更好的服务 在过去几年中 各公司 为了 取得必要的市场战略信息及对付市场方面的各种压力 已经开始采用数据 仓库技术 各公司为了确定所要开发的产品模式及了解市场走势 需要提取 数据 仓库数据 包括联机事务处理 OLTP 数据 并与外部的人口统计数据及心理 数据结合 从中 挖掘出 最终结果 利用这种数据仓库信息源 知识工作者在 他们的办公室 内可根据所取得的数据 就可以进行决策 同样的情况发生在金融行业 从银行的业务数据到决策信息之间的转换 正 是利用了数据仓库和数据分析 数据挖掘技术来实现的 数据挖掘技术在美国银 [7] 行金融领域应用广泛 美国Firstar 银行使用Marksman 数据挖掘工具 根据 客户的消费模式预测何时为客户提供何种产品 Firstar 银行市场调查和数 据库 营销部经理发现 公共数据库中存储着关于每位消费者的大量信息 关键是要透 彻分析消费者投入到新产品中的原因 在数据库中找到一种模式 从而能够为每 种新产品找到最合适的消费者 Mellon 银行使用 Intelligent Agent 数据挖掘 软件提高销售和定价金融产品的精确度 金融机构需要搜集和处理大量数据 对这些数据进行分析 发现其数据模式 及特征 然后可能发现某个客户 消费群体或组织的金融和商业兴趣 并且 根 据新观点 用户的行为会随时间而变化 分析客户整个生命周期的费用和收入就 可以看出谁是最具创利潜能的 并可观察金融市场的变化趋势 国内方面 各主 要商业银行也纷纷在已建成的数据仓库的基础上展开商业智能方面的尝试 34 小结 为了在贷记卡风险控制方法的研究中引入新的思路 所以在本章介绍一些新 的数据处理技术在金融行业的应用 通过简单的介绍 为我们在以后章节中应用 这些技术打下铺垫 15 上海交通大学工程硕士研究生学位论文 第四章 CRAMS 系统以及体系结构 本章首先通过对商务智能系统和 CRAMS 系统的定义以及两种系统间 的比较 引入了CRAMS 系统 然后给出了CRAMS 系统的设计要求 也明确了CRAMS 系统将 要实现的功能 在此基础上最后讨论了CRAMS 系统的体系结构 41 商务智能 BI 系统 随着国内金融运营企业传统的以产品为中心 以营业窗口为基础的运营模 式 逐步向以客户为中心 以数据为中心 以信息为基础的模式转变 伴随着数 据仓库建设的同时 商务智能 BI 系统的建设正方新未艾 商务智能系统作为数据分析系统的一个具体的应用 以数据仓库为依托 利 用了数据分析和数据挖掘技术 来为银行各级管理部门提供多渠道 多角度 和更 加丰富 翔实的信息 为管理层提出正确的战略目标提供保障 目前主要的数据库厂商IBM ORACLE Informix Sybase 都有各自的BI 产 品 42 CRAMS 系统 CRAMS 系统同样以数据仓库的各种主题为基础 应用数据分析和数据挖掘技 术 从数据仓库中的数据中抽取风险控制规则或者欺诈规则 然后将规则应用于 应用系统中来验证规则的有效性 43 CRAMS 系统和商务智能系统的差异 从表面上来看 CRAMS 系统似乎和商务智能系统区别不大 甚至可以说 CRAMS 系统是商务智能系统的一个子集 实际情况是两个系统存在很大的区别 商务智 能系统不能取代CRAMS 系统来完成其在风险控制 欺诈甄别方面的作用 两种系 统的主要差异如下 系统建设的目的不同 –为适应银行的信息化建设的步伐 为经营决策 提供全面的信息是商务智能系统建设的目的 而风险控制和欺诈甄别是 CRAMS 系统建设的目的 服务的对象不同 –基于系统建设的目的不同 所以系统服务的对象也 不一样 因为商务智能系统为经营决策提供信息 所以系统面向的 是企 业的各级管理层 而CRAMS 系统服务的对象当然是银行各级风险控制部 门 抽取数据内容的不同 –两种系统的数据不存在不是谁包含谁的关系 例如CRAMS 系统中授权记录会被抽取到专门的主题中 而这类授权数据 对经营决策意义不大 通常会被清洗掉或者汇总加工后才存放在商务智 能系统的数据仓库中 应用的技术手段的差异 - 商务智能系统更侧重于使用一些OLAP 技术 而CRAMS 系统会使用人工神经网络 序列算法等数据挖掘技术 结果产品的不同 –商务智能系统侧重为经营决策者提供多维分析结 果 而CRAMS 系统会构造出不同的模型 便于使用从中提取风控规则 16 上海交通大学工程硕士研究生学位论文 44 CRAMS 系统的设计要求 在CRAMS 系统的设计中需要考虑来自于几方面的问题 在数据方面需要考虑 的是数据仓库的主题如何确定 在采用的技术方面 如何合理地调配数据分析和 数据挖掘技术的应用 特别在针对不同的应用数据时合理选择正确的数据挖掘算 法 在最后的结果呈现时 如何以最佳 最便于客户理解的方式来展示模型 进 而来解释模型所代表的规则 以及规则应用的可信度 支持度 以上这些都是我 们在设计这个系统之处需要考虑的问题 综合起来 一个应用级的贷记卡风险控 制系统需要达到以下设计要求 相关主题的数据仓库系统的建立 –数据仓库就是一个面向主题的 集 成的 不可更新的 随时间不断变化的数据集合 根据贷记卡系统中积 累下来的历史数据和未来每日采集的信息格式 整理出统一的信息视 图 确定基于贷记卡风险控制的数据仓库主题和围绕主题的维表结构 数据仓库的建设为以后的数据分析和数据挖掘提供了更好 更广泛 的数 据源 同时数据分析和数据挖掘的技术的应用能够充分发掘数据仓库系 统的数据的作用 另一方面 由于数据仓库完成了对数据的清洗 抽取 转换 装载 所以之后的数据分析和数据挖掘面对的是经过初步处理的 数据 更加有利于提高数据分析和数据挖掘工作的效率 数据分析和数据挖掘的合理配置 –数据分析和数据挖掘是相辅相承 在贷记卡风险控制系统对两种技术的应用进行合理的调配 可以达到事 半功倍的效果 数据分析使用了经过数据证明的方法给出了精确的结 果 利用数据分析的特点可以完成CRAMS 系统中大部分的统计分 析工作 而那些不确定性 隐藏着暂时不为人所知的信息 可以通过数据挖掘去 发现它们 模型的建立和灵活的规则应用 – CRAMS 系统是建立在数据分析和多种 模型的基础上的 而欺诈甄别作为风险控制系统的重要控制点 则完全 依赖于模型的准确性 采用在现的人工神经网络和离线的分类器算法来 提高欺诈报告准确性 减少误报率 同时依据模型提取的规则集 需要 通过同业规范 业务经验或客观要求的检验才能得以应用 且应用的范 围将涉及贷记卡系统的申请 授信 授权 催收和争议等多个模块 可视化的分析结果展示 –作为一个分析 监控系统 可视化的分析结 果展示是必须具备的 一方面由于数据分析和数据挖掘理论研究的超前 性 很多算法不为大家所熟悉和了解 通过以 图形以及多维可视 化的分析结果展示能更便于使用者对数据分析和数据挖掘结果的理解 另一方面也能极大地发挥用户的主动参与性 由于对数据进行了可视 化 用户愿意进行探索 在探索过程中有可能发现新的知识 规则的应用评价 –风险控制系统一方面在实施着风险控制 欺诈甄别 去发现可疑的持卡人 可疑的行为 当另一方面对合法授权的误报 导 致授权失败 直接影响到系统的可信度 所以通过不断地规则的应用评 价来磨合系统以达到客户可接受的准确度 45 CRAMS 系统的功能描述 根据数据流所流经的不同的处理过程 CRAMS 系统可以划分为五个处理阶 段 分别是数据预处理阶段 数据仓库阶段 数据分析和数据挖掘阶段 数据访 17 上海交通大学工程硕士研究生学位论文 问阶段和规则的评价阶段 数据预处理阶段的功能 –数据的预处理阶段实际包括了数据的抽取 清洗 转换 预处理和装载多个步骤 通过这些步骤的协同操作后 预 处理后的数据被载入数据仓库 数据仓库阶段 – CRAMS 系统基于多个主题 所以按照星群模型建模 多个事实表 共享维表 构成了星群模型 贷记卡风险控制系统数据仓 库包含的主题是联机授权交易主题 历史帐单主题和客户信息主题这三 个主题 将来自于IBM S390 主机的数据通过数据预处理阶段后分别导 入这三个主题中 随后通过 OLAP 功能可以进行联机分析 也可以通过 统计软件实施数据分析 随着各种数据挖掘算法的应用 还可以在这些 主题的基础构造风险控制系统下的各种模型 数据分析和数据挖掘阶段 –应用统计软件和各种数据挖掘算法来完成 本阶段的工作 统计软件的应用可以发现一些较确定性的东西 如重复 交易的发现 而各种数据挖掘算法主要用于建立风险控制系统的各种模 型 包括信用评分模型 信用额度动态调整模型和欺诈管理模型 数据访问阶段 –用户可通过查询 报表的方式对数据分析和挖掘结果 进行分析 可通过界面对数据分析后的规则或从模型中导出规则进行维 护和管理 当规则被触发后检查风险报告 规则的评价阶段 –实时或者脱机地将规则应用到生产数据上 对规则 的准确率和误报率给出评价 对模型的可信度和支持度给出评价 46 CRAMS 系统的体系结构 CRAMS 系统为层次型结构 层次型结构清晰地定义每个层面的功能 实现了 客户 服务 数据三个层面的分离 更加便于各个层面的功能的扩展 使得系统 具有更为广泛的通用性 18 上海交通大学工程硕士研究生学位论文 com 体系结构 业务数据 I 数据仓库 II 数据挖掘 数据分析 规则集 III 查询 报表及 应用系统 图4-1 CRAMS 系统体系结构 Fig 4-1 Credit Card Risk System Architecture com 体系结构分层描述 CRAMS 系统的体系结构分为三层 第一层为数据加工层 第二层为数据 分析 层 第三层为应用访问层 数据加工层包含数据预处理和数据仓库两部分 根据银行信用卡部门提供的 贷记卡业务数据 完成数据的抽取 转换 合并 装载等预处理的全过程 结果 用于构造贷记卡风险控制系统的数据仓库 构成数据仓库的是若干事实表和维 表 基于目前的技术发展情况 该层可采用基于XML 的应用和数据集成技术 数 据加工层的设计原则是 简便 快捷 易维护 数据分析层是整个系统的核心 数据分析 数据挖掘部分致力于风险规则的 发现和风险控制模型的建立 规则集存储已建立的规则或模式 针对同一主题的 规则集合可视为求解问题的模型 模型是为了交流认识而形成的关于客观存 在问 题的框架 它是联系决策问题 数据的桥梁 数据分析层的设计原则是可理解性 和高效性 应用访问层是系统功能的呈现部分 提供了元数据的管理 规则的维护 挖 掘结果的展示 OLAP 联机分析 风险报告的查询和规则的评价等功能 前端管 理部分可采用基于J2EE 和JAVA 的技术 数据访问层的设计要求是界面的友好性 和功能的完善性 47 小结 本章通过比较商务智能系统和CRAMS 系统差异 突出了CRAMS 系统建设的可 行性和必要性 随后对CRAMS 系统的设计要求和实现功能做了介绍 最后给出了 19 上海交通大学工程硕士研究生学位论文 CRAMS 系统的体系结构 并对体系结构中各层分别给出了描述 所以本章进从整 体上给出概念 具体的贷记卡风险控制方法的研究将在第五章展开 20 上海交通大学工程硕士研究生学位论文 第五章 CRAMS 系统的数据仓库系统设计 本章开始部分介绍了数据仓库设计的基本过程 按照这个基本过程展开贷记 卡风险控制系统的数据仓库的系统设计 涵盖了企业模型分析 概念模型设计 逻辑模型设计 物理模型设计和数据装载接口设计 通过这五个步骤 完成了贷 记卡风险控制系统的数据仓库的建设 51 数据仓库设计的基本过程 数据仓库系统的需求通常不明确 其项目往往需要开发人员首先完成一个初 步的系统 然后向用户展示系统的功能 让用户能够对数据仓库及其相关系统有 比较清晰的认识后 用户才能提出比较准确的需求 因此需要和最终用户不断的 交流 建立的过程可能永远不会结束 在贷记卡风险控制系统的数据仓库的设计 中 会依赖于若干主题的确定来开始数据仓库的设计工作 一个数据仓库模型设计的基本过程[8]如图41 所示 21 上海交通大学工程硕士研究生学位论文 设计企业模型 将企业模型映射到数据库系统 将企业模型映射到数据仓库系统 企业模型分析 确定主题和主题域的边界 技术准备工作 概念模型设计 逻辑模型设计 粒度层次分析 数据分割策略 物理模型设计 关系模式定义 记录系统定义 数据装载接口设计 对 于 每 确定存储结构 一 确定索引结构 个 主 题 合理对表进行归并 优化存储分配 接口设计 接口程序编程和调试 图5-1 数据仓库设计的基本过程 Fig 5-1 The principal process of data warehouse design 52 CRAMS 系统的企业模型分析 企业模型是从企业用户的角度对企业所需数据的内容以及数据间的关 系的 抽象 它反映了企业各个阶层人员对数据的需求情况 通过企业模型映射到数据 库系统 可以很快地了解现有数据库系统完成了企业模型中的哪些部分 还缺哪 些部分 然后我们再将企业模型映射到数据仓库系统 发现企业需要的主题 通 过这样的过程完成对企业数据需求和现有数据的了解 达到明了原有系统和需要 建设的主题域之间共性的目的 贷记卡系统所有业务数据以VSAM 文件的形式保存在总行的IBM S390 主 机上 在企业模型分析阶段需要根据风险控制的需求和业务数据本身的现状 来 抽取业务数据实现企业模型到数据库系统的映射 而后完成企业模型到数据仓库 的映射 22 上海交通大学工程硕士研究生学位论文 53 CRAMS 系统的概念模型设计-确定主题 根据贷记卡系统风险控制的需求和业务数据的现状 确定在CRAMS 系统的数 据仓库中实现以下主题 com 信用评分 目前的信用评分包括两部份的内容 一部分来自客户在申请表上所列举的各 项特征 可以包括年龄 性别 职业 职称 供养人口 房产情况等很多方面 另一部分来自征信局的报告 对于此申请人以往的信用历史的评价 综合这两部 份信用评分得到申请人的总评分 决定申请人申请是否得到批准 降档或拒绝 信用评分不仅仅是对持卡人的一种信用评价 也是银行自身实现风险控制和 防范的第一步 只有准确地评价了申请人的信用状况 才能保证合适的额度分配 保证银行的资金安全 再回到我们目前信用评分体系上 一方面由于我国征信体 系尚未完善 除上海外其他地区无法提供个人的征信报告 所以在信用评分时就 缺少了来自于征信局的那部分评分 意味缺少了申请人信用历史的评价 另一方 面贷记卡系统内本身的信用评分规则比较固定 不能适应于目前变化的趋势 所 以我们将信用评分作为进行风险控制研究的一个主题 在上一节我们谈到目前在信用评分中缺少来自于征信局的信用评分 即信用 历史的评分 我们希望依据目前系统已有客户的信用历史情况 通过决策树算法 进行客户分类 对每一类客户的信用状况实现统计 然后决定对此类客户应该给 于的信用评分 com 信用额度动态调整 循环信用是贷记卡的一个主要特征 所谓循环信用就是银行给于持卡人一个 固定的信用额度 在此额度范围内 只要他能够及时还款 持卡人可以持续从 银 行得到借款 但是我们看到一样东西基本保持不变 那就是信用额度 从营销策 略上来讲 不变的信用额度不利于调用客户用卡的积极性 而另一方面从风险控 制角度来看 信用额度的变化意味消费行为变化 不加以控制会给银行带来风险 在我们的贷记卡风险控制系统中将会实现客户的消费行为和信用等级的联 动 分析基本表中客户基本信息基表 历史交易数据集表和其他有意义的数据 勾画出其当前信用等级分布特征 来预测展示下一阶段该客户的信用等级变化趋 势 信用额度调整周期一般为半年 一年 或当预测趋势发生变化时不定期进行 调整 信用额度的重新调整意味则银行对客户信用情况的重新评估 所以信用额 度的调整可能会牵动定价策略的变化 续卡的支持 年费的免除 卡片的升级 超限的控制等很多方面 客户的消费行为可以作为评价客户的一个指标 我们通过可用额度的变化对 客户进行分类 然后根据客户分类的变化来决定客户信用额度的变化 同时也可 以通过挖掘客户的拖欠历史序列模式来对客户进行分类 进而来影响客户信用额 度 com 欺诈分析 未经持卡人授权而发生的对持卡人资金的侵占行为被认为是欺诈交易 欺诈 交易一旦发生 可能会造成持卡人 商户 收单行 发卡行等多方的资金损失 23 上海交通大学工程硕士研究生学位论文 信用的欺诈行为主要有以下几种形式 伪卡交易 –伪造信用卡进行授权交易 盗窃卡或者丢失卡交易 –犯罪分子盗取持卡人的信用卡进行授权交易 或者使用别人丢失的卡片进行交易 重复交易 –在一定周期内 一天或一个月 交易频率远远超过以往正 常交易频率 伪冒交易 –不良商户通过获取持卡人的信用卡信息 假冒持卡人发 起 交易 信用卡的欺诈分析一直是风险控制研究的一项重要主题 在本篇论文中通过 联机和批量的欺诈分析来提取欺诈交易特征 从而建立预警机制 在可疑交易方 生时通过加强身份验证和照会等方式来加强授权控制 54 CRAMS 系统的逻辑模型设计 数据仓库的逻辑设计主要包括数据粒度的选择 进行表分割 合理化表的划 分 定义关系模式和记录系统的定义 com 粒度的选择 在传统的操作型系统中 对数据的处理和操作都是在详细数据级别上 进行 即最低级的粒度 但是在数据仓库环境中主要是分析型处理 粒度的划分将直接 影响数据仓库中的数据空间以及所适合的查询类型 一般需要将数据划分为 详 细数据 轻度汇总 高度汇总三级或更多级粒度 不同粒度级别的数据用于同类 型的分析处理 粒度的划分是数据仓库设计工作的一项重要内容 数据粒度划分 适当与否是影响数据仓库性能的一个重要方面 数据粒度的设计原则是 既要使数据存贮结构合理 访问效率高 节省存贮 空间 又要在这种可用结构下减少或消除任何信息丢失 数据仓库的数据粒度与数据元素的汇总水平相关 在数据仓库建模中 粒度十 分重要 因为正是粒度为数据仓库建模的重要指标间提供了一种交换技术 例如 数据容量和性能之间的交换 在很细化级别上访问数据的能力和存贮访问大容且 数据的性能及成本之间的交换 这些交换都是通过数据粒度级别的划分完成 数 据处理过程中始终存在交换 数据粒度越高 则回答不同类型问题能力越低 对于象联机授权交易这样的详细数据 只能保留近期的数据在数据仓库中 当保留周期达到时 一般为一年 将距离当前较远的数据导出到磁带上 从而 为最新的数据腾出空间 这样 数据仓库只保留三个月以内的联机授权数据 对 于超过三个月的联机授权数据 数据仓库只保留其按月的综合数据 com 表分割 按照粒度选择的原则 对于象联机授权交易这样存在两种粒度的数据库表将 会被分割 数据仓库中保留一年内的联机授权交易 超过一年的联机授权交易被 转储到后备设备上 一年内的联机授权交易也分为两种 三个月内联机授权记录 以详细数据储存 而三个月以上按月汇总后储存 com 表划分和关系模式定义 为了完成信用评分 信用额度动态调整和欺诈分析这三个主题 我们需要定 24 上海交通大学工程硕士研究生学位论文 义如表5-1 所示的数据库基表 表 5-1 数据仓库基表 Table 5-1 Base Table Of Data Warehouse 表名 内容 T_Authorization 联机授权交易明细 T_Customerinfo 客户基本信息 T_Stmthistory 持卡人帐单历史 com 记录系统的定义 在定义了系统的关系模式后 我们需要将关系模式具体化 这个过程要通过 记录系统的定义来实现 记录系统的定义就是指明数据仓库中关系表的各个字段 来源于哪个业务数据库的哪张表的哪个字段 因为篇幅关系 不详细列出此表 55 CRAMS 系统的物理模型设计 在数据仓库的物理设计中 主要解决数据的存储结构 数据的索引策略 数 据的存储策略 存储分配优化等问题 数据的存储结构 由于数据仓库中包含巨量数据 这使得数据存储必须 采用并行的存储结构 目前 RAID Redundant Array of Inexpensive Disk 廉价冗余磁盘阵列 结构在OLTP 系统得到了广泛的应用 数据的索引策略 在传统的数据库领域 B-TREE 索引的应用非常广泛 但是在数据仓库环境中 特别是在 OLAP 分析中 常常需要从某些 维度 对大量的数据进行综合性查询 而不是在 OLTP 系统中一次对少量的几 条记录进行检索和更新 因此我们通常选用BitMap 或BitWise 索引 数据存储策略 确定数据的存储结构和表的索引结构后 需进一步确定 存储位置和存储策略 以提高系统的IO 效率 常用的方法有表的归并 和分割表的存放 表的归并就是按照常用访问序列确定表的物理存放位 置 而分割表的存放就是将一张大表分割成几张小表 以提高访问效率 存储分配优化 存储分配优化就是解决诸如数据块大小 缓冲区单元大 小和个数同系统配置相关的问题 通常不同的数据仓库厂家都会根据其 产品的应用实例给出推荐的配置参数 56 CRAMS 系统的数据装载接口设计 数据装载接口包括数据的抽取 清洗 转换和装载 从IBMS390 抽取的数据根据业务逻辑 以客户编码为关联 经过一定的检 测 加工整合形成一致化的 多种粒度的数据 数据被抽取之后 再按各个分析主题的需要进行深度加工 经严格的检测控 制加载到数据仓库中 57 小结 本章论述了CRAMS 系统的数据仓库的系统设计过程 在完成了数据仓库的建 设之后 在下一章 我们将就通过数据分析和数据挖掘技术实现的贷记卡风险控 制方法展开讨论 25 上海交通大学工程硕士研究生学位论文 第六章 贷记卡风险控制方法的研究 应用数据分析和数据挖掘技术来进行贷记卡风险控制方法的研究是本课题 的主题 通过确定了贷记卡风险控制的范畴来定义进行风险控制的三种模型 分 别是信用评分模型 信用额度动态调整模型 欺诈管理模型 CRAMS 系统基于这 三种模型来实现贷记卡的风险分析和风险控制 为了实现这三种模型 我们将会 分别采用数据挖掘中决策树算法 序列算法 神经网络算法和聚类算法 另外本 章还会讨论统计软件在风险控制中的应用来作为数据挖掘技术的一个补充 61 贷记卡风险控制的范畴 信用卡业务的利润和风险是共存的 所以必须给与充分关注 风险管理人员 应及时联系客户或账户进行科学的分析和归类 并进行信用评估 利用通用的统 计方法和数据挖掘技术可以帮助信用卡产品开发部门描述客户以往的需求趋势 并预测未来 统计学[9]是数据挖掘的前身 两者很多共同点 但与此同时它们也有很多差 异 在贷记卡风险控制方法的研究中 我们可以通过数据挖掘来建立一系列模型 来发现一些欺诈规则 但通过使用一些成熟的统计软件可以帮助我们发现一些更 基础的 更确定性的东西 所以我们首先从应用统计软件的角度展开对贷记卡风 险控制的研究 接着我们还可以通过建立一系列的预言性或描述性模型 更有效地完成信用 卡风险管理的相关工作 比如 信用评分模型 客户初始信用等级评定 信用 额度动态调整模型 客户当前信用等级评估 欺诈管理模型 客户消费异常性 分析 等 在本章节中我们会就这三种模型来展开对贷记卡风险控制方法的 研究 而这三种模型按照模型应用的时效分为两类 其中信用评分模型 信用额度动态 调整模型属于第一类 通过评分模型对申请人进行评分 从而决定是否给于申请 批准以及多少信用额度 和在卡片的生命周期里根据客户的信用情况对客户的信 用额度进行动态调整 这些模型的应用发生在贷记卡系统的批量处理阶段 信用 评分 信用额度在批量阶段一经设定 在联机处理时一般不会修改 而欺诈管理 模型在联机和批量阶段会有不同的应用 联机阶段多采用神经网络技术 对可能 的欺诈行为进行监测 对于可疑交易则会提醒核实持卡人身份或求助等方式来对 授权交易实行控制 而在批量阶段则可以通过统计分析 分类算法 或者异常监 测机制来发现检测欺诈交易的规则 62 统计软件在CRAMS 系统的应用 com SPSS 简介 国际上常用的统计软件有SPSS SAS BMDP GLIM GENSTAT EPILOG MiniTab 等 其中SPSS 在各项功能的表现方面比较突出 SPSS 公司在统计软件的开发上 素有盛名 SPSS 是软件英文名称的首字母缩写 原意为Statistical Package for the Social Sciences 即 社会科学统计软件包 但是随着SPSS 产品服务领 域的扩大和服务深度的增加 SPSS 公司已于 2000 年正式将英文全称更改为 26 上海交通大学工程硕士研究生学位论文 Statistical Product and Service Solutions 意为 统计产品与服务解决方 案 SPSS 是世界上最早采用图形菜单驱动界面的统计软件 它最突出的特点就 是操作界面极为友好 输出结果美观漂亮 它将几乎所有的功能都以统一 规范 的界面展现出来 使用 Windows 的窗口方式展示各种管理和分析数据方法的功 能 对话框展示出各种功能选择项 用户只要掌握一定的Windows 操作技能 粗 通统计分析原理 就可以使用该软件为特定的统计分析服务 SPSS 采用类似 EXCEL 表格的方式输入与管理数据 数据接口较为通用 能方便的从其他数据库 中读入数据 其统计过程包括了常用的 较为成熟的统计过程 完全可以满足统 计分析方面的工作需要 我们将使用该公司的SPSS 120 For Windows 来实现对 贷记卡数据的统计工作 com 重复交易的发现 在IBM S390 贷记卡主机侧 同一交易日同一卡号金额相同 商户号相同的 重复交易被视作为欺诈嫌疑 系统将加以监控 但同时我们也看到 在主机侧对 重复交易的手段还比较单一 仅仅局限在相同金额 相同商户的关联条件 所以 希望在我们的CRAMS 系统里将这种控制的范围和程度得以扩展 我们考虑使用统 计软件来对联机授权主题的交易数据实现统计 实现这种扩展 出现重复交易可能分为以下几种情况 交易输入错误引起的重复 例如同样的交易被重复输入多次 构成交易的主键保持唯一 但一些非主键重复 例如交易的主键受理行 行号 系统跟踪号唯一 但金额 商户号 授权号重复 多笔交易主键相同 例如交易报文可能被伪造并重放 以上三种情况都有欺诈嫌疑 第一 第二种情况可能是不良商户通过取得持 卡人信息重复授权 第二种情况也可能是持卡人过度使用信用卡 构成恶意透支 第三种可能是未经持卡人授权的第三方通过获得窃取交易报文信息来伪造并重 放交易报文 造成持卡人经济损失 所以仅仅针对少数几个属性的重复性检查是 远远不能抵御可能出现的欺诈行为 我们将应用统计技术来加强这方面的防范 在开始对交易数据进行重复性检查开始之前 首先需要定义需要重复性检查 的属性 这些属性的组合可以非常灵活 可以是卡号 受理行行号 系统跟踪号 唯一 金额 商户号的组合 也可以是卡号 发卡行行号 授权号的组合 或者 是你感兴趣的交易数据记录中任何的属性的组合 因为这些组合是可以配置 的 其次是交易数据的选取方面 在主机侧出于对实时处理的考虑对重复交易的 检查仅仅局限在当日的联机数据 而在基于数据仓库的OLAP 环境下 我们可以 对历史数据进行分析 更加全面地分析将有效低克服了分析结果的片面性 重复数据被发现之后 分析者可以根据需要将重复记录放在交易数据列表的 表头部分 也可以是在表尾部分 且重复记录相邻 便于比对 分析者还可以输 出部分进行直方图分析 了解重复记录在整个交易记录中所占比重 以及对重复 记录进行分类和每一类的百分比 63 三种模型在信用卡生命周期中的重要作用 信用评分在信用卡生命周期的各个阶段发挥了重要的作用 信用卡的生命周 期分为 拓展客户期 审批客户期 管理客户期三大阶段 每一个阶段需要做出 不同的管理决策 其决策的主要依据是各种信用评分模型[10][11] 27 上海交通大学工程硕士研究生学位论文 拓展客户期是开拓新客户 提高市场份额和扩大发卡规模是信用卡经营管理 的第一步 是实现规模经济 提高竞争实力的重要一环 是市场营销的核心目标 这一阶段需要做出的管理决策包括 确定什么样的消费者作为拓展的目标客户 在锁定目标客户以后 信用卡公司需要做出的下一个管理决策是给目标客户提供 什么样的产品 对于新发展的客户的定价策略 针对以上这些管理抉择 在拓展 客户期需要有信用局风险评分 信用局收益评分 信用局破产评分 市场反应评 分和余额转移评分 我们可以看到大部分评分来自于信用局 当然银行也可以依 据自身对持卡人资料的积累的基础上 根据目前的历史数据来预测新的持卡人的 信用评分和分配相应的信用额度 审批客户期是信用卡公司在做出拓展客户期的各种决策以后 对于客户的申 请的回应方面的决策 对于提出开户申请的消费者 银行如何决定是否批准 如 果批准的话 给予多高的信用额度 是否对申请者交叉销售其他金融产品 在审 批客户和决定信用额度高低时 最重要的决策依据是申请者的风险高低 可以通 过申请风险模型和信用局风险评分模型来衡量 申请风险评分模型通过综合考虑 申请者在申请表上所填写的各种信息 如年龄 职业 学历 收入 住房状况以 及申请者在信用局里的历史信用信息 对照类似申请者开户后的付款表现 以评 分来预测申请者开户后一定时期内违约拖欠的风险概率 另外 信用局风险评分 模型和信用局收益评分模型也是很有价值的决策工具 与申请风险评分模型具有 互补性 可以组成二维或三维矩阵来进行信贷审批决策 所不同的是 申请风 险 评分是为银行特定的申请客户群量身定做的 更能反映银行客户群的特殊性 而 且除了信用局的数据以外 申请风险评分模型还使用了申请表上的预测信息 能 利用更多的信息对客户将来的信贷表现进行预测 而信用局评分模型则对申请者 在未来的信贷关系中违约拖欠的概率做出了预测 不仅仅是对其正在申请的信用 卡账户而言 在信用局建制不完善或未设立该机构的国家和地区 银行主要依赖 申请表上的信息实施申请风险评分 作为审批决策的主要依据 从信用卡申请获得批批准 到销户整个一个很长的阶段都是属于管理账户 期 在这个阶段需要做出的管理决策是 是否提高或降低信用额度 是否允许超 限 是否对产品重新定价 对于睡眠户的激活机制 卡片到期后对于持卡人的挽 留机制和坏帐催收等 首选的应是行为评分模型 信用卡账户开通后 随着时间 的推移 银行掌握了该账户刷卡消费 交易 欠款 还款等各方面的丰富的信息 动态地跟踪客户信用表现 不断更新用户的行为信息 在数据积累到一定程度以 后 运用行为评分模型对客户的风险 收益 流失倾向等进行预测 从而做出相 应的管理决策 其次是各种信用局评分模型 它们提供了全面评估客户信用的补 充信息 行为评分模型与信用局评分模型的不同之处在于数据来源 信用局 评分 模型反映了消费者资信的全面情况 行为评分模型反映的是该信用卡账户的信用 情况 前者更全面 而后者更深入 及时 二者互为补充 大多数美国银行均同 时运用这两种模型进行信用卡账户管理 以最大限度地做出正确的风险收益选 择 64 CRAMS 系统中的信用评分模型 以现有客户的基本信息 历史交易数据的关联表现 描述出现有客户的信用 等级分布特征 同时 建立预言性的初始信用等级模型 对新申请信用卡的客户 通过其填写的基本信息进行打分 并确定新客户的初始信用等级 28 上海交通大学工程硕士研究生学位论文 com FICO 评分系统介绍 目前业界最著名的信用评分模型是FairIssac[12]的FICO FairIssac 公司位 于美国Rafael 市 这家公司成立于1956 年 由工程师Bill Fair 和数学家 Earl Isaac 合伙组成 他们共同发明的这套计分系统模型称作FICO Scoring System 该系统将需要计算分数的与申请人信用有关的数据输入到评分模型中 模型运 用数据挖掘和数理统计技术 可以提炼出丰富的具备强大预测力的各种变量 依 此对客户的风险 收益 流失倾向等进行预测 由于该模型不考虑申请人的种 族 肤色 国籍 宗教信仰 性别 年龄 婚姻状况等有歧视的因素 所以自 1980 年以来逐渐被美国的两个半官方机构Fannie Mae 和Freddie Mac 所采用 并且 由美国的三个信用局Equifax Trans Union 和 Experian 原称 TRW 执行计算 FICO 的分数范围从 375 直到 900 分分数越高表明信用越好 一般人的分数在 620 到 650 之间如果分数在650 以上则表示信用 很好 申请贷款不应该会有 任何问题 如果分数在720 以上则表示信用 非常好 申请贷款时甚至缺少一 些文件也能很容易地得到最低的利率 分数在 650 以下则要被划分等级在 620 至650 之间 则被评为 A 级 表示信用 好 多数申请人应该容易地贷到 款但要提供各种财务文件 纳税单 工资单 银行对帐单等 若分数低于 620 分则被划分为 B C 甚至 D 那么就较难申请到贷款 但也不是说就 得不到贷款 有很多银行也会考虑给这种人提供贷款的只不过要求申请人要满 足更多的条件得到贷款的利率也相对高一些 使申请人达不到满分的原因有很 多 主要分为以下五类 1 各种还款的历史 Payment History 包括:迟付 款 Late Payments 破产 Bankruptcy 以及被催收 Collections 丧失 抵押品赎回权 Foreclosure Lien Judgement 被核销 Charge-off 等 2 借款数目 Outstanding Debt 之前申请的信用卡的额度是否使用得很多 房屋贷款还有多少没有付清 是否有其它贷款 如学生贷款 汽车贷款家具贷 款等 3 信用历史 Credit History 申请人的信用历史有多长 4 近期的 与信用有关的行为 有什关新开户 有什么信用查询 5 已得到的信用有那些 信用卡 加油卡 商店信用卡 房屋贷款 汽车贷款等 com 运用SLIQ 决策树算法构造信用评分模型 决策树算法是分类算法中的一种 决策树算法通过对训练集的学习 根据实 例集的属性构造成树型结构的模型 模型中的每个内部节点表示了对于属性的一 种测试 而每一条分支表示了一种测试结果 每个叶子节点表示了一种分类 在 模型形成后 会通过剪枝技术来修剪一些根据训练集的噪声或异常数据而产生的 一些无效的分支 在最后阶段可以选择是否将决策树模型转换类似IF-THEN 的规 则 决策树的基本算法是一种贪婪算法 采用了自顶向下 递归 分而制之的方 式 最为典型的决策树