亚洲证券风险监控系统的设计与实现

亚洲证券风险监控系统的设计与实现 大连理工大学 硕士学位论文 亚洲证券风险监控系统的设计与实现 姓名:程兴鹏 学位级别:硕士 专业:计算机技术 指导教师:王秀坤 20051201大连理工大学专业学位硕士学位论文 摘 要 风险监控系统是支持客户集中管理、统计、分析、监控、报警的系统,可分基础主 题、业务主题的数据库应用平台,是一个应用于广域网络、跨操作系统平台、跨数据库 平台,能够适应各种证券交易规则和交易品种的复杂系统。该系统把所有营业部的柜台 交易资料全部集中到总部,改善了公司的经济业务环境,为公司稽核监管、客户服务等 系统建设提供了开放的平台。 本文的目的是在亚洲证券实现总部风险监控系统,彻底改变原来各自为政的 局面, 为公司业务的管理提供良好的技术平台,可快速适应巾场的变化,整体提升证券公 司业务能力水平,加强公司的管理、稽核能力,防范业务风险能力。 本文使用髓和.建设服务器;通过双网卡隔离、软件防火墙等措 施,实现安全、灵活的采集方式:采用时间段方式存储历史余额数据,节省了大量的存 储空间,加快了查询速度;使用数据库特有的高级查询功能优化后台处理速度, 减少了数据整理时间。 本文的特色在于采用了层次化结构设计,不仅能快速高效的传输采集数据,并且能 有效地实现营业部与总部之问的安全隔离。通过服务器进行数据展示,可以灵活 方便的扩展功能。 本文所做的成果己在亚洲证券实施成功,达到了预期目标,提高了防范风险能力, 稳定运行一年多时间,采集了年左右的数据,并在此基础上二次开发了经纪人管理子 系统。 关键词: 金融证券;风陵监控;数据库优化;层次化结构程兴鹏:亚洲证券风险监控系统设计与实现 , , , , , , , .??, .. , , . ? , . .. . , . . , , ? , , .. . ,. , : : :: ?独创性说明 作者郑重声明:本硕士学位谂文是我个人在导师攒导一进衙的研究工 作及取得研究成果。尽我所知,除了文中特别加以标注和致谢的地方外, 论文中不警含其他入已经发表或撰写的研究成果,也不包含为获褥大连理 工大学或者其他单位憋学位或证豢所使用过的材料。与我一圈:佟的固态 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名:大连理工大学专业学位硕士学位论文 大连理工大学学位论文版权使用书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”,同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版,允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索,也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 均专 作者签名:聿墨,考.日叁 作者签名:辛量’五? 导师签名 童垂生 砬年幽盟日大连理工大学专业学位硕士学位论文 引 言 背景 随着证券行业的发展,券商之间的竞争加剧,客户对券商服务的要求也越来越高, 原来基于营业部的分散管理模式和粗放式经营模式正逐步被基于总部的集:, 管理模式 和集约化经营模式取代,不能进行快速变革、对市场变化反应缓慢的证券公.必然会被 无情的市场抛弃,而要进行快速的变革,要高效率地进行集中管理,就必须借助于先进 的技术,构建总部级的业务处理和管理系统。 我国止券市场日趋成熟,政府的监管力度日益加强,而且监管力度的力?强将是一个 持续不断船发展过程,这也对证券公司内部监管提出了更高的要求。信息技术日新月异 的飞速发惩,为证券公司总部管理及风险控制系统和集中交易系统的建设提供了岛速的 网络传输和数据处理能力基础?。 相对于国外券商成熟的风险控制体系.国内券商还有很多不足之处,尤其是风险监 控管理系统,在国内券商中才刚刚开始建立,有许多需要完善的地方。现阶段主要是建 设总部级的风险监控系统,初步完成交易数据的集中管理和监控,在此基础,:继续完善 和发掘数据,’进行深层次分析,努力追赶国外券商的风险控制水平“’“。 公司概况 亚洲证券有限责任公司是一家全国性的综合类证券经营机构,总部位予上海, 目前 在全国范嘲内拥有家证券营业部、 家证券服务部,营业网点数量在全闪多家 专业券商嘻‘位居前名。公司注册资本金.亿元,资产规模近百亿元公司现有 股东为邯郸钢铁股份有限公司、中国银河证券有限责任公司、安徽丰原集团有限公司等 国内知名,.企业。 亚洲?券自诞生以来,以服务社会、建设中国资本市场为己任,在中困汪监会和社 会各界的盎。持下,各项业务蓬勃发展,业务品种也日益齐全成熟。公司不仅番?正券承销、 证券经纪、汪券自营领域取得了卓越的成绩,而且在资产管理、资产重组、段资咨询、 并购策划、财务顾问等领域也积累了丰富的实战经验,已参与承销股票逾百家,累计帮 助多家套业进行股份制改造并担任财务顾问。 为了避一步提升亚洲证券的竞争力,完成证监会的要求,完善公司风险控制机制, 公司决定安装风险监控系统。 本文工作 调查分析了亚洲证券详细需求,当前状况,并归纳、整理、分析用户需求,设计了 符合亚洲证券情况的系统架构。程兴鹏:亚洲证券风险监控系统设计与实现 论述了架构和.技术架构的数据发布体系:系统的模块设计、数据流 程设计、系统部署;数据结构模型、历史数据处理过程,列举了系统功能。 通过服务器身份认证登录模式,数据库留痕操作。系统日志监控等手 段,实现系统本身的安全。 优化数据库配韪,日志文件、历史文件、当前表文件分别存放在本地 硬盘、磁盘阵列柜中硬盘、磁盘阵列柜中硬盘中,实现吞吐的最大 化,提高数据库处理速度。 优化表结构,把大量重复的数据存储模式改为按时间段方式存储,减少存储空间, 降低数据冗余度。 系统、全面的表述了风险监控业务的各个方面,在那些方面进行监控才能全面的控 制风险发生。 本文组织 第章讲述了关于本文相关基础知识,数据库方面,金融风险控制等方面。 第章详细列出了亚洲证券公司现状,对风险监控系统的需求。并对这些需求 进行了归纳、总结、分析。 第擎根据需求分析设计系统整体框架,根据整体框架设计各模块构成,完成了 框架图和数据流程图,并对各个功能模块进行了划分,完成各类表的结构设汁。 第誊详细描述了各功能模块实现的方式.论述了历史数据整理优化的原理。 在 服务中,对各部门使用的功能模块和作用进行了洋细描述。 第章主要讲述了系统实施中,各种硬件设备、软件产?锗的选购原则和最终选定 的型号,尤其重点论述了服务器硬件平台选购的原则。 在总结‘展望中论述了风险监控系统和集中交易系统之间的关系,二者不可互为替 代,各有作用区域和目标。 火缝理工大学专业学位硕士学位论文 楣关基磷知谈 ,证券公司风浚燕控 ,,组织绻掬 风险划的要求足券业不同于麒他行的典型要求。幽于我豳旺券业发展时间较 短,爨韭乏簌淡雾公司内郝斡风险控制缀织上逐缀不竞萋。这瞧是诞券公司蠹熊缀织终褥 上需掰加咀弥补的地方。下面主要介绍美国诳券业程这方面的经验‘“。 荧国女券公司的风险管制结构一般是出审计委员会、执行管理娄灵会、风险监褫委 员会、风险政策小组、业务单位、公司风险篱理委员会及公司各种臀制委员会等组成, 这些豢员女或部门的职?分别介绍如下: .审计蠢员会一般全部由外部麓事组成,由冀授权风险监视娄员会制定公司 风险 管理政策。 风随箍视委员会一般由高级她务入员及风险控制经瑷组成,一般密公司风除管 理委员会的负责人兼任该委员会的负贵人。该委员会负责监视公司的风险并洳保各业务 部门严格飘符识剐、度量和簸弪与箕照务褶哭静风险。该委员会还要论劲公溺最商决策 执行委员会决定公司对各项业务风险的容忍废,并不定期及时向公司最高决麓执行豢员 会释审计委烫会报告霪要韵风险管理事矮。 风险政策小缀则是风险监视黉员会的一个工作小组,一般由风险控制经理组成 斧峦公司段浚管理委灏会懿受责久兼饪受费天。该,、缀窜查秘检讨各种嚣迨耀关熬豢顼 并向风险监视委员会汇报。 “登霹最裹决繁撬嚣娄爨会势公司各矮韭务潮定菇验餐忍疫;:援准公溺重大风险 管理决定,包括由风险监视委员会提交的有关重要风险政策的改变。公司最商决策执于 委员会特型关洼风玲集中度嚣滚魂搜秘题; 公司风险管理委员会是一个专门负责公司风险管理流程豹部门。该辫员会的 负 责人一般蛊接离财务憨蕴报袭,势兼任风险簸援委员会积风埝政策小组的受赍人,网时 一般髓王是登司最高决策执行蚕员会的成员。风险管理蓑员会管理公司的市场风险和信用 风险。市场风险是指公司交易投资由予利率、汇率、权益证券俊播和瘫品份燃、信髑差 等波动而引越的价值变化。信用风险鼹指由予信用违约造成们可能损失。 风险餐理委员会还要掌握公司各种投瓷组合资产豹风险概兄,并要开发出有关系统和风 险工鼠来执行所有风除管理功能。风险管理蚕员会一般由市场风险维、信用风险组、投程减鹅:亚洲涯券风燃矗控甍统设计与实现 瓷魑台风险壤帮晟陵基硪练稳绥等溷令枣缀缀或。 ?市燧风险组负责确定和识别公司各种业务需要承受的市场风险。并下设相对独 立妻孽定量枣缓专弱爱费建立、验泛秘运孬务秘矮来菠塞、模羧套静她务豹数学模型,嚣 时负赏确立漩视和控制公司各种风险模型的风险集中度和承受度 ?售髑最殓维受赛谬鑫公司臻蠢番潜在款令入枣】极麴客户匏缮用疫,势在公竭风 险髓视和度慧模型可承受风险的范围内决定公司信用风险的承受稷度。该缀需要审查和 煎援公司特定交易、投资缀台以及其缱信用风险的集中程度,著负爨审查攘周风险纳控 制流程,同时与公司业务部门一起管理和设法减轻公司的信用风险。该组通常稚有一个 特别的专家小组专门负责公司姿产确认积繁理在早期可能出现的信期问题。 ?投潞组台风险组具宵广泛的职责,包括通过公司范闺内重点事件的分祈谈公司 的市场风险、信用风险和运作风险肖机地结合起来统筹考虑,进行不同国家风险和定级 的评估等。该组一般设有一个流程风险小缀,集中执行公司范围肉风险流稷管理韵玻策。 ?风险基础结构组向公司风险管理委员会提供分析、技术和政策上的支持以确保 风除管理委灏会更好缝箍褫公司范溜内静帮场、绩爝和菠赘缰台风险。 除了以上有关风险管理组织外,遥有各种管制委员会制定政策、审甾和梭讨各 顼簸务戮确窳新盈务孝羹现蠢照务静裁薪蠢群不超爨公露豹甄陵容忍发。这魏委煲会~般 包括新产晶审查和梭讨委员会、信用政策娄员会、储备委员会、特别交易审奁检讨委员 会等等。 .会计聪险的防范与化解 建立适应中国证券市场特点的管瑶鳖会计新体系。在防范与亿解众疆会计风险 的过程中,要充分发挥会计的管理职能,切实运用现代管理会计的理论与方法,对证券 公蠲的韭务经营,符羽是对商风险经营觞照务,遗行全过稔的舔踪与益控,秘参与经 营决策。 疆翮;鬟幂改善金融会诗静蔫患揭示与援露系统。离开了来鑫公裁舂嚣耱参帮及瓣、 可靠、完整的会计信息,金融风险的防范与控制就根本无从谈起。为此,对来自证器公 司乡卜部缮磬肇位麴会讳整惑痘藏葵囊实毪、全嚣缓秘相关瞧提基梭逸要求。 逊?步改进金融会计制度。使之充分体现谨慎性会计原则。改进聚毗准备金计 鬟方法,爨莲诗撬淀缓,扩大诗撬菠溷,麓位菝锬窜援手续。 赭力构建全而有效的金融会计风险监督保障系统。金融会计风险的监督保障系 统疵包括事蘧、事中和事蕊整餐三令部分。事兹螫餐,主爱应包旗对金融融陵颈罄携标 休系的制砖与考核。事中般督,主隳应包括对证券公司稳健经营的动态监控。证游公司大连理工大学专业学位硕士学位论文 的决策部门应将上述反映金融风险的一系列指标,作为需要考核的责任指标落实到各有 关责任部门。会计部门要与其它职能部门一道建立起对金融风险实施动态监控的机制, 随时将来自各方面反映金融风险的各项指标与金融风险预警指标体系的警戒值相对比, 并及时向有关部门发出反馈信号,敦促并监督各有关部门及时采取修正措施,以确保经 营始终遵循稳健与安全的原则,尽量避免与减少金融风险所带来的损害。尊瘤监督、主 要应通过对原始凭证、记账凭证、:账簿和各种报表的检查分析,对证券公司稳健经营的 结果进行全面复审检查,考核各单位有关控制金融风验责任指标的执行情况 并针对存 在的问题提出整改建议与措施,以进一步防范金融风险。 努力实现从决策实施到管理监督的较为完善的金融风险监控机制。一要建立独 立的会计及核算体制。二要突出抓好内控机制中重要风险环节的控制,尤其要抓好风险 点韵风险控制,要遵循双人、双岗、双职的原财。同时,要针对各个风险控制点建立有 效的风险管理系统,通过风险识别、风险评估、风险分析、风险报告等措施 对会计风 险和经营风险进行全面防范和有效控制。 。 积极推行责任会计和广泛运用会计电算化核算系统。推行责任会计是防范金融 会计风险的有效手段,因为责任中心的划分符合风险控制的分散化原则,同时责、权、 利在小范围内的充分结合也有助于及时发现存在问题,有助于解决问题。但是,责任中 心所产生的大量凭证、报表如果没有计算机的协助,现有的会计人员无法在旧常核算工 作中兼顾责任会计工作。所以,要提供及时有效、全面、完整的会计信息,就必须建立 现代化的电算化会计核算系统,而且金融会计的电算化系统要由业务数据处理系统向业 务处理与管理型、决策型系统并重的系统发展,通过电算化会计核算系统的开发和运用, 完善现有的金融会计管理核算体系,不断促进会计核算水平和会计核算质嚣的提高,努 力实现防范与化解金融会计风险的技术进步。 . 数据库 . 的架构 物理结构 控制文件:包含维护和验证数据库完整性的必要信息、例如,控制文件用于识别数 据文件和重做臼志文件,一个数据库至少需要一个控制文件‘一。 数据文件:存储数据的文件。 重做日志文件:含对数据库所做的更改,这样万一出现故障可以启用数据恢复。 一个数据库至少需要两个重做日志文件。 参数文件:定义例程的特性,例如它包含调整中一些内存结构大小的程兴鹩:堑洲证券风睑薮控系统浚计姆实现 参数。 归档文件:是麓做臼志文件的脱机副本,这些剐本可能对于从介质失败申进行恢复 缀必要。 密码文件:认诞哪些丽户有权黻启动和关闭例程 逻辑结拘 表空间:是数攒库中的基本逻辑结构,~系刿数据文件的集合。 段:楚对象在数摆摩中占用的窆润 区:愚为数据一次性预留的一个较大的存储窑黼 块:最基本麴存储单位,在建立数攒庠麴时候指定 薛存分配 :是用于存储数据库信息的内存区,该信息为数据库进程所共享。宦包含 服务器的数据葙控潮信怠,它是在藏务器所驻餐的计算梳鹣实际内存中褥敷分 配,如果实际内存不够再徒虚拟内存中写。 :毽含辇令驻务器进程或荦令爱台遴程篱数器稀捺麓藩惑,与耍令滏程共享靛 正相反是只被~个进稷使用的区域,在创建进程时分配猩终止进程时 霾受。 后台进程 数据鹭进程:受责穆受羧鹣数据摄数擐库缓孛嚣毫逮缓赛霉入数蕹文镪。 日志筠进程:将重做朗志缓冲馘中的鼹改写入在线薰做日志文件。 系统蕊控:梭豢数摄瘁骢一致壤据有必要还会在数撂撵舞贾对癌,动数爨霉豹恢复。 进程氛控:负资在一个进程失败时清理资源。 检查点进程:负责在每当缓;孛嚣高速缓存孛豹煎改永久媲记录搓数据艨中黠,曼裁控 制文件和数据文件中的数据库状态信怠。 归档进程:程繇次丑态切按时恕已满的目志鳃迸行备份或归楼 服务进程:用户进程服务。 用户进程:在餐户端,负责将翅户的语句传递给服务进程,弗从服务器段拿 回森询数捺。 例稷:例程由内存结构和用于管理数掇岸韵后螽进程组成。 溺筏一次廷能打开鞫佼耀一个数摇霹。:系娥改变号,一个由系统内郝维护的序列号。当 系统需要凳耨静辩褛鸯动磺撩,撬跫系统中维耪数箨瓣一致毪帮黻牟莰复熬重要糠恚。大连理工大学专业学位硕士学位论文 .. 数据库优化 ’对于数据库的数据存取,主黉有四个不同的调整级剐,第一级调按怒操 作系统级包撼硬件平台,第二级调整是 级的调整,第三级是数据库设计 级的调整,鼹焉一个调箨级是缀。通常儆此圈缀调整级剐对数据库进行秽整、优化, 数据库的整体性能会褥到很大的改善。 幻数蘧痒优纯囱由结构 数据库的逻辑配鬣对数据库性能有很大的影响,为此,公司对表空间设计提 密了上耱惹德结梅。经丽这释结擒进行设计会太夫简纯物理设计中豹数撵管理。优 化自由结构,简单地讲就是在数据库中可以高效自由地分布逻辑数据对象.因此首先 簧对数据蓐中鹣逻辑对象摄箨德察静傻臻方式和锯璞结擒辩数据淳鹃影璃寒进行分凳, 这种分类包括将系统数据和用户数据分开、一般数据和索引数据分开、低活幼表和简活 动表分开等等。 :数据库逻辑设计的结果威当符合下面的准则:、把以间样方式使用的段类型存储 在一起:、按照标壤馊愿来设计系统:、冬在惩予铤羚夔分裹嚣域;、缀枣乏表空 间冲突;、将数据字典分离。 ‘充分利用系统全局区域 ,‘:数据库的心脏。用户的谶程对这个内存医发送事务,并凡以这里作 为高遮缓存渡取命中灼数摆,以实现加速的嚣匏。正确的太小对数据艨数性袋至 关重骚。包括以下几个部分:’?数据块缓冲隧 是中的一块意速缓存占整个数 据痒大小颤%%,用来存储从数掰库重读淑的数据块表、索引、簇等,因此采用 ,最近最少使用的方法进行空间管理。 ?字典缓冲区。该缓冲醒内静信息包捂用户账号数据、数据文件名、段名、盘区 位置、表说明和权限,它也采用方式管理。 ?重骰翮志缓冲区。该缓冲透像存为数据霹恢复过程中用予前滚操律。 ?.熬享池。保存执行计划和运行数据库的语句的语法分析树。也采用 舞法蓉毽。如采设置过,、,语句褥被连续不凝趣露装入秘库缓衽,彩璃系统往麓。 另外,还包括大池、池、多缓冲池。假是主要是由上顽‘种缓冲区构成。 对这些蠹雾缓簿蓬豹台理设鬟,霉爨太大热俊数撂奎逮速度,一令足够大豹 内存区霹黻 把绝大多数数据存储在内存中,只有那些不怎么频繁使用的数据,才从磁盘读取,这样 裁霹豉大大提裹走存送的愈中率。 规范与反规范设计数据库』兰兰 堕垩竺堕鲞墨堕堕塑墨堑垦堡兰兰坐 ‘、规范化 、、 范式怒符合某一级别的关系模式的集合,根据约束条件的同,一般勺 三种稿式。规范化理论是围绕这些范式而建立的。规范化的基本思想是逐步消除数 据依赖中不台适的部分,使模式中的各关系模式达到某种程度的分离”,;郅采用“一 事一地”的漠式设计原则,因此,所谓规范化实质上就是概念的单一化。数籍库中数据 规范化的优点是减少了数据冗余,,节约了存储空间,相应逻辑和物理的/次数减少, 同时加快罐、删、改的速度。但是一个完全规范化的设计并不总能生成最优的性能, 因为对数据库查询通常需要更多的连接操作,从而影响到查询的速度。故有时为了提高 某些查询或应用的性能而有意破坏规范规则,即反规范化。 ?厦规范化 反蛳范的必要性 是否趟范化的程度越高越好呢答案是否定的,应根据实际需要来决定,因为“分 离”越深,。生的关系越多,结构越复杂。关系越多,连接操作越频繁,而连接操作是 最费时间的在数据库设计中特别对以查询为主的数据库设计来说,频繁的连接会严重 影响查询速度。所以,在数据库的设计过程中有时故意保留非规范化约束,或者规范化 以后又反趣色,这样做通常是为了改进数据库的查询性能,加快数据库系统的响应速度。 反规范技术 在进行反规范设计之前,要充分考虑数据的存取需求,常用表的大小、特殊的计算、 数据的物理萍储等。常用的反规范技术有合理增加冗余列、派生列,或重新纽表几种。 反规范化的好处是降低连接操作的需求、降低外码和索引数目,减少表的个数,从而提 高查询速度这对于性能要求相对较高的数据库系统来说,能有效地改善系统的性能, 但相应的问题是可能影响数据的完整性,加快查询速度的同时降低修改速度。 ?数拓库设计中的优化策略 数据应当按两种类别进行组织:频繁访问的数据和频繁修改的数据。对于频繁访问 但是不频繁修改的数据,内部设计应当物理不规范化。对于频繁修改但并不频繁访问的 数据。.内部设计应当物理规范化。比较复杂的方法是将规范化的表作为逻辑数据库设计 的基础。然厨再根据整个应用系统的需要,物理地非规范化数据。规范与反规范都是建 立在实际的操作基础之上的约束,脱离了实际两者都没有意义。只有把两者合理地结合 在一起,才能相互补充,发挥各自的优点。 合理设计和管理表 ?利用表分区 分区将数据在物理上分隔开,不同分区的数据可以制定保存在处于不同磁盘上的数大连理工大学专业学位硕士学位谂文 据文件里。这样,当对这介表进行查询时,。只需要在表分区中进行扫描,?而不必进行 ,,全袭稿搐,明显缭短了查落对阉,另终娃予不同磁盘魏努嚣氇薅 孙 对这个表的数据传输分散在不同的磁盘”,一个精心设鼹的分区可以将数据传输对磁 纛/竞争逢匀壹敷分数牙。 ?避免出现行连接和行迁移 在建交表鞋,癌予参数港霹蚕燕礁憨设嚣,数掇块孛豹鼗据会滋瑗孬 链接和行迁移,也就是同~行的数据不保存在同一的数铡块中。如果在进行数据森洵时 遇到了这黪数据,那么是了读出这些鼗撵,磁头必须重鞭定位,这撵势必会大炎降低数 据库执行的速度。因此,‘在创建表时,就应该充分估计到将来可能出现的数据变化,正 确地设置这两个参数,尽囊减少数摄摩中如现行链接和子迂移。 ?控制碎片 碎片怒对一组邻接的数据库对象的撼述。碎嚣意味蛰在找行数据库 的功能时疆耗费额外的资源磁擞/磁盘驱动的循环延迟,动态扩展,链接的块等, 并浪费大鼹磁盘空间。当两个或多个数据对象在相同的表空间中,会发生区间交叉。在 动态增长中,对蒙酌区间之润不辩相互邻接。为了清除区间交叉将静态酌或强有小增长 的袭放置在一个袭空问中,而把幼态增长的对象分别放在各自的表空问中。在, 、:、 、 、 ;于,在子旬中的参数豹合理 设斌,可以减少碎片的产生。 ?爨名懿经嚣’ “ 别名熄大型数据库的应用技巧,;’就是袭名、列名在查询中以~个字母为别名,查询 速度要毙缒连接袭妖.僚。 ?叫滚段的蹙替使用 由于数提瘁懿萋对应孀表其蠢提对羚建夔数掇字典秘摄毫瓣攀务率黪杰。嚣鼹数据 库的系统索引段、数据段也具有相对静止,并发现在应用中最高的负荷是回滚段装空间。 撼圆滚段定义为交替零蠲,这捞裁这至《’歹锾环分懿事务对波魏匿滚段,霹以谴磁纛受薅 很均匀地分布。 索? 蛉优化设计 ?管程组织索引 一:索引可以大大加快数据库的瓷询速度,索引把表中魄逻辑值映射到安全蛉, 鬣此索弓驻进行快速定位数据的物理地址。但是有些发现,对一个大跫表建立的 索弓,并不能改善数据查询速度,:反两会影响整个数据库的性能。’这主要是‘鲫的 数锯管理为式有关。在避行数弦块高速缓存管理时,索弓数据比营嵇觳掘具有程兴鹏 亚讲证券风险监控系统设计与实现 更高的骆:’权限,在进行空间竞争时,会先侈出普通数据。对~, 珀索的 大型表船询时,索引数据可能会用完所有的数据块缓存空问,币;频繁地 进行磁盘戆写来获取数据,因此在对一个火型表进行分区之后,可以根据摆应的分区建 立分区索;。如果对这样大型表的数据查询比较频繁,或者干脆不建索引。另外, 创建索引对,应尽量保证该索引最可能地被用于子句中,如果对查询臾简单地制 定一个索毛‖并不一定会加快速度,因为索引必须指定一个适合所需的访问路径。 ?聚搂的使用 。提供了另一种方法来提高查询速度,就是聚簇,所谓聚簇,。简单 地说就是把几个表放在一起,按一定公共属性混合存放。聚簇根据共同码值将多个表的 数据存储在同一个块中,这时检索一组块就同时得到两个表的数据,这 样就可以减少需要存储的块,从而提高应用程序的性能。 。。。?优化设置的索引.就必须充分利用才能加快数据库访问速度。一。要使用一 个索引,肖一些最基本的条件:。子名中的这个字段,必须是复合索引的第一 个字段;:、、子名中的这个字段,不应该参与任何形式的计算。 刍和并行查询 方式的利用 .,?罄量利用多个处理器来执行事务处理和查询: 钧快速发展使得越来越重视对多的并行技术的应,,一个数据 库的访问:作可以用多个相互配合来完成,加上分布式计算已经相当普遍,只 要 可能,应?将数据库服务器和应用程序的请求分开,或将请求从一个服务器 移到另?寺服务器。对于多系统尽量采用 ,并行查询选项 方式进行敏据库操作。 ?使用 ,并行查询选择方式进行数据查询 使用.方式不仅可以在多个’间分配语句的请求处理,当所查询的数 据处于不阑的磁盘时,一个个独立的进程可以同时进行数据读取。 选项进行大量数据装载 。,?使用 使用该方法进行数据装载时,程序创建格式化数据块直接写入数据文件中,’ 不要求 数据库内眵的其他优。 实施系统资源管理分配计划 七提供了 ;数据库资源管理器来控制用 户的资源分配,可以用它分配用户类和作业类的系统资源百分比。在~一个 系统中,可给联机用户分配%的‘资源,’剩下的%留给批用户。,另外,还可以 进行的多级分配。除了进行资源分配外,还可以对资源用户组执行并大连理 工犬学专业学位硕士学位论文 行操作的浆制。 穆霞瑁最饶稳数摇痒遣接和优亿 ?使用直接的 数据库连接方式 逶遘霹敬锾露两秘方式连接数据痒,一穗楚转统静方式,一。翻,是 方式.是建立在技术上的,为了支持,必须建立相应:;勺 到憋调翅转羧,纛毽薅壹接弱 方式劐不需转换,获甭提裹鲶莲速度。 机制 ?,使用 在数援簿筵理中,资源藐销最大麴是建立数据瘁连接,露显援户透会鸯嚏拿 较长豹 对 连接等待列‘问。解决的办法就是复用现有的,也就是使用 象虮测。。 , 的原理照:体系巾维持了一个连接缓冲池,这群’,当下一 夸用户访淄瓣,妻接谯连接缓冲池中取褥一个数据艨连接,不嚣羹叛连接数 糖库,因 此可以大太热提高系统的响应速度。 ?醢效地进幸于语匈设计 通常青况下,可以采用下面的方法优他对数据搡侔的表现: 一减少对数据库的套询次数,即减少对系统资源的请求,使用快照祁显形翊等分枢式 数据簿对象掰戳减少对数据簿酌查询次数。 尽量使用相同的戚非常类似的语旬进行查询,这样不仅充分利用共事池 中鹣穗经势轿豹语法挺,要赢询蘸数据在中命中酌可熊经氇会大大增翔。 限制々态的使用,缀然动态很好用,但是即使在按享池中有一个完 垒鞠阋敷妻淘毽,动态氇会重薪进行语法分褥。 避免不带任何条件的语句的执行。没有任何条件的语句在执行时,通常 要送行? ,数据瘁先定位~令数据块,然矮按蔟黟簸次鸯我其它数撵,惫等.大型袋这 将是~个漫长的过程。 熟粟黠露些表中豹数撵蠢约寒,簸努在缝表熬语句瑁搂述完整槛寒实现,瑟 不是程序中实现。 。珂鞋逶童取淡爨凌提交模式,将诱匈汇黛一缍羧簿嚣集中提交,‘磷亭透霹隘 通过驻式地用和进于提交和回滚该事务。 检索超黢数据聪费时很长,设妻行预取数则能改善系统麴工终袭现,援爨一令最大 值,当语句返阐行超过该值,数值库暂时停止执行,除非用户发出新纳指令,开 始组织芳显示数据,蕊不是让用户继续等待。 充分利用数榴的后台处理方褰减少网络流鞋程兴鹅:驻潮证券蕊除监控系统设等实瑰 ?台遴舒建晒时表或视图 所谓创建临时表或视图,就是根据需要在数据库基础上创建新表或视图,对于多表 哭联后褥罄,萄信息舱可建新表,对予革袭套询酮可铷建视瀚一这样可充分稍耀数掇库鲍 容潋大、可扩充性强等特点,所有条件的判断、数值计算统计均可在数据库服务器后台 统一处罐薅这自到狳对表中,形成数据结果静遗翟可瑁数糖痒瀚遗程或函数亲实境。 ,?激.瘁掌打包技术的充分湔掰 秘鼹挚譬瘁擒述语言编写数掇痒静过疆或萄羧,然后撼过耩藏蘧数努藏《在数裙淳 箍台统一芝雹鞠。 ?数拐复利、挟照、褫图,遣程遗程调蹋技零戆运臻 数攥美潮,鞠将数据一次复蓊霭到本穗,这榉戳嚣靛套诲就便爝本毙数擦,澄怒哭遥 食瓣些变霓::大憋数据。锼瘸欹照也可以穗分农式数摄簿之间动悫复割数摄;宠义挟照 懿囊动捌灏髓阗藏手王烈裁,戥绦涯数箨懿弓鼹参爨竞整链。落麓涎程过程瞧会大大减 少因频煞蛾语句调用丽带米的网络媚按。 总之:赝蠢的性越润题,没蠢一个绞一鹣辩决方法,毽提蒜了事蜜鹦 选择环境”.池从。数据麾的体系结构、、软件结构、模式对象以及其溶的业务 和技术实竣强发,进圣于缆筹考虑。提高慈绕性黢鬻要一秘系统约整体的方法,在对数莪 库进行优化汁,应对应用程序、/予系统和操作系统进行相应的优,、优化是 肖强的地受改系统的一个或多个组件,使其满足一个或多个目标晌过程。对矗,来说, 优化是进行停目的的调整组件级以改善性能,即增加吞吐墩,减少响应时问。始聚 隧驭上述丸:方面综合考穗优乞方案,桶信多数应嗣可以骰垂?按譬。的方式 束襻取数撬, 。 简介 ,鼹一个骶放螅、基于檬凇的开发和粼爱戆平套,髑予梅建盛的、基于 蟾、.务漾诗算为投心的、模块搬:麴企数疲臻。月瓣瞧是酝鸯簸套檬 凇的应用艘努器产;铺的统一标识。公司领导管靓范和标准的制定、勰周肘很 多公司如.、也为该标准黪划定荧献了缀多力量,鹱阻每一个骞嫂菠敦攘 ,都体聪稳‘整个业界对技术的热网认同。大家都遵守麓在标准上进行含作,在产品 上避于竞争”数蹶则,从蔼使在技拳嫂蔼上嗣臻宠善和进步,同时又害番厂家 实 现.舰箍的他用服务器产品在市场上推出。在性能上、价格上压相竞争,为最终用 户提供多样他的选铎。 技术魁在的蘩础之一二,提供了企业计算所必须的服务如事务、蜜全性、大连理工大学专蚊学位硕士学位论文 游息服务等。警台提供运褥鲢环境的标准珐戆,始重跨平台开发的支持秘内 存管理等。应用的组件如企业、和运行予释器 之中。通过连接器访闯企业信息系统,如数据库系绫、系统帮其他应鼹程序系统。 应用以集成~系列的客户端,包括独立运行的台式嚣户端、无线客户端,以及 基予如浏览器的嚣户端等。平台为搿发企煦应用提供了高憾能、商可靠性和可 。’ 伸缩性的运行支撑环境。? 提供了一个多层的端到端的应用系统架构。在客户端层,多种客户端可邋过 多种不藏豹协议来访蠲串闽罄豹藏疆激务,在设谛董篷&阉豹辩候,蕾兔需要选辑静 就是客户端的类型,殿根据用户的使用模式及应用环境的特点来选撵遥合的崭户 滚类鏊窥遗倍秘议,如 客户墙潦台予餐窳韵淘澎甭 客户臻帮 户界面,如大量的数据录入、数据统计等应用,能满足高效的用户交豆需求一 根据舆体 瘦焉繇凌赘苓霜,《选择“或等遴嵇蓊滚。 在中问艨,主要包括服务器和应用服务器。在实际部署时。它们可以运行于 摹一戆箴多令凌理警?上。获霉靠经秘霹枣缝瞧考惑。瘦该采霜多令鞭务器 帮应 用服务器。服务器接受从客户端发来的请求,通过和技术动态生成响 应憋内容,辨或《戳接蓑澳震运簿予应焉服务器嚣疆容嚣中缒金娥, 进彳予相应的渡务处理和运算。而中间层通过标准的协议访问众业信息系统 层米读取数据 和调鼹服务。 总之,为我们提供了一个建立在开放和标准的技术之上、非常灵活的端别端 的多层体系架擒,从蕊满足套种不蹲企业应用的需求。 . .筒介 露爱手在艨务器上生袋凌驻 是建立在公笑语言运褥瘴上豹编程程絮, 强大的应用稷序。与以前的开发模型相比,提供了数个重要的优 纛: 增强的健能。是在服务器上运行的编译好的公共语言运行库代码。嚣被 舞释瓣蔻辇不嗣,.霹刭爰攀翅缵定、实瓣编译、零极优饯鼹鑫乡缓存毅务。 这相当于在编写代码行之前便显著提高了性能。 集成开发嚣境孛熬犬爨工 世要级瓣互具支持。壤架蛰炎了 具箱和设计糈。编辑、拖放服务器控件和自动部署只怒这个强大的工飘所 提供功驻中的少数几种。 威力和烫活性。由于基于公共语言谗行库,因此应用程序开发入程兴瓣;亚溅涟券风羧监控系绫设计与窭瑷 受蜀激羁羯蹩夸平念懿藏力耧灵活攮。,蕊框蔡黉瘁、瀵怒处毽鞫数螽谤润释凌方案 都可从无缝访问。.也与语言溅关,所以可以惫择最适合应用程序的语言, 或跨多耱语熹势割皮嗣程露。舅癸,公共溪客运行津懿交要往爨疆在迁移戮. 时保留基于的开发中的现有投资。 筵易矬。.使捷货誊霓经务交褥容易,皱楚擎黥密体提交襄客户端身铃验 证到部署和站点配徵。例如,.页框架使您可以生成将应用程序逻辑与表承代 码滂楚分开嬲熙户赛蘧,翻凝类矬的麓单髫体处理模型中处理攀牛。另外, 公熬语言运行库利用托管代码服务如自动弓用计数和垃蔽回收简化了开发。 可管理性。.采用基予文本豹分层配鬣系统,简化了将设置应用于服务器 环境和应用稷序。由予配置僚怠是阻缝文本形式存储的,霞诧可以在没有本地管 理工具脊助的情况下应用新设置。此“零本地管理”镡学也扩展到了.,框架应 用稔序的部瓣。只需将必要的文件鬟帝蜀服务虢帮可将框柒瘦糯程序部署 到服务器。不需要羹新启动服务器,即使是往部署或替换远行的编译代码时。 萄缩放往和可褥经。.在设计盼考瘗霹缩敖经,增鸯籍了专门糟予奁聚集 环境和多处理器环境中提高性能的功能。另外。进程受到运行摩的密切脏视 帮喾淫,鼓便当遗稷行为不燕露,瀵瀑、廷镞》辩,霹藏逡翻建薪避程,教帮蘩僚戆窿 用獠序始终可用于处理请求。 鑫定义健耧扩溪毪。潞醚鬻了~个设计瘸骛戆缝稳,它使嚣发入爨霉羰在 适当的级别“插入”代码。实际上,可以用:自己编写的自定义组件扩展或替换 运移痒懿矮嚣予缝羚。实瑗囊定义隽给验诿或状态辍务一袁没毒交褥更容荔。 安全性。借助内置的身份验证和基于每个应用程序的配置,可以保诞应 鬟援詹是安全熬。大连理工大学专盐学位硕士学位论文 需求分析 .公司现状 公司慧帮帮营鼗部透过专震线爨数字线鼹亘联程一起,务营攮郄毒独立豹 资焱服务器,通过卫星设备和总部出口分别与交易所连接,进行报缴和清算等业务。所 鸯毂交易数据均存放在营业郏。由于总郏没窍交易数据,炙法及对、准确黥螽询、统计 交易情况,焉别提谶行有效的监控和风险管理了。辩加上公司发展历史和提供商的 惯性譬客观因素,使褥证券公司在建设信息系统时没蠢考虑瓣众多的应震系 绫有一个统 一的规划、设计,常出现以下主要阀题: 公词的客户相关资料不一致 公司的经纪入、客户经瑷、客户服务入员及公镯的管理、稽核、理财、投行等娃务 部门的工作人员均在不周角度使用、维护公司的客户相关资料。目前客户信息、交易数 据、营销记慕,个穗伍藏务霈求、撩务交互簿数据努布在不闷韭务穰惠系统中疆理各 系统之间异构、多种权限控制,几乎无法整合,可想而知这魑业务系统的效果、效能如 镑,公司级熬基稿数据来源嶷实、辩效性将蠢麸谈趣。 多次采集、处理客户交易数据 公司在还没寒及援刘雩毒况下,痤篷务帮门需要先瑶实施慧藩垒鼗缀静 系统、经纪人管理系统、总部监控稽核系统、应用系统、主动服务系统 等,这些系绞是峦不霹豹秀发囊承建,它餐帮霭要骞户瓣交曩鼗撂。最嚣煞镶聚是,该 公司存在多个针对柜台交易系统的数据采集程序,不但维护圈难,雨且导致资源重复投 入,甚至客户熬财塞数据综会竣炎擐薤、成本等予姿蕾态。 多角度、多层次利用业务数据和客户相关资料数据 公司麴风控体系中豹业务实时靛控、穰核窜计、经纪人渡务监控、客户投资 行必监 控、窖户服务营销、投行、瑗财等都需要基予客户蘩础的资料数据,均需要基于客户基 础资料数据,均会从不同焦度使用巍配的客户持仓、金融产晶研究及其相关市场、财务 等信息服务支持,这撩多角发、多层次的业务数据和客户相关资料应瘸还是在各自为阵, 所以舞;要基予开放的技术架构进行备领域业务数据、客户相关资料数据整合。 因此,公司目前追切需瓣一个务实、切实可行鹩解决方案,实璃满足面向客户集中 管理、营销服务支持、客户交互、业务分析统计、风险控制管理的绕一规划,可分基础 主题、各监务领域主题逐多实现匏总都藏险驻控系统。程兴鹏:亚洲证券风险监控系统设计与实现 数据采集的性能要求 数据必须完整全面 采集数据源包括交易系统数据、银证通系统、财务系统、预算管理系统、法人清算 系统、交易所相关数据、银行接口等数据源。交易系统数据的采集必须包含柜台系统的 全部业务数据,并可灵活配置和调整数据采集范围:财务、清算等数据的采集 范围可根 据业务需求的增加在不修改程序的基础上加以扩展“。 数据结构必须尽可能的保持与数据源的一致性 原始数据层的数据结构设计必须尽可能的保持柜台系统等业务数据的原始状态,以 利于后续应用的扩展。在中心数据库中保留营业部原始数据供查询用。 数据传送过程中的完熬性检验 保证采集到总部的数据真实完整,最重要的是在采集过程中数据的提交确认要有一 套完整的数据核对机制,保证采集数据不遗漏、不重复。 数据采集必须实现与数据源的无关性 、以及、 数据采集脚本可以灵活配置适应不同的数据源如 等文件。技术人员通过简单的配置即可实现对多种数据源的采集。 数据采集支持营业部不同的柜台版本 数据采集程序必须做到业务无关性,即不论何种柜台版本数据采集程序是相同的, 只是针对不同的版本运行不同的采集脚本。 对通讯平台的要求 系统可以采用自主开发的专用通讯平台,可以从/协议层对通讯传输进行控 制;能提供基本的数据加密、压缩等功能,并具有很高的效率和安全性并提供的负载均 衡和容错能力;可实现多台中间件的集中远程监控管理,具有完备的日志记录,包括客 户端访问情况、错误日志等。 数据采集必须有较高的自动化程度和较高的效率 数据采集必须有较高的自动化程度,正常情况下应能做到小时无人值守,在 出现重要错误时要给出较为明显的声音图像报警信息。数据采集的效率性主要体现在时 延上,营业部的数据能在最短的时间内写入到总部数据库中。 数据采集不能对原业务系统有性能负面影响 数据采集不能对证券公司的交易系统产生负面影响,在保证数据实时性的同时不能 影响交易系统的正常运行。在所有的数据采集过程中不影响原有系统。 数据采集程序具有自动重连和断点续传功能 在数据传输过程中,因各种电源、网络原因暂时中断连接而后又恢复正常的情况下,大连理工大学专业学位硕士学位论文 数据采集程序应能自动重新连接功能,使系统正常运行。同时,采集程序应有断点信息, 断点续传后能保证数据的完整性和避免采集数据的重复。 数据传输必须压缩加密 在数据盼传输过程中,对数据进行压缩加密,从而降低网络负荷和提高数据安全性。 有较为完善的历史数据补齐功能 异常情况下需要重新采集历史数据,历史数据的采集应该由总部发指令。 完善的数据采集集中监控管理要求 通过直观的图形界面就能监控系统目前的运行状况,管理系统运行。 采集机制必须有故障自动报警和完整的日志记录 采集系统能在营业部和总部实时实现采集程序的故障自动报警功能,还要营 业部和 总部都应有完整的数据采集日志记录,便于发现问题和解决问题。 具备营业部采集及通讯程序的集中管理功能 总部可以实时监控各营业部采集程序、通讯程序的版本、参数设置、运行状 态等信 息,可以实现对营业部采集任务的集中管理和实时调度。 在线升级方式的实现 营业部数据采集程序要支持总部端统一自动升级和维护。 .应用系统性能指标 当前查询要求:秒 历史查询要求:秒 统计要求:秒 分析要求:秒 日终处理程序:小时视实际数据量大小 .安全性 系统中保存有客户的各种资料,尤其是交易资料,还包含经纪人的重要信息, 通过 方式对外发布,因此系统的安全性非常重要。系统安全方面包括网络、应用、运营 : 等方面内容,在本设计中重点描述的是应用系统的安全性,表现在以下方面‘, 用户识别 用户在前台界面必须键入其用户名以及口令来证明其是否是合法的用户,只有合法 的用户才能登录到应用系统。传送的敏感信息必须进行可靠的加密。系统必须能够对本 系统内和客户和操作员进行完善的监控和管理。系统必须正确识别投资者的身份,防止程兴鹏:亚洲证券风险监控系统设计与实现 仿冒;必须具备防止事后否认的功能。 多级权限控制 系统有很多的功能模块组成,即使对合法用户,也不能操作所有的模块,而是根据 用户的角色授予相应的功能模块访问权限;对同样的数据可以设置不同的操作权限:查 询权限、数据维护权限。 数据维护 对数据进行严格的合理性校验,提高原始数据的可靠性:通过数据库本身的机制以 及程序中的控制来保证数据的完整性和~致性; 数据备份和恢复 设计的系统应具备完善的安全体系结构和完整的数据备份及故障恢复手段,必须确 保客户数据的安全、完整与准确,客户交易数据将至少保存年。系统要提供完备的数 据备份和恢复策略,以保证在主机或数据库发生故障时,数据损失的最少。定期对数据 进行数据备份,以保证数据的安全。在数据库发生崩溃的时候可以进行数据恢复。 日志管理 系统日志管理,操作日志管理等。日志管理跟踪记录用户登录系统的信息,操作的 业务模块以及操作的重要库表的信息,包括用户名称、操作的模块,对重要库表的操作 类型增、删、改、字段操作前和操作后的数值等,通过目志管理,在发生误操作对 可以方便的进行回退处理,而且也可以跟踪一些业务操作员的违规操作。 .系统易维护 系统应为维护人员提供良好的维护性能,尽量设置更多的参数配置供业务人员自己 修改:尽量把程序做到自动化,减少人工操作。 .强壮性 由于本系统的具有经纪人佣金、风险金、财务、实时交易等账户数据,任何失误都 可能造成极其重大的后果如整个数据库发生数据丢失故障,则整个经纪人帐务记录将 毁于一旦。所以要求整个系统长期可靠的远行,满足的工作时间要求。 可扩充性、开放性 能够满足总部稽核、实时监控、业务数据查询以及今后不断变化的要求。 整个系统应易于扩充,以满足今后不断增加的业务需求和可能出现的较大任务负 载,本系统的可扩充性描述如下: 数据库服务器也可向双机冷备份、热备份扩充,通过增机系统备份软件与数据大连理工大学专业学位硕士学位论文 库来实现。 数据库可根据各种主题可分布部署于不同的数据库服务器。 数据采集必须采用模块组件化实现不同数据源包含多种版本的交易系统数据 采集。 与外围系统交易系统、网站、信息平台等的接口,保留一定的可扩充预备, 以满足在新增业务时,保证系统大的技术结构、数据库结构基本不变。 .投资保护 在保证系统能够安全、可靠运行的前提下,应该最大限度地降低系统造价, 保护原 有的计算机设备及应用系统投资。例如,在平台系统建设过程中,考虑到计算机与网络 技术的发展是非常迅速的,通常不可能选择一种永远不过时的计算机产品及网络技术。 所以在构造本系统时,应该将投资与目前的应用紧密结合起来,并保留向更高的技术过 渡的途径,将来营销类服务人员工作平台、客户经理工作平台、风险控制系统、经纪人 工作平台等更多系统将最大程度复用此风险监控系统、技术框架、数据采集、服 务器的投资。 一应用系统部署、界面需求 各应用系统应易于部署和维护; 快速准确的查询功能; 界面友好,操作简便、灵活; 对预警项目可采用声音、图象方式报警; 对数据的汇总和比较分析应具有多种显示方式,如表格、柱状图、折线图、饼 图等; 将数据分析结果加以分类保留,并要方便日后查询。 记录操作人员的信息,记录操作人员操作的内容,对审核过的数据进行标记, 统计未审数据。 .应用系统监控、统计、分析功能需求 包括盘中监控、盘后监控及查询、经营分析和相应的系统管理功能。 盘中监控应能够在交易时间随时掌握下属营业部的交易、资产、帐户和员工等 的信息。要求信息传递及时、准确,能够对下属营业部的柜台数据进行实时查询,能够 根据我们的需要通过预先设定的条件对异常情况进行报警。监控范围包括交易、帐户、 资金、资产、权限等。 程兴鹏:亚洲证券风险监控系统设计与实现 盘后监控及查询力求在充分利用现有数据的基础上,提供全面、准确的信息。 可以进行实时查询和历史查询:可以对某个、菜类客户或某个营业部进行各类查询,具 备数据汇总、统计排行和绘制图表等功能。 经营分析应可以全面、系统的对公司及各营业部经营情况进行统计、分析、比 较。应具备横向和纵向比较功能,可以进行趋势分析,可以通过各类数据进行分析,并 能产生相应的图表。 具有强大的管理功能,应该包括系统参数管理、操作员权限管理、数据管理、 操作日志。 后台业务处理要考虑高度的并发性,以保障系统的响应时间;前台展示界面主 要采用,为提高性能和保障安全,某些提供给信息技术人员使用的系统管理界 面可以使用专用界面。大连理工大学专业学位硕士学位论文 系统总体设计 .系统