网络项目割接方案V(2)

中烟集团数据中心网络项目割接华为技术服务有限公司HuaweiTechnologiesCo.,Ltd.2017年6月文档名称中烟集团数据中心网络项目设备割接方案文档类别技术文档■    文档□    培训文档□    运维文档□项目文档□    服务文档□    其他  □当前版本1.1创建日期2017.6.7文档主送部门中烟集团数据中心文档作者联系方式修订记录修改记录日期修改人审阅人摘要V1.02017.6.1建立文档V1.12017.6.8建立文档第一章　割接说明1.1总体说明1.2人员安排1.3物料备件准备1.4组网结构1.4.1割接前组网结构1.4.2割接后组网结构第二章割接规划2.1设备端口规划2.2设备标签以及描述第三章割接步骤3.1离线测试3.2运行情况信息收集3.3备份数据3.4割接动作第四章测试验证4.1测试验证内容4.1.1设备状态检查第五章回退机制5.1故障判断5.2紧急回退第六章风险评估6.1风险评估第七章守局方案1、守局目的：2、职守方式3、#管理#4、守局值班安排第八章配置模板第一章　割接说明一.1总体说明建设单位集团施工单位华为技术有限公司、北京银信长远科技股份有限公司割接局点中烟集团数据中心网络和营销中心涉及设备及版本号CE12804V200R001USG6600V500R001CE6851 V200R001割接及测试时间段2017-6-1708:00至2017-6-1813:00回退时间段13:00-21:00升级/割接简述：本次设备替换为,我司的CE12804替换现网的CiscoCatalyst6509设备，USG6600替换现网的juniper设备。对原有硬件设备进行替换，涉及业务改变，原来的OTV将采用VXALN技术替代，其它配置原则上采用原有配置,接口地址有部分改变，由于设备软件版本不同命令会有变化，不对网络结构以及流量走向做改变。升级/割接影响：✧此次操作将会影中断网络约2天。一.2人员安排客户配合人员：小组编号割接人员单位联系电话123华为公司人员：小组编号割接人员施工单位联系电话1234北京银信人员：小组编号割接人员施工单位联系电话1234其它人员：小组编号割接人员施工单位联系电话12245678后端保障人员小组编号保障人员施工单位联系电话123一.3物料备件准备物料名称数量提供方备注（物料Bom编码）光纤跳线若干条客户需要根据现场机房情况确定（单模/多模/长度/接口类型）光功率计1客户/集成商备用光模块10客户使用本期采购未使用模块备用网线若干客户/集成商原有网线长度不够或失效情况下使用线缆标签若干集成商一.4组网结构一.4.1割接前组网结构•原中烟数据中心和营销中心现有核心交换机CiscoCatalyst6509和广域网路由器Cisco7606已运行多年，系统容量不足、故障率升高。组网如下图：一.4.2割接后组网结构核心区两台CE12804（数据中心级交换机）横向堆叠成一台设备，然后虚拟成两台VS，数据中心VS与园区网VS与数据中心中间通过两台USG6650互联，中间USG6650防火墙进行安全控制，USG6650防火墙双机热备；数据中心VS设备通过波分链路与CE6851对接，实现VXLAN的分步式网关。园区网部署一个VS作为汇聚交换机，与互联网USG6650互联，提供安全控制。割接后组网图如下：1、数据中心组网图：VXLAN设计图：第二章割接规划VLAN，策略等沿用原有数据不做新规划，IP设备端口互联用原有互联地址，根据网络拓扑做部分规划，具体见附件：中烟集团数据中心网络和营销中心网络项目LLD1.3。二.1设备端口规划具体接口连接根据中烟集团数据中心网络和营销中心网络项目LLD1.3，现场配置再做具体调整；二.2设备标签以及描述设备标签根据现有条件制定例如：线缆标签模板：例如：第三章割接步骤三.1离线测试在割接前对可预料的风险进行了离线测试，在割接前做好了充足准备规避相关风险，在未通过以下测试情况下不进行割接：1，验证Cisco4506千兆光口与CE12800千兆光口对接是否成功。2，CE12800设备多模万兆单板千兆模块与USG6650多模千兆光口对接是否成功。3，验证万兆模块在千兆多模/多模链路运行情况。4，接口地址对应是否正确。5，板卡热插拔，电源模块热插拔。6，VXLAN分步式网关测试，倒换测试，检查测试是否正常。7，Cisco4506生成树与华为生成树协议对接。三.2运行情况信息收集1,收集现网C6509C4506 juniperC7606ASA5580配置2，接口状态3，ARP表，MAC表，路由表三.3备份数据保存现网设备配置至计算机。三.4割接人员分组及安排由于割接工作跨越了两个机房，需要安排两组人员在两个机房实施，三.5割接动作序号时间实施内容操作步骤预期结果、检查方法人员安排1割接前一周割接前准备工作1、设备安装、调试。2、线路铺设，完成本部与卷烟厂机房的线路布放，并且在割接前一周确认需要布放的线缆无误。1.1割接前一周光纤跳线铺设，线缆做好标签，设备脚本导入加电待命。1、检查设备配置，确认配置无误。2、将需要替换的光纤跳线铺设至相应机柜，割接线缆做好标签。细化网线和尾纤的标记方法：网线在配线架侧均做好标签，光纤在主机侧做好标签且要与需要割接的光纤的绑在一起，方便万一回滚。1.2割接前一周CE12804、CE6851、防火墙、各接入交换机联通，设备状态正常1、设备安装，线路连接。需要在割接确认完全无任何问题，例如OSPF，BGP等。2、波分设备安装配置完成，且完成与卷烟厂机房对接完成。3、光纤交换机需放线至新的OSN1800(待完成)EMC人员负责成功/PING通对端设备，OSPF、BGP邻居关系正常。（华为）208:00-09:30Vxlan割接完成，集成商、华为、数据库/主机人员2.108:00-08：10C6509,N7000互联端口shutdown,不下电。将C6509,N7000互联端口shutdown。2.208:10-08：30CE6851、N5548对接，N5000二层、生成树数据配置更改。完成CE6851、N5548线路对接，将新布线接至N5000，生成树状态检测2.308:30-09：00Vxlan调通后，安排一组ORACLERAC/DB2群集，首先联机进行测试，测试内容包括系统状态和切换措施，确认RAC及群集可正常工作(在此之后需把网口速率升成10GE)OracleRAC、HA环境接入1、Vxlan联通后,将网口连至新装交换机，oracle工程师确认RAC集群状态及业务是否正常。2、确认业务正常后，需要把IBMP750网口速率升成10GE2.409:00-09:30ORACLERAC/DB2群集业务观察，测试结果确认OracleRAC、HA环境测试。2.5视情况处理问题，时间不超过2小时如第2.4步测试业务不正常，进行问题排查。对数据进行对比，路由、MAC、ARP表项查看。2.6如不能排除，将进行回退，后面步骤不再执行建议在配置更改时不做保存，等业务正常后保存，便于回退2.7回退测试2.8割接终止39:30-11：30服务器迁移部分服务器把网卡升至10GE1、部分服务器把网卡升至10GE,需厂家和集成商完成配置,更换光模块，修改服务器配置。3.19:30-10:30线缆迁移，服务器接入。1、数据中心，服务器接至接入交换机上。PC-SERVER在配线架侧依次跳线。2、小型机需要主机侧完成换线操作，有些小型机运行双机业务，需维保厂家在完成换线操作后确认主机状态。3.29:30-11:00业务观察，测试结果确认检查各项业务的运行情况。3.3视情况处理问题，时间为1小时如第3.2步中ERP、SEM或有超过30台服务器测试业务不正常，进行问题排查。对数据进行对比，路由、MAC、ARP表项查看。3.4如不能排除，将进行回退，后面步骤不再执行建议在配置更改时不做保存，等业务正常后保存，便于回退3.5回退测试3.6割接终止410:00-12：00互联网割接完成（深信服,集成商、华为）10:00-10:30互联网设备线路连接完成USG6650、AD4000、Cisco3560连线与配置成功/PING通对端设备，OSPF、邻居关系正常。（深信服,集成商、华为）10:30-11:00AD4000配置将原有ISG1000的PAT/NAT配置转移到AD4000（周末做好配置，不启用）深信服11:00-12:00互联网业务测试（各业务测试人员）3.4如互联网业务测试不通过,预计在1个小时内不能排除，将进行互联网割接项目的单独回退建议在配置更改时不做保存，等业务正常后保存，便于回退成功/PING通对端设备，OSPF、BGP邻居关系正常。（华为、集成商）3.5回退测试回退后，业务检查（各业务测试人员）512:30-14:00广域网割接5.112:30-13:00进行广域网USG6650，广域网设备的割接。将新布线接至CE12804，Cisco7606成功/PING通对端设备，OSPF、邻居关系正常。（C7606）人员安排、华为）5.213:00-13:30网络测试测试广域网链路，检查邻居关系和链路。华为、集成商、各卷烟厂网络管理人员5.313:00-14:00业务测试检查各项业务的运行情况。（各业务测试人员）5.4视情况处理问题，时间为1小时如第12步测试业务不正常，进行问题排查。对数据进行对比，路由、MAC、ARP表项查看。是否能解决5.5如不能排除，将进行回退，后面步骤不在执行建议在配置更改时不做做存，等业务正常后保存，便于回退回退后，业务检查（各业务测试人员）614:00-园区网割接6.114:00-14:30园区网设备联线与配置楼层接入交换机、CE12804、无线控制器联线华为、集成商6.214:30-15:00园区网网络测试测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访联网访问园区网与数据中心华为、集成商、客户安排人员测试6.315:00-16:00园区网业务测试检查各项业务的运行情况。成功（各测试人员）6.4视情况处理问题，时间为1小时对数据进行对比，路由、MAC、ARP表项查看。是否能解决6.5建议在配置更改时不做做存，等业务正常后保存，便于回退回退后，业务检查（各业务测试人员）716:00-17:00对各业务观察，再次确认业务是否正常所有测试结果用表格形势反馈割接完成割接时间窗为2017-6-1708:00到2017-06-1817：00，保留序号1-7进行,具体时间根据现场情况作调整。其中分别为VxLan、服务器、互联网、广域网、园区网各保留2小时、1小时、1小时、1小时、1小时排故时间，总计保留6个小时的排故时间，因此，本次实施原则上断网时间为D日上午8点至D1日1点，D1日1点至17：00为意外应急时间。第四章测试验证四.1测试验证内容目前了解的有数据业务，广域网接入业务等。序号测试项目操作及预期备注1互联网业务互联网正常访问各大网站，收发邮件，登陆各业务系统办公，测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访2数据业务数据中心VXLAN正常访问，断开主链路后，VXLAN业务是否正常切换开会时选择3-4个应用3广域网接入业务PING通对端网关IP。4视频会议业务实际使用视频会议系统，图形无卡顿乱码，语音清晰。5Vxlan业务ORACLERAC/DB2群集，联机进行测试，测试内容包括系统状态和切换措施，确认RAC及群集可正常工作四.1.1设备状态检查1，设备CPU占用率/内存占用率2，接口错包统计，接口UP，MAC表，ARP、对比路由表与割接前收集数据对比。接口错包统计:displaythisinterfacebrief在链路端口下查看端口状态是否UP：displaythisinterface查看接口下MAC地址学习情况:displaymac-address查看接口下ARP表项:displayarp对比路由表:disiproute-table第五章回退机制为防止割接过程中出现不可预料的异常，我们制定了相应的回退机制。针对割接时间窗内操作预期可能存在的风险项定义应对方案。如果出现以下情况在预定时间窗内不能恢复，则进行回退操作。变更失败定义:1，波分链路、以太网链路无法UP。2，各路由协议状态不正常。3，验证测试不通过。4，所带业务出现中断或者时延较大，在60分钟之内如不能恢复正常。5、割接计划中说明的其他事项五.1故障判断故障情况操作步骤预期结果、检查方法波分链路、以太网链路无法UP检查链路光功率，端口协商状态，更换模块。检查网线连通性，更换网线。时间窗内排除直接回退。业务恢复/回退路由协议不正常检查配置，根据状态信息排查。时间窗内排除直接回退。业务恢复/回退出现单个电源模块失效、主控板、业务板失效。单模块运行，在24小时内更换。时间窗内排除直接回退。业务恢复/回退业务出现中断或者时延较大时间窗内排除直接回退。业务恢复/回退VXLAN对接不成功检查配置，根据状态信息排查。时间窗内排除直接回退。业务恢复/回退VXLAN对接成功ORACLERAC/DB2群集，首先联机进行测试，测试内容包括系统状态和切换措施，确认RAC及群集可正常工作业务恢复/回退互联网USG6650割接测试WLAN业务正常上网，出口业务访问与园区网与数据中心的互访联网访问园区网与数据中心，时间窗内排除直接回退。业务恢复/回退广域网设备的割接。测试广域网业务，测试不成功，时间窗内排除直接回退。业务恢复/回退五.2紧急回退具体回退步骤：1，线缆拆除，恢复原有设备线缆连接。2，原设备互联端口打开。五.3应急计划：广域网、园区网割接时出现以下情况且无法在1个小时内解决，将考虑进行应急：1、多个广域网节点无法接入2、园区网接入交换机出现故障，导致多个楼层无法连接网络3、WLAN系统失效，wifi用户无法连入4、出现设备不稳定或用户访问系统速度慢的问题5、其他尚未预见的问题主要措施：1、系统暂时放弃主备架构，修改为单设备或单线路运行2、安排在周日进行单项故障排查第六章风险评估在第三章-离线测试部分在割接前对可预料的风险进行了离线测试，在割接前做好了充足准备规避相关风险，在未通过测试情况下不进行割接。六.1风险评估风险项发生可能性应对措施CISCO设备与华为设备千兆-千兆接口对接失败高割接前测试验证，更换匹配模块波分设备与CE12804与CE6851接口对接失败中割接前测试验证，更换匹配模块万兆模块在千兆光纤上光功率衰减过大掉包。中割接前测试验证，更换匹配模块CE12800设备多模万兆单板插千兆模块与USG6650多模千兆光口对接是否成功中割接前测试验证，更换匹配模块CE1280、CE6851与思科交换机对接，生成树需一致中割接前测试验证板卡，电源模块失效很小单模块运行，申请备件第七章守局方案1、守局目的：为保障割接后设备的稳定运行，提前发现设备隐患或客户网络方案问题，减少对业务的影响，充分调配现有的人力资源，特制定此管理制度。2、职守方式本次割接的设备在市局点,此项目采用现场守局，确保能够在发现问题的第一时间进行处理。3、管理制度1、一旦出现影响业务的状况和其他紧急情况，第一时间项目组负责人以及远程保障人员。2、一般问题请与设备接口人联系，如果有现场职守人员，同时通知现场职守人员。3、守局人员（不管是否在守局状态）、后方支持人员手机一定要保持24小时畅通。4、守局人员根据值班表安排，在现场值守我司设备运行状况，并同时紧急处理设备突发情况；如有特殊情况提前电话通知工程负责人，不得擅自脱岗。4、守局值班安排割接/守局人员名单姓名电话地点第八章配置模板