大数据性能测试方案V10

编号:密级:XXX大数据平台性能测试方案[V1-1.0]拟制人：审核人：批准人：[2021年01月08日]文件变更记录*A-增加M-修订D-删除版本号日期变更类型〔A*M*D〕修改人摘要审核人备注V1.02021-01-08A新建性能测试方案TOC\o"1-5"\h\zHYPERLINK\l"bookmark4"\o"CurrentDocument"目录IHYPERLINK\l"bookmark6"\o"CurrentDocument"1引言1HYPERLINK\l"bookmark8"\o"CurrentDocument"编写目的1HYPERLINK\l"bookmark10"\o"CurrentDocument"测试目标1HYPERLINK\l"bookmark12"\o"CurrentDocument"读者对象1HYPERLINK\l"bookmark14"\o"CurrentDocument"1.4术语定义1HYPERLINK\l"bookmark16"\o"CurrentDocument"2环境搭建1HYPERLINK\l"bookmark18"\o"CurrentDocument"2.1测试硬件环境1HYPERLINK\l"bookmark20"\o"CurrentDocument"2.2软件环境1HYPERLINK\l"bookmark22"\o"CurrentDocument"3测试范围2HYPERLINK\l"bookmark24"\o"CurrentDocument"3.1测试功能点2HYPERLINK\l"bookmark26"\o"CurrentDocument"3.2测试类型2HYPERLINK\l"bookmark28"\o"CurrentDocument"3.3性能需求2HYPERLINK\l"bookmark30"\o"CurrentDocument"3.4准备工作3HYPERLINK\l"bookmark32"\o"CurrentDocument"3.5测试流程3业务模型4HYPERLINK\l"bookmark36"\o"CurrentDocument"4.1基准测试4HYPERLINK\l"bookmark38"\o"CurrentDocument"Hadoop/Spark读取算法的基准测试4HYPERLINK\l"bookmark46"\o"CurrentDocument"Hadoop/Spark写入算法的基准测试5HYPERLINK\l"bookmark54"\o"CurrentDocument"Hadoop/Spark导入算法的基准测试6HYPERLINK\l"bookmark62"\o"CurrentDocument"Hadoop/Spark导出算法的基准测试7HYPERLINK\l"bookmark70"\o"CurrentDocument"4.2负载测试8HYPERLINK\l"bookmark72"\o"CurrentDocument"Hadoop/Spark并行读取/写入算法的负载测试8HYPERLINK\l"bookmark80"\o"CurrentDocument"Hadoop/Spark并行导入/导出算法的负载测试9HYPERLINK\l"bookmark88"\o"CurrentDocument"4.3稳定性测试10HYPERLINK\l"bookmark90"\o"CurrentDocument"4.3.1Hadoop/Spark并行读取/写入/导入/导出算法,7*24小时稳定性测试10HYPERLINK\l"bookmark98"\o"CurrentDocument"5测试交付项12HYPERLINK\l"bookmark100"\o"CurrentDocument"6测试执行准那么12HYPERLINK\l"bookmark102"\o"CurrentDocument"6.1测试启动12HYPERLINK\l"bookmark104"\o"CurrentDocument"6.2测试执行12HYPERLINK\l"bookmark106"\o"CurrentDocument"6.3测试完成13HYPERLINK\l"bookmark108"\o"CurrentDocument"7角色和职责13HYPERLINK\l"bookmark110"\o"CurrentDocument"8时间及任务安排13HYPERLINK\l"bookmark112"\o"CurrentDocument"9风险和应急14HYPERLINK\l"bookmark114"\o"CurrentDocument"9.1影响方案的潜在风险14HYPERLINK\l"bookmark116"\o"CurrentDocument"9.2应急措施141引言1.1编写目的本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进展详细的定义和整体的描述。1.2测试目标本次性能测试的目标是检测？XXX大数据平台？在效劳器上运行时，了解该效劳器的各项性能情况。1.3读者对象本方案的预期读者是：工程负责人、测试人员、运维人员和其他相关人员。1.4术语定义术语定义性能测试通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进展测试场景用于根据性能要求定义在每一个测试会话进展期间发生的事件事务表示要度量的取终指疋的某个特疋业务2环境搭建2.1测试硬件环境效劳器名数量期望到位阶段备注效劳器1开发提测前2.2软件环境配置资源名称3测试范围3.1测试功能点编号测试点对应算法备注1Hadoop读取2Hadoop写入3Hadoop导入4Hadoop导出5Spark读取6Spark写入7Spark导入8Spark导出3.2测试类型类型定义备注基准测试单事物单用户测试，目的是对选择的单用户在无压力情况下〔无额外进程运行并占用系统资源〕情况下，获取系统处理单请求的情况负载测试通过逐步增加系统负载，测试系统性能的变化稳定性测试通过给系统加载一定业务压力，运行7*24小时，以此检测系统是否稳定运行。3.3性能需求名称指标备注CPU使用率不高于80%内存使用率不高于80%I/O使用率不高于80%响应时间Network使用率不高于80%3.4准备工作测试功能点全部通过功能测试，确保功能上没有问；测试环境效劳器已搭建，被测工程已部署；准备测试客户机；准备好测试数据；创立测试场景，并配置好每个场景的设置；测试过程中保存好测试数据和结果，并对执行结果进展命名3.5测试流程4.测试策略4.1基准测试Hadoop/Spark读取算法的基准测试场景1:数据容量100G时，进展读取算法的基准测试用例名称数据量100G，读取功能的基准测试算法读取验证功能Hadoop/Spark的读取测试测试目的比照Hadoop/Spark的读取算法，进展数据容量100G读取操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，进展读取算法的基准测试用例名称数据量500G，读取功能的基准测试算法读取验证功能Hadoop/Spark的读取测试测试目的比照Hadoop/Spark的读取算法，进展数据容量500G读取操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3:数据容量1T时，进展读取算法的基准测试用例名称数据量1T，读取功能的基准测试算法读取验证功能Hadoop/Spark的读取测试测试目的比照Hadoop/Spark的读取算法，进展数据容量1T读取操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端执行Hadoop/Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark写入算法的基准测试场景1:数据容量100G时，进展写入算法的基准测试用例名称数据量100G，写入功能的基准测试算法写入验证功能Hadoop/Spark的写入测试测试目的比照Hadoop/Spark的写入算法，进展数据容量100G写入操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，进展写入算法的基准测试用例名称数据量500G，写入功能的基准测试算法写入验证功能Hadoop/Spark的写入测试测试目的比照Hadoop/Spark的写入算法，进展数据容量500G写入操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3:数据容量1T时，进展写入算法的基准测试用例名称数据量1T,写入功能的基准测试算法写入验证功能Hadoop/Spark的写入测试测试目的比照Hadoop/Spark的写入算法，进展数据容量1T写入操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端执行Hadoop/Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark导入算法的基准测试场景1:数据容量100G时，进展导入算法，查看效劳器的相关性能指标用例名称数据量100G，导入功能的基准测试算法导入验证功能Hadoop/Spark的导入测试测试目的比照Hadoop/Spark的导入算法，进展数据容量100G导入操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，进展导入算法，查看效劳器的相关性能指标用例名称数据量500G，导入功能的基准测试算法导入验证功能Hadoop/Spark的导入测试测试目的比照Hadoop/Spark的导入算法，进展数据容量500G导入操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3:数据容量1T时，进展导入算法，查看效劳器的相关性能指标用例名称数据量1T,导入功能的基准测试算法导入验证功能Hadoop/Spark的导入测试测试目的比照Hadoop/Spark的导入算法，进展数据容量1T导入操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端执行Hadoop/Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSparkHadoop/Spark导出算法的基准测试场景1:数据容量100G时，进展导出算法，查看效劳器的相关性能指标用例名称数据量100G，导岀功能的基准测试算法导岀验证功能Hadoop/Spark的导出测试测试目的比照Hadoop/Spark的导出算法，进展数据容量100G导出操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端执行Hadoop/Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，进展导出算法，查看效劳器的相关性能指标用例名称数据量500G，导岀功能的基准测试算法导岀算法验证功能Hadoop/Spark的导出测试测试目的比照Hadoop/Spark的导出算法，进展数据容量500G导出操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控3.客户端执行Hadoop/Spark的导出代码运行结果CPU使用率内存使用率I/ONETWORK响应时间HadoopSparkSpark场景3:数据容量1T时，进展导出算法，查看效劳器的相关性能指标用例名称数据量1T,导岀功能的基准测试算法导岀验证功能Hadoop/Spark的导出测试测试目的比照Hadoop/Spark的导出算法，进展数据容量1T导出操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端执行Hadoop/Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.2负载测试421Hadoop/Spark并行读取/写入算法的负载测试场景1:数据容量100G时，并行读取/写入算法的混合测试场景用例名称数据量100G，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/Spark并行读取/写入测试测试目的比照Hadoop/Spark的并行读取/写入，进展数据容量100G操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，并行读取/写入算法的混合测试场景用例名称数据量500G，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/Spark并行读取/写入测试测试目的比照Hadoop/Spark的并行读取/写入，进展数据容量500G操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3:数据容量1T时，并行读取/写入算法的混合测试场景用例名称数据量1T,并行读取/写入的负载测试算法读取/写入验证功能Hadoop/Spark并行读取/写入测试测试目的比照Hadoop/Spark的并行读取/写入，进展数据容量1T操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark422Hadoop/Spark并行导入/导出算法的负载测试场景1:数据容量100G时，并行导入/导出算法的混合场景测试用例名称数据量100G，并行导入/导岀的负载测试算法导入/导岀验证功能Hadoop/Spark并行导入/导出测试测试目的比照Hadoop/Spark的并行导入/导出，进展数据容量100G操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，并行读取/写入算法的混合场景测试用例名称数据量500G，并行导入/导岀的负载测试算法导入/导岀验证功能Hadoop/Spark并行导入/导出测试测试目的比照Hadoop/Spark的并行导入/导出，进展数据容量500G操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3:数据容量1T时，并行读取/写入算法的混合场景测试用例名称数据量1T,并行导入/导岀的负载测试算法导入/导岀验证功能Hadoop/Spark并行导入/导出测试测试目的比照Hadoop/Spark的并行导入/导出，进展数据容量1T操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.3稳定性测试431Hadoop/Spark并行读取/写入得入/导出算法，7*24小时稳定性测试场景1:数据容量100G时，并行读取/写入/导入/导出稳定性测试用例名称数据量100G，并行读取/写入/导入/导出稳定性测试算法读取/写入/导入/导岀验证功能Hadoop/Spark并行读取/写入/导入/导出稳定性测试测试目的比照Hadoop/Spark的并行读取/写入/导入/导出，进展数据容量100G操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量100G对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2:数据容量500G时，并行读取/写入/导入/导出稳定性测试用例名称数据量500G，并行读取/写入/导入/导出稳定性测试算法读取/写入/导入/导岀验证功能Hadoop/Spark并行读取/写入/导入/导出稳定性测试测试目的比照Hadoop/Spark的并行读取/写入/导入/导出，进展数据容量500G操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量500G对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3:数据容量1T时，并行读取/写入/导入/导出稳定性测试用例名称数据量1T，并行读取/写入/导入/导岀稳定性测试算法读取/写入/导入/导岀验证功能Hadoop/Spark并行读取/写入/导入/导出稳定性测试测试目的比照Hadoop/Spark的并行读取/写入/导入/导出，进展数据容量1T操作时，redpower效劳器运行情况前置条件操作步骤准备数据容量1T对redpower效劳器进展资源监控客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark5测试交付项测试阶段提交文档文档要求测试方案?XXX大数据平台-性能测试方案？1、测试经理制定工程的测试方案测试及实现?XXX大数据平台-性能测试用例？1、测试人员编写工程所有测试用例2、评审通过后导入到禅道中，并上传至SVN效-H-：耳口劳器测试报告?XXX大数据平台-性能测试报告？1、主导测试完成测试报告2、包括性能指标分析图6测试执行准那么6.1测试启动在开场进展测试时必需满足的条件。这些条件涉及：?开发提测checklist?内容符合要求，已提交至测试部门。系统功能测试已通过。性能测试方案、测试流程、测试进度的制订已完成，并经过严格评审。性能测试所需的资源已经到位。测试组人员配置合理，测试人员的工作技能符合测试要求。性能测试所需的软、硬件和操作系统等测试环境准备完毕。6.2测试执行根据测试方案相关测试环境的内容，检查测试环境〔包括硬件及软件〕，确保测试环境符合要求。对于测试用例的描述信息，按测试意图对每一个测试用例设计操作流程中重要环节的动作、输入数据和预期的反映〔注：此流程可不必详细到每一个具体的步骤，但应确保测试执行人员可以据此信息顺利执行，而不必询问测试用例的开发人员〕。执行测试活动，并记录执行日期，对于每个测试用例还应记录关键操作步骤、输入数据以及任何与测试人员预期结果不符的系统响应。每个测试用例执行完毕后，视具体情况对系统进展备份或根据备份数据对系统进展恢复。6.3测试完成到达性能要求。即在指定的负载下，系统的性能指标到达测试标准；在长时间运行后，系统不崩溃，各功能正常；效劳器CPU内存，响应时间等参数保持稳定；场景运行停顿后，一段时间内占用的资源可以正常释放。7角色和职责人员名称角色数量需求职责性能测试经理1部门经理性能测试设计员1性能测试工程师测试开发人员3性能测试工程师、开发工程师测试环境准备人员3性能测试工程师、开发工程师测试数据准备人员3相关工程配合人员脚本场景准备人员2性能测试工程师、开发工程师性能调优准备人员2性能测试工程师、开发工程师8时间及任务安排任务名称开场时间完毕时间所需时长负责人测试方案2021-01-062021-01-083方案评审2021-01-112021-01-111环境部署5数据准备5测试场景准备5基准测试执行5负载测试执仃5稳定性测试执行21测试报告2在实际测试过程中，由于测试环境有时不太稳定、和功能测试共用测试环境以及测试场景执行出错需重复测试等原因，实际进度可能会稍有推迟。9风险和应急9.1影响方案的潜在风险1）选择的业务流不具有代表性。即选择的测试功能点经过负荷测试和长时间测试后不能重现系统问题，如内存溢出，速度慢等问题；选择测试功能点的原那么：客户使用系统时经常操作的业务流，以及觉得反响比拟慢的几个功能模块；2）不是在实际环境中的测试〔即模拟的测试环境和客户实际使用环境配置差异较大〕，由于测试环境的不同，测试结果和实际使用环境中的结果有一定的出入；3）测试环境中的数据量比实际环境中使用一段时间后的数据量要少的多，系统目前的性能不能代表数据量增长后的性能。9.2应急措施1•对上述潜在风险因素的应急措施逐项给以明确规定。通常的应急措施有：通过适当加班来保证方案的按时完成2.如果是由于被测试产品存在重大错误而严重影响测试进度，那么考虑按照测试暂停标准来暂停该测试