在一个测试过程,关于发现和修改问题都有一定的规律。

  这是一个p5v6.80问题趋势图,我们可以把这个图的变化趋势分为三个阶段(上升阶段、中间阶段和平缓(结尾)阶段)。上升阶段是指刚刚测试产品时,在该阶段会发现大量的问题。累计问题数目趋势线会上升很快,甚至非常陡,这是非常棒的。第2个阶段是中间阶段。这个阶段象我们上山一样。有陡然上升的阶段,也有平缓的阶段。造成这种情况的是存在着很多我们在测试中不可预知的东西,属于测试稳定阶段。第3阶段在经历了累计问题数目阶段和测试稳定阶段。被测试的软件基本上趋于稳定。在正常状态下该问题的曲线应该平缓。所说的是接近直线。当然可能达到这一阶段的时间是可以预计的,或者是不可很好地预计。但是我们可以通过该分析图的下面两条线做出判断。一条线是真实地记录了每发现的问题个数,第二条线则是描述了对这些问题的哪些问题进行了改正。

  因为我们知道对问题的改正实际上增加产生问题的新的隐患。所以每次改正问题后直接的是在上图中的趋势线出现波动。我们希望的每一次改动问题都不会让趋势图发现很大的波动影响。第二是在到了第3阶段时下面的两条线都可以逐渐接近横轴。并且没有什么样大的变化。

  我们看出在问题分析我们灵活地运用柏拉图和缺陷分析图表分析被测模块的高风险性和在测试过程考察被测的效果。总之一句话,我们通过问题分析,可以更好地保证软件的可靠性。这一点至关重要。

  测试后期的工作文档——测试报告和未改问题集

  测试报告是组成测试后期工作文档的重要的技术文档。测试报告主要有五个部分组成:1)测试条件创建的描述;2)柏拉图的画制;3)根据柏拉图进行问题分析,指明高风险区;4)列出未改问题集;5)总体分析评价。

  关于第2部分和第3部分在前面已经做了介绍。下面我先说明第1部分和第5部分内容。至于第4部分内容我将单独说明。

  第1部分——测试条件创建的描述:在软件测试中,建立一个良好的测试环境。所有在测试中涉及到的条件(包括工具、机器配置、编译环境)以及在相关的企业标准中所涉及到的内容(如指环境测试、强度测试和电气测试)。一个好的测试环境,可以排除掉一些不存在的问题。也为寻找和修改问题提供了便利。我们认为测试环境应该尽可能和开发调试中的环境相类似,甚至相同。

  特别如果在测试中测试到专门的情况时,如功耗测试或者灵敏度测试时,在建立测试环境时应该由开发人员确认。其实在建立测试环境时,应该由专业人士认可。

  正是由于建立一个良好的、完整的和准确的测试环境是那么重要。那么我们在编写测试报告时应该将一个你所建立的一个较完整的测试环境系统说明清楚。包括上述所说明的内容(详细的内容可以参照软件文档设计标准)。在特定的情况。如在描述测试电气特性的时候,可以将接线图绘制出来。我们希望能够重点注意一下建立测试环境上,并且能够较详细地说明出来。因为上面也说过。出现问题的地方在建立错误的测试环境会有很大关系。关于建立一个测试环境的事情。在后面将详细总结。

  第5部分——总体分析评价:请千万不要忽视掉总体分析评价的内容,当你的测试报告快要写完的地方,并且感觉很累的时候。希望你能够在写总体分析评价时能够休息一下大脑。想一想在经过一个时间不短的测试后,如何能够对终的产品给出一个令人信服的结论。因为总体分析评价的内容可能是在开评估会时有可能关心的。

  现在我们应该认为总体分析评价是客观的。好不要存在什么主观的意念。那么如何才能使总体分析评价具有很强的客观性和准确性。我想有应该有两点应该注意是:

  (i) 实事求是,不能够人论事。把你自己的主观感觉强加在总体分析评价中,特别你自己的喜怒哀乐。当然你也不能受外界因素的影响,力求做到按照既定的原则处理。

  (ii) 在要求总体分析评价的客观性中,我想如何要一个总体分析评价客观性,好的办法是收集和整理各种客观实际的数据资料。关于收集和整理的客观数据资料。我们已经在介绍数据统计分析中说明了一些。但是我们还有很多方法可以来运用。关于这一点的详细介绍我将在《对各种测试资料的灵活统计分析》一文详细论述。下面我只蜻蜓点水的说明一下。