当今的企业需要掌控其关键业务应用的所有功能测试,以确保所有业务流程工作符合预期。通过实施自动化的功能测试,企业可以极大提高测试速度和精度,从?间项目中得到更高的投资回报并且显著地降低风险。
  本文简要描述了自动化功能测试的优势和挑战,帮助企业考虑实施佳测试自动化的方法。
  1.介绍
  毫无疑问,严格的功能测试是成功开发应用的关键。开发人员,测试小组和管理人员所面临的挑战是,如何加速测试流程和提高测试的精确性和完备性,同时还不能增加已然很紧张的预算。
  测试过程自动化的成本是多少?其投资回报率(ROI)是什么?
  哪些应用/过程适合做自动化测试,哪些不合适?
  是否需要新的培训,这将对当前的开发计划安排产生怎样的影响?
  自动化测试得正确地方法论是什么?
  自动化测试时涉及到哪些情况?
  当比较自动化测试产品时,哪些功能重要?
  在自动化测试项目开始之前,以上和其他一些问题应该得到全面地调查和了解。
  2.功能测试与单元测试
  功能测试是指确保应用按期望运行,也是按照用户的期望运行。功能测试以一种有效的方式捕获用户的需求,让用户和开发人员对业务过程满足需求充满信心,同时使得QA团队可以检验软件已发布绪。
  功能测试是单元测试的补充,但有很大不同。简言之,单元测试说明了代码执行是否正确;功能测试说明了完成的应用是否做正确的事情。单元测试往往是从代码开发人员的角度来看,而功能测试是从终用户和业务过程角度来看。
  3.为什么将功能测试过程的自动化?
  现在,IT部门的压力越来越大。管理部门希望IT部门通过软件可以交付新功能,抓住新的商业机会和提供有竞争力的优势。这意味着需要完成更多的业务应用开发项目,而时间会很紧迫,并不是都有更多的预算或资源。
  同时,管理部门越来越意识到软件和销售额的重要关系。Web Services,联机事务处理和ERP应用不仅是非常关键的,而且,它们直接关系到公司的产值能力。现在企业非常依赖非常复杂的计算机基础设施。如图,一个典型的企业可能依靠多个应用,运行在不同的系统上,使用几种不同的前端客户端,涉及到大量的业务过程并且与很多种数据集交互。
  
  当软件出现故障时,其代价是非常大的,包括销售额下降,员工的低效率,客户的不满和开发和QA人员的士气低落。在软件开发周期中,缺欠发现的越晚其代价越高。上线后发现的缺欠的改正成本可能比在设计阶段发现的高出100倍。自动化是提高软件测试过程的速度,精确度和灵活性的关键,使公司可以更早发现和改正缺欠。
  4.手工功能测试的挑战
  手工功能测试过程本身存在很多挑战:
  时间过长。有限的IT资源和紧张的交付时间使得手工测试对于满足业务目标来说过于耗时。采用手工测试,测试和开发人员不得不计划冗长的每步测试过程,然后手工执行,再现问题,快速消耗了有价值的时间和资源。根据Aberdeen Group,一个独立行业分析公司,90%的IT项目交付出现延迟,手工测试是其中一个因素。
  覆盖不完全。平台,操作系统,客户端设备,业务过程和数据集等的组合对于手工测试过程来说,工作量非常大。需要验证功能的测试用例数量非常巨大。所以当修改完成后手工回归测试花费的时间过长,以至于不能做全面的回归测试。
  风险更高。手工测试过程比计算机过程的错误和疏忽更多。人们会变得疲倦,输入数据错误,不能总是正确执行测试,并不是总有时间测试所有应该测试的内容。
  5.自动化测试的好处
  自动化测试有很多好处,包括:
  快速执行。计算机在执行功能测试脚本的时候比人快得多,因此在有限的时间里能测试的更多,在给定的时间里更多的应用可以被测试,可以按时完成更多的工程。并且和人不同,计算机工作24小时,还包括晚上,和假期;他们不会感到无聊或者疲倦;而且他们从不对该作的事情和不该作的事情自作主张。
  支持ERP/CRM。现在越来越多的用户使用ERP/CRM解决方案,对端到端的回归测试的需求正变得越来越频繁和越来越重要。
  6.在什么情况下采用自动化测试?
  一般来说,把自动化测试的工作集中在关键的业务过程,复杂应用,以及由这些组成的用例方面(相对于低级别任务,例如系统级的验证)是很有意义的。
  7.如何确定自动化测试的投资回报?
  任何投资回报都可以从一个简单的计算得出:
  投资回报=投资的净现值/总初始成本
  当采用测试过程的自动化时,成本是切实可见的,但是净现值仍旧包含许多无形的因素。好的方法是尽量精确计算直接成本,然后与自动化测试产生的直接和间接的效益进行对比。
  在ROI计算中需要考虑的直接成本包括:
  购买成本:购买自动化测试软件产品的成本。
  硬件成本:功能测试所必需的硬件成本。有代表性的是,功能测试不需要特殊的硬件,只需带有以太网端口的标准台式电脑或者工作站即可。
  劳动力成本:培训职员编写测试用例脚本或进行手工测试的成本因素。确认要包括招聘,雇佣,支付工资,和保留熟练的QA工程师的成本。
  培训成本:依赖于所选择的测试产品,培训使用者精通编写自动测试脚本是值得的。当然,公司可以选择雇用专业的服务公司创建初的自动化测试。
  当衡量自动化的潜在益处时,考虑隐性效益是很重要的,例如测试人员高涨的士气和对工作的满意度,改进的客户满意度和忠实度,还有因为终用户使用的可信赖的软件而不断提高的知名度。
  8.如何评估自动化测试软件?
  很多商家提供自动化测试产品。每个解决方案都有自身的优势和劣势,独特的功能,和市场环境。每个企业需求的特殊性决定了适合的一种选择。然而,任何自动化测试产品都应当包含一些关键的性能:
  自动化测试的“Scriptless”表示法:产品应该提供一个可点击的界面,在测试时与应用组件进行访问和交互??而不是呈现出一行行的脚本。测试者应该可以可视化每一步的业务过程,并且直观的观察和编辑测试用例。这将减少测试者在学习上走弯路,并帮助测试团队面对紧迫的终期限。
  9.要点列表:自动化测试成功的五个关键
  即使已经证明了测试的自动化是经济有效的,然而如何确定转变到自动化测试过程上的佳方法依然是困难的。这部分略述了执行自动化测试过程的五个基本原则。
  1.完成一个测试计划文档。理解被测应用的目标是任何测试成功的基础。这包括全面的预先计划以确保测试需求被正确的实施。测试工具应提供为所有被测应用管理测试用例和需求的能力。
  2.将测试细分为自动测试用例。一个组织自动执行一个测试计划的所有方面是不可能的。自动化测试应该集中围绕在需求设计的复杂应用上和急迫的业务过程功能上,许多组织发现他们使用自动化测试只占总测试用例的60%,而余下的40%为手工测试。
  3.创建自动化测试。测试工具极大简化了准备测试数据和脚本的过程。这使得更多的完全测试可佳地使用测试资源和结果。使用测试工具,使用者可以不必作任何实际脚本而创建测试。测试工具应能自动捕获目标应用的业务过程,并允许使用者创建一个可以被保存的而且可以被管理的测试流程。
  4.提高测试覆盖的数据驱动测试。测试者可以为应用创建一个使用储藏在Excel电子表格里的特殊关键字的依赖于数据的测试。这允许测试者通过应用驱动大量的测试数据。
  5.给测试增加验证。需要在测试中添加了“通过或失败”的测试标准。这包括了应用的前端,中间层,或后端数据库的验证。内置的数据库验证使数据库值的存储得到确认,并确保处理的精确性和已更新、删除或增加的数据记录的完整性。
  总结
  功能测试可以不是耗时或高成本的问题。采用自动化功能测试,企业可以将重点放在改进自动业务过程方面。开发和QA组可以增加测试过程的速度和精确度。整个IT部门可以获得更高的投资回报,而且降低了大量风险。