研究结果
  然而对比研究的结果使我们惊讶,因为结果并没有支持大部分我们之前的假设。
  (1)问题:在实验室和现场会发现同样数量的问题和现象吗?
  根据我们的研究:现场测试发现的问题会比实验室多,但并未达到显著差异。
  我们的假设是在现场测试会发现更多的问题,但是没有被实验结果支持。
  (2)问题:在两个测试环境中发现的问题和现象是一样的吗?如果不是,有什么差异?
  尽管观察到了同样的问题,但是同一问题在现场测试中发生的频率更高。
  (3)问题:如果发现的问题有不同,那么是因为实验室或现场发生问题的严重性不同吗?
  假设是在现场会发现更多严重的问题,但是没有被证实。有关问题的严重性,在两种测试环境中没有差异。
  (4)问题:任务执行时间会不同吗?由此我们可以从测试中推断出什么?
  个人任务完成的时间,现场测试的用户没有比实验室测试的用户更长。当然在测试所需要的总时间上,现场的确要比实验室长,这说明现场测试是一个更消耗时间的方法。
  (5)问题:环境会影响测试用户的执行吗?
  在现场,测试有潜在的干扰,但是对于用户的操作似乎没有太大的影响。因为当执行复杂任务时,用户会寻找一个安全的地方(方位/角度)去执行,只有一小部分用户会一边执行一边踱步。在现场,用户的注意力会非常集中在测试上,例如在进出地铁时也会持续工作,在地铁上他们似乎也没有被其他地铁乘客打扰到,即使其他乘客会来和主持人说话。
  尽管主持人的行为在两场测试中是一样的,但是现场测试中用户的表现似乎更加放松、随便,表现在他们更频繁的去发表关于APP的评论。
  (6)问题:当评估移动APP的可用性时,是实验室更适合还是现场测试更合适?
  当做一款移动APP的用户界面评估时,现场测试可能没法显著增加测试的有效性和完全性。不是因为一些问题没有被发现,而是因为现场测试所需要的时间更长,需要付出的努力更多。基于我们的实验,实验室测试似乎已经能够在提高用户界面和系统交互方面给予充足的信息。
  现场测试完成后,主持人和用户交谈的更随意,似乎用户更容易说出自己关于产品观念的想法。现场测试的方法适合于不仅和一个系统交互进行测试,还包括测试用户行为和环境。另外,APP或设备如有一定的机密性那么测试通常是在实验室进行的,特别是在还在开发周期的产品。
  在现场环境中,用户似乎在寻找一个安静的角落来和APP进行交互。个人空间似乎并不只在与别人交流时才被需要;在公共场合,当人们在做自己的事情时同样需要隐私。
  研究的影响和将来的研究
  正如用户研究员的目标是在严格的项目经费和时间的限制下,找到大和致命的可用性问题,那么这项研究帮助用户研究员在测试地点上做了决策。当测试一个移动APP的可用性时,实验室测试能够给予充足的信息。
  给予用户研究从业者的启示
  当测试一款移动APP的用户界面时,现场测试可能不是好的选择;多数还是因为它比实验室测试更加耗时。
  如果需要进行现场测试,则需要准备好比实验室双倍的时间来进行;因为在现场,你可能下来只能测试实验室的一半被试,且你需要做好事情不按计划走的准备,因为除了测试还会有更多的干扰和意想不到的事情。
  在做现场测试前,先做一个严格的预测试是必要的;因为许多细节都会很容易出错,你真的需要检查所有的准备来确保万无一失。