基于hadoop的单元测试mock技术分享

　　6、关键的需要从HTable中拿到数据，为此我需要Mock Get对象作为get方法的参数，同时需要构造我希望拿到的Result类型的数据。后通过PowerMockito，when调用shop_info.get(gtShopInfo)这个HTable对象的方法时，期望thenReturn一个事先定义好的shop_info_result对象。

Get gtShopInfo = PowerMockito.mock(Get.class);
       PowerMockito.whenNew(Get.class)
              .withArguments("126:38934426".getBytes())
              .thenReturn(gtShopInfo);
       List<KeyValue> kv_shop_info = new ArrayList<KeyValue>();
       kv_shop_info.add(new KeyValue("126:38934426".getBytes()， "sp_shop_info"
              .getBytes()， "feature".getBytes()));
       Result shop_info_result = new Result(kv_shop_info);
       PowerMockito.when(shop_info.get(gtShopInfo)).thenReturn(shop_info_result);

　　准备好所有的mock之后，ShopScanMap这里还需要准备一些测试数据，不过比较简单，不多说了。

　　万事俱备后，可以调用各种mock之后的main_process方法，拿到期望的结果

int r = map.mainProcess(mapOutPut， fBmwShops， shop_id， timeBill_shop，
              timeBill_user);
       /**
       * 这里没做断言，只是输出返回值和mapOutPut的内容
       */
       System.out.println(r);
       System.out.println(mapOutPut.toString());

　　个人感受：

　　这里举的例子是很艰苦的，我做这个例子做的很吐血。由于我水平的有限，测试代码本身应该还有很大优化的空间。

　　实际上通过优化开发代码的设计，剥离出业务逻辑，使我们只关注核心业务逻辑，这样能够从另一方面大大降低单元测试的成本。比如ShopScanMap的do_seller， do_prepay等封装的很好。

　　另外可以看出我动用了很多手段，才算完成这个mock工作。但是这个工作是重复性的，可以复用的价值很低。非常需要一整套基于hadoop之上的完整mock方案。我调研过mrunit和淘宝搞的ITest-hadoop。前者局限性比较大，而且太靠近map/reduce层面，对业务逻辑的关注力度不够，很不顺手；后者实际上是基于hadoop自带模拟集群的MiniDFSCluster， MiniMRCluster， MiniHBaseCluster三个类来实现的代码层面的集成测试，按照之前单元测试的定义，我不认为这是一种常规的单元测试方案，而且成本也挺高的。不过ITest-hadoop框架的优点是提供了一个在本地开发环境能自测的完整方案，可以作为一个备用方案。

　　这里和大家分享分享一些UT的思路，希望大家抛砖，希望能够一起学习，共同进步。

　　附上POM的依赖

<dependency>
           <groupId>org.mockito</groupId>
           <artifactId>mockito-all</artifactId>
           <version>1.8.5</version>
       </dependency>
       <dependency>
           <groupId>org.powermock</groupId>
           <artifactId>powermock-module-junit4</artifactId>
           <version>1.4.10</version>
       </dependency>
       <dependency>
           <groupId>org.powermock</groupId>
           <artifactId>powermock-api-mockito</artifactId>
           <version>1.4.10</version>
       </dependency>