前言
　　hadoop的mapreduce提交到集群环境中出问题的定位是比较麻烦的，有时需要一遍遍的修改代码和打出日志来排查一个很小的问题，如果数据量大的话调试起来相当耗时间。因此有必要使用良好的单元测试手段来尽早的消除明显的bug（当然仅有单元测试是不够的，毕竟跟集群的运行环境还是不一样的）。
　　然而做mapreduce的单元测试会有一些障碍，比如Map和Reduce一些参数对象是在运行时由hadoop框架传入的，例如OutputCollector、Reporter、InputSplit等。这需要有Mock手段。初写mapreduce单元测试的时候自己写了几个简单的Mock也基本能满足需要，后来发现MRUnit比我写的要好用所以研究了一下采用了。MRUnit是专门为hadoop mapreduce写的单元测试框架，API简洁明了，简单实用。但也有一些薄弱的地方，比如不支持MultipleOutputs（很多情况下我们会用MultipleOutputs作为多文件输出，后面将介绍如何增强MRUnit使之支持MultipleOutputs）。
　　MRUnit
　　MRUnit针对不同测试对象分别使用以下几种Driver：
　　  MapDriver，针对单独的Map测试。
　　  ReduceDriver，针对单独的Reduce测试。
　　  MapReduceDriver，将Map和Reduce连贯起来测试。
　　  PipelineMapReduceDriver，将多个Map-Reduce pair贯串测试。
　　MapDriver
　　单独测试Map的例子，假设我们要计算一个卖家的平均发货速度。Map将搜集每一次发货的时间间隔。针对Map的测试，

//这是被测试的Map
private Map mapper;
private MapDriver<LongWritable， Text， Text， TimeInfo> mapDriver;
@Before
public void setUp() {
mapper = new Map();
mapDriver = new MapDriver<LongWritable， Text， Text， TimeInfo>();
}
@Test
public void testMap_timeFormat2() {
String sellerId = "444";
//模拟输入一行（withInput），假设从这行数据中我们可以获得卖家(sellerId)      //某一次时间间隔 为10小时.
//我们期望它输出sellerId为key，value为代表1次10小时的TimeInfo对象。          //（withOutput）
//如果输入数据经过Map计算后为期望的结果，那么测试通过。
Text mapInputValue = new Text("……");
mapDriver.withMapper(mapper)
.withInput(null， mapInputValue)
.withOutput(new Text(sellerId)， new TimeInfo(1， 10))
.runTest();
}
 
上一页1234下一页
本文内容不用于商业目的，如涉及知识产权问题，请权利人联系SPASVO小编(021-61079698-8054)，我们将立即处理，马上删除。