问题与背景

• BUG无法重现

  线上偶发的数据类问题，时有时无，重现困难。

• 新版本担忧

  新版本改动范围大，担心测试不充分，对原有功能有影响。

• 测试成本高

  测试用例设计，测试脚本创建、更新和管理等，都需要人力的持续投入。

需求与目标

• 数据源

  某个系统的海量交易日志，主要是请求与响应日志报文

• 方法

  通过日志回放，模拟重现日志上的操作

• 目标

  根据场景要求不同，可以选择某些日志进行回放，
  也可以使用全部日志进行回放。

大数据日志回放解决方案

• 

  一、数据清洗

  对日志报文进行清洗，并识别每一条日志所属的用户及日志发生的时间

• 

  二、日志回放

  使用生产日志进行回放。按用户标识进行归类，再排序后进行回放。

• 

  三、应答结果对比

  包括对比应答的标识位，对比详细的参数

• 

  四、报表

  日志回放的结果，以报表的形式展现

TBCD 系统的结构

• 本项目主要基于TBCD系统实现

• 展现层

  工作台 统计报表 用例导出 参数阈值

  HTML5,D3,
  AngularJs

  业务层

  参数分析 流程用例 功能分析 日志回放 日志清洗

  数据字典 用户管理

  SpringMVC,
  Spring,fast json等

  大数据层

  HBASE HIVE MapReduce HDFS

  MYSQL

  采用分布式架构，
  可横向扩展

日志回放示意图

日志回放流程

• 

  日志清洗

  为每条日志标识用户归属
  日志清洗也是其它功能操作的前提

• 

  按用户分类

  使用用户归属标识进行分类

• 

  每一个用户类
  的日志排序

  归类好的日志，在本用户内进行排序；不同用户之间并发进行回放。

• 

  应答对比

  每个日志回放到2个不同版本的测试环境，获取2个版本的应答进行对比。

• 

  报表中心

  统计回放的情况，报表展现。

产品价值

• 

  重现偶发性地生产问题

• 

  检验新版本潜在问题

• 

  不需要用例设计，测试成本低

• 

  覆盖面广