一、基础能力：内容质量 & 效果评测
针对模型输出准确性、合规性、表达能力做校验，是通用必备能力。
任务维度评测
覆盖问答、摘要、翻译、创作、推理、代码生成、多轮对话等主流场景，支持自定义业务任务。
标准指标计算
自动计算行业通用指标：BLEU、ROUGE、EM、F1、困惑度 (Perplexity) 等，量化输出质量。
人工 + 自动双评审
支持批量自动打分、标注平台对接、人工复核，适配评测集迭代。
上下文 / 多轮对话评测
校验长上下文记忆、多轮逻辑连贯性、话题不跑偏、历史信息不丢失。
二、安全 & 合规测试
防范风险、满足监管，企业 / ToB 场景重点关注。
有害内容拦截
识别暴力、色情、谣言、违法言论、诱导话术，检测模型越狱输出。
提示注入 / Prompt 攻防检测
防御越权指令、隐式劫持、绕过安全规则等攻击，检测提示漏洞。
偏见与公平性检测
排查性别、地域、职业、种族等歧视性、倾向性输出。
隐私保护检测
校验是否泄露训练数据、用户隐私、敏感信息、内部文档。
版权 & 幻觉检测
识别AI 幻觉（编造事实、虚假数据）、抄袭、侵权内容。
三、鲁棒性 & 容错测试
验证模型在异常输入下的稳定性。
脏输入测试
乱码、错别字、语序混乱、方言、简写、符号干扰、超长文本、极短文本。
多语言 / 混合语言测试
中英混杂、小语种、生僻词汇场景适配。
歧义问题测试
针对模糊提问、多语义问题，校验回答逻辑一致性。
泛化能力测试
未见过的新问题、小众领域、边缘场景，验证模型举一反三能力。
四、性能 & 压测能力
面向接口 / 服务，测吞吐量、稳定性、资源消耗。
接口并发压测
模拟多用户同时调用，统计QPS、TPS、平均延迟、最大延迟。
长文本推理性能
大篇幅输入 / 输出场景下的响应速度、内存占用。
限流、熔断、异常降级校验
高负载、服务抖动、超时场景下的容错表现。
资源监控
实时采集 GPU/CPU/ 内存 / 显存 使用率，定位性能瓶颈。
五、对抗测试
主动构造对抗样本，挖掘隐性漏洞。
自动生成文本对抗样本、梯度攻击样本；
测试模型在恶意诱导、伪装提问下的防御能力；
输出对抗成功率、风险等级报告。
六、可解释性测试
推理链路追溯
查看模型答案的依据、引用的知识库 / 上下文来源。
特征归因分析
定位影响输出结果的关键输入、关键词、训练片段。
决策可视化
直观展示推理逻辑，满足审计、追责要求。
七、工程化 & 自动化能力
评测集管理
用例库分类、版本管理、批量导入 / 导出、场景标签。
批量回归测试
模型版本迭代后，一键全量复测，对比新旧版本差异。
CI/CD 集成
对接流水线，模型更新自动触发测试、门禁卡点（不达标禁止上线）。
对比评测
同模型多版本、不同厂商大模型横向对比，输出差异报告。
日志 & 问题溯源
全链路日志留存，快速复现 bad case、定位根因。
八、多模态扩展能力
若为图文、语音、视频类大模型，额外包含：
图像理解、图文匹配、OCR 准确率检测；
语音转文字、音色识别、语义理解评测；
跨模态内容一致性校验。
400-035-7887
sales@spasvo.com
