1. 名称解释
| 名词 | 描述 |
|---|---|
| 模型检测类型 | 机器可识别的违规内容类型。每种模型只能识别一类特定的违规内容。比如色情模型只能识别色情，不能识别政治。因此用户在初始配置时需要勾选所有需要检测的类型。模型的类型会不断扩充。 |
| 信心率 | 系统检测结果的把握，可以理解为是这种违规类型的概率有多大。 例：色情 0.9 —— 说明系统有90%的把握认为送检的样本包含色情内容。 需要注意的是分值越高内容违规的可能性越大，但信心率不等于准确率。比如一条正常的内容，有可能检测结果为"低俗0.8"。此时信心率虽然为0.8，但检测结果是错误的，所以准确率为0。这里指标的含义应理解为：系统盲目自信，它断定有80%的可能是低俗，但系统判断错误。 |
| 模型建议 | 由于不同模型的同一信心率所代表的精度不一样，故系统用「危险」和「可疑」对信心率进行了封装，若模型建议为「危险」代表当前命中模型的风险等级较高，若模型建议为「可疑」代表当前命中模型的风险等级较低， |
| 工单 | 需求方的每一条内容检测需求，均生成一条监测工单进行数据流转。每个检测请求对应一条工单，每条工单均返回唯一的检测结果。 |
| 工单结果 | 由「检测结果」+「模型建议值」构成 |
| 检测结果 | 正常、色情、政治、低俗等，表示该条工单送检的内容是什么类型 |
| 敏感词 | 通过关键词形式实现的文本检测方法。支持跳词匹配和精确匹配两种检测逻辑。 |
| 跳词匹配 | 语料中包含关键词即可匹配成功，不需要关键词连续出现。 例如：关键词“月饼$圆”，语料为“这个月饼真的好圆啊！”也可匹配命中。 |
| Spam | 用机器批量手段进行作弊的账号。通常表现为行为有高度相似性，所发内容、话术相似。批量用引诱话术将用户引导到其他平台的账号。 |
| 模型性能 | 模型的性能可以由三个指标来衡量：准确率、误检量（误检率）、召回率。 |
| 准确率 | 所有送检的样本中，有多大比例的样本得出了正确的结果。 这里包含两种情况：一个正常样本，模型判定为"正常"。一个违规样本，模型判定为"违规"。这两种情况都说明模型做出了正确的判断。 |
| 错检率 | 同样包含两种情况。一个正常样本，模型判定为"违规"，通常称之为"误伤"。一个违规样本，模型判定为"正常"。通常称之为"遗漏"。两种情况 模型都得出了错误的结论，记为错检。 当违规样本量较小时，这个数据会大幅波动，因此当违规数据小于100时我们用错检的条数代替百分比来衡量模型的性能。 |
| 召回率 | 违规的内容中有多少可被模型发现。 比如：1000张色情图模型认出900张，召回率即为90%。 |
*准确、错检、召回三个指标反应的是不同维度的性能，并非单纯"相加等于100%"的关系。