0.1. 模型配置简介:
0.1.1. 图文审核服务模型
1、模型相关值:
a、信心率:系统检测结果的把握,可以理解为是这种违规类型的概率有多大。信心率值越大表示系统对当前模型结果把我越大
例:色情 0.9 —— 说明系统有90%的把握认为送检的样本包含色情内容。
b、模型建议: 由于不同模型的同一信心率所代表的精度不一样,故系统用「危险」和「可疑」对信心率进行了封装,若模型建议为「危险」代表当前命中模型的风险等级较高,若模型建议为「可疑」代表当前命中模型的风险等级较低, 模型建议为服务方根据当前模型性能配置的值
例:信心率为0.6的涉政可能已经是危险,而0.6的广告可能只是可疑
2、支持模型:图片、文字、音频、视频
3、模型选择:业务方可以根据自身业务需求按照模型实例选择模型,一般涉政和色情类型模型都是必选,其余模型视当前业务情况而定。
4、模型应用:可以直接返回模型命中结果,也可根据配置将一定阈值的工单推到人工审核
5、阈值设置:
简介:在模型命中的基础上,通过调整「信心率」可以收紧和放宽业务尺度,也可调整推送人工数据范围。通过调整「模型建议」可以对不同模型阈值进行定义,比如涉政0.6可定义为危险,广告0.6定义为可疑。详细见下方:
- 全量送检推人工:不用配置阈值
- 全量模型命中推人工:需配置「模型建议」,一般初始配置信心率0.6~0.9为「可疑」,0.9 以上为危险
- 按模型信心率推送:需配置「信心率」「模型建议」;信心率一般初始配置0~0.6为正常,0.6~0.9推人工审核,0.9以上算命中;模型建议一般初始配置0.6~0.9为可疑,0.9以上为危险;
只过模型:需配置「信心率」「模型建议」;信心率一般初始配置0~0.8为正常,0.8以上算命中;模型建议一般初始配置0.8~0.9为可疑,0.9以上为危险;
注:以上阈值可跟后期业务实际表现进行调整,有调整需求可随时联系我@宋斌
6、各类模型简介及注意点
a、图片模型:
- 需先下载再过模型检测,检测耗时综合在1s以内。为保证模型精度,建议单个工单图片不易超过16张,图片尺寸尽量保持在300X300以上。
- 图片模型中,「直播违规」类模型是针对视频直播的模型,「诈骗」类模型是针对特殊违规类型的模型,若不属于直播业务或没有诈骗类违规建议先要勾选此二模型,容易造成误伤。
- 图片黑库模型,目前是内容安全服务为各业务方封装的自定义黑库功能,需先创建黑库添加图片后,此模型才能生效。目前图片黑库的添加是服务方在维护,后期会放到业务端,故前期有需求的业务方可联系我@宋斌添加
- 动图检测目前支持webp和gif图,动图抽帧为均匀抽取6帧过模型,
b、文字模型:
- 可做到实时检测,为保证模型精度,单工单文本条数不易超过10条,单条文本最多250字。
- 文本模型中「涉政敏感词」「色情敏感词」模型是内容安全服务的通用敏感词库模型,实现逻辑为文本中包含该敏感词即命中,而「涉政敏感词」还提供针对核心领导人拼音匹配功能,如:xidada;风险:敏感词词库模型在检测时一般存在误伤,需业务方观察模型表现,有问题可随时联系我@宋斌沟通
- 文本模型中的「诈骗」类模型是针对特殊违规类型的模型,一般业务中出现此类违规才勾选,若没有请暂时先不勾选,因为可能造成误伤
c、音频模型:
- 检测耗时综合在1s以内,除「声纹鉴黄」模型是直接对声音进行检测,其余模型都是先将音频转文字后过文字模型,为保证模型精度,单工单限制1条音频
- 与文字模型一样,「诈骗」类型模型建议先不勾选
d、视频模型简介:
- 检测耗时综合在1s以内,除「声纹鉴黄」模型是直接对视频中音频直接进行检测,其余模型是先将视频抽帧为图过图片模型,音频转为文字过文字模型,为保证模型精度,单工单限制1条视频
- 与图片模型和文字模型一样,「直播违规」和「诈骗」类模型建议先不勾选
0.1.2. 实时监控服务模型
模型类型:直播视频模型、直播音频模型
模型选择:业务方可以根据自身业务需求按照模型实例选择模型,一般涉政和色情类型模型都是必选,其余模型视当前业务情况而定。
模型应用:主要用于抓取直播中的违规行为,从而将违规多的房间优先审核,详细见后方实时监控送检流程
直播视频模型:
1、视频直播检测是每5s抽一帧图去过直播模型
2、而针对视频直播中的娇喘、叫床行为则是通过「声纹鉴黄」模型抓取
直播音频模型:
1、音频直播检测是将音频内容实时翻译后过直播音频模型
2、而针对音频直播中的娇喘、叫床行为则是通过「声纹鉴黄」模型抓取