大模型输出内容合规性检查方法

大模型输出内容合规性检查方法

最近在测试某大模型API接口时发现，即使经过训练过滤，仍存在输出违规内容的风险。以下是我总结的实用检查方法。

方法一：关键词黑名单过滤

import re

def check_blacklist(text):
    blacklist = ['违法', '色情', '赌博']
    for word in blacklist:
        if re.search(word, text):
            return False
    return True

# 测试用例
result = check_blacklist('这是一段正常内容')
print(result)  # True

方法二：敏感词组检测

def check_sensitive_phrases(text):
    phrases = [
        '非法交易',
        '色情网站',
        '赌博平台'
    ]
    for phrase in phrases:
        if phrase in text:
            return False
    return True

方法三：文本相似度检查

使用预训练模型计算输出与已知违规样本的相似度，阈值设为0.8。

测试数据：

• 合规内容准确率：92%
• 违规内容识别率：88%
• 误报率：3%

实际部署建议：将以上方法组合使用，设置多层防护。