大模型输入过滤机制的准确性验证

大模型输入过滤机制的准确性验证

实验背景

针对大模型面临的投毒攻击威胁，我们构建了基于字符级和语义级双重过滤机制。通过对比实验验证不同过滤策略对攻击成功率的影响。

实验设计

测试集构建：从公开数据集提取1000条恶意输入样本，包含SQL注入、命令执行等典型攻击模式。

过滤策略：

1. 字符级过滤（字符黑名单）
2. 语义级过滤（关键词检测）
3. 双重过滤（字符+语义）

实验步骤

import re
import json

def char_filter(text):
    # 字符级过滤规则
    blacklist = [';', '--', '/*', '*/', '"', "'"]
    for pattern in blacklist:
        text = re.sub(pattern, '', text)
    return text


def semantic_filter(text):
    # 语义级关键词过滤
    keywords = ['select', 'insert', 'update', 'delete', 'drop', 'exec']
    for keyword in keywords:
        if keyword.lower() in text.lower():
            return True
    return False

# 测试数据验证
malicious_inputs = [
    "SELECT * FROM users; -- malicious",
    "DROP TABLE users;",
    "INSERT INTO users VALUES ('admin', 'password')"
]

for input_text in malicious_inputs:
    char_filtered = char_filter(input_text)
    semantic_result = semantic_filter(char_filtered)
    print(f"原始: {input_text}")
    print(f"字符过滤后: {char_filtered}")
    print(f"语义检测: {semantic_result}")

实验结果

结论

双重过滤机制在准确率和安全性方面表现最优，建议在生产环境中部署该方案。