大模型推理过程中的恶意输入拦截策略对比实验

大模型推理过程中的恶意输入拦截策略对比实验

实验背景

在大模型推理过程中，恶意输入如prompt注入、指令投喂等攻击手段日益猖獗。本实验对比了三种主流的恶意输入拦截策略：基于关键词过滤、基于输入复杂度检测和基于行为异常检测。

实验环境

• 模型：LLaMA-2 7B
• 测试集：1000个恶意prompt样本，包括SQL注入、代码投喂、指令绕过等类型
• 检测策略：
  1. 关键词过滤（关键词库：['select', 'drop', 'exec', 'union']）
  2. 复杂度检测（基于字符熵和语法复杂度）
  3. 行为异常检测（基于模型输出与正常样本的相似度）

实验步骤

import numpy as np
from sklearn.metrics import accuracy_score, precision_score, recall_score

class MaliciousInputDetector:
    def __init__(self):
        self.keywords = ['select', 'drop', 'exec', 'union']
        
    def keyword_filter(self, prompt):
        return any(keyword in prompt.lower() for keyword in self.keywords)
        
    def complexity_check(self, prompt):
        # 计算字符熵
        chars = list(prompt)
        frequencies = np.array([chars.count(c) for c in set(chars)])
        probabilities = frequencies / len(chars)
        entropy = -np.sum(probabilities * np.log2(probabilities))
        return entropy > 4.5  # 阈值设定
        
    def detect(self, prompt, strategy):
        if strategy == 'keyword':
            return self.keyword_filter(prompt)
        elif strategy == 'complexity':
            return self.complexity_check(prompt)
        elif strategy == 'behavior':
            # 简化行为检测，实际需调用模型分析
            return self.complexity_check(prompt) or self.keyword_filter(prompt)

# 实验数据准备
detector = MaliciousInputDetector()
malicious_prompts = ["select * from users where id=1", "drop table users"]
normal_prompts = ["请帮我写一个Python程序", "介绍一下大模型"]

# 测试结果统计
results = []
for prompt in malicious_prompts:
    result = detector.detect(prompt, 'keyword')
    results.append(result)

实验结果

实验结论

行为异常检测策略在识别率上表现最优，但复杂度检测可作为快速过滤手段。建议采用多层防御策略组合使用。