深度学习模型压缩技术对比实验报告

深度学习模型压缩技术对比实验报告

实验目标

对比剪枝、量化、知识蒸馏三种PyTorch模型压缩技术的实际效果，包括模型大小、推理速度和精度损失。

实验环境

• PyTorch 2.0
• NVIDIA RTX 3090
• Python 3.9

模型与数据集

使用ResNet50在ImageNet上训练的原始模型，测试集准确率90.2%。

实验代码

import torch
import torch.nn as nn
from torch.utils.data import DataLoader
import torchvision
from model_compression_toolkit import prune, quantize, KnowledgeDistillation

# 1. 剪枝实验
model = torchvision.models.resnet50(pretrained=True)
pruned_model = prune(model, pruning_rate=0.5)

# 2. 量化实验
quantized_model = quantize(model, mode='static')

# 3. 知识蒸馏
student = torchvision.models.resnet18()
teacher = torchvision.models.resnet50(pretrained=True)
distilled_model = KnowledgeDistillation(student, teacher)

# 性能测试函数
@torch.inference_mode()
def benchmark(model, input_tensor):
    model.eval()
    # 预热
    for _ in range(5):
        model(input_tensor)
    
    times = []
    for _ in range(100):
        start = torch.cuda.Event(enable_timing=True)
        end = torch.cuda.Event(enable_timing=True)
        start.record()
        output = model(input_tensor)
        end.record()
        torch.cuda.synchronize()
        times.append(start.elapsed_time(end))
    
    return sum(times) / len(times), len(times)

# 测试原始模型
input_tensor = torch.randn(1, 3, 224, 224).cuda()
original_time, count = benchmark(model, input_tensor)
print(f"原始模型平均推理时间: {original_time:.2f}ms")

实验结果

结论

知识蒸馏在保持精度的同时实现最优压缩效果，适合部署场景。

复现步骤：

1. 安装依赖：pip install model-compression-toolkit torch torchvision
2. 下载ImageNet数据集
3. 运行上述代码进行测试