量化测试数据准备：构建有效的验证数据集

量化测试数据准备：构建有效的验证数据集

在模型量化部署过程中，验证数据集的构建直接决定了量化效果的可靠性。本文将基于实际工程场景，演示如何准备高质量的量化测试数据。

数据集构建原则

首先明确量化测试数据的核心要求：

• 覆盖性：数据需涵盖模型训练时的输入分布范围
• 代表性：样本应反映真实业务场景的输入特征
• 多样性：包含边缘case和异常值

实际操作步骤

import numpy as np
import torch
from torchvision import datasets, transforms

# 1. 加载原始数据集
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
])

train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)

# 2. 采样策略 - 基于分布采样
sample_indices = []
for i in range(10):  # CIFAR-10共10类
    class_indices = [j for j in range(len(train_dataset)) if train_dataset[j][1] == i]
    # 随机采样500个样本
    sampled = np.random.choice(class_indices, size=500, replace=False)
    sample_indices.extend(sampled)

# 3. 构建验证集
val_loader = torch.utils.data.DataLoader(
    torch.utils.data.Subset(train_dataset, sample_indices),
    batch_size=64,
    shuffle=True
)

# 4. 数据分布分析
input_stats = []
for data, _ in val_loader:
    input_stats.append(data)
    if len(input_stats) > 100:  # 限制内存使用
        break

# 计算均值和标准差
all_data = torch.cat(input_stats)
mean = all_data.mean(dim=[0,2,3])
std = all_data.std(dim=[0,2,3])

关键参数设置

• 采样数量：建议每个类别至少100-500个样本
• 数据范围：确保包含输入张量的99%以上分布
• 批次大小：64-128，平衡内存与效率

效果评估方法

使用TensorRT量化工具进行测试：

# 生成INT8校准表
trtexec --onnx=model.onnx \
       --explicitBatch \
       --inputShapes=inputs:1x3x224x224 \
       --calib=calibration_cache.bin \
       --int8

通过对比量化前后模型在验证集上的推理精度，确保量化损失控制在5%以内。