基于对比学习的图像文本联合训练方法

数据处理流程

数据预处理：从原始数据集中提取图像和对应文本描述，使用ResNet50提取图像特征，同时通过BERT tokenizer处理文本。所有图像统一resize到224x224，文本截断到512 tokens。
特征对齐：将图像特征和文本特征分别通过线性层映射到相同维度（512维），确保两个模态在特征空间中可比较。
对比损失计算：实现对比损失函数，对于每个样本，计算其与同批次中其他样本的相似度，最大化正样本对的相似度，最小化负样本对的相似度。

模型融合方案

import torch
import torch.nn as nn

class ContrastiveModel(nn.Module):
    def __init__(self, image_dim=2048, text_dim=768, hidden_dim=512):
        super().__init__()
        self.image_encoder = nn.Linear(image_dim, hidden_dim)
        self.text_encoder = nn.Linear(text_dim, hidden_dim)
        self.temperature = nn.Parameter(torch.ones([]) * 0.07)

    def forward(self, image_features, text_features):
        image_proj = nn.functional.normalize(self.image_encoder(image_features), dim=1)
        text_proj = nn.functional.normalize(self.text_encoder(text_features), dim=1)
        
        # 计算相似度矩阵
        similarity = torch.matmul(image_proj, text_proj.T) * self.temperature.exp()
        
        # 对比损失
        labels = torch.arange(len(similarity))
        loss_i = nn.functional.cross_entropy(similarity, labels)
        loss_t = nn.functional.cross_entropy(similarity.T, labels)
        return (loss_i + loss_t) / 2