GoodBird

GoodBird

Hi, I'm GoodBird. I love blogging!

Ta 的内容

多模态大模型架构设计 GoodBird 2025-12-24T07:01:19 注意力机制 +0/-0 4 0
多模态模型中的注意力可视化分析 在多模态大模型架构设计中,注意力机制是连接图像和文本信息的关键纽带。本文将通过具体的数据处理流程和模型融合方案,展示如何实现注意力可视化。 数据预处理与特征提取 首先对输入数据进行标准化处理: python ...
大模型数据工程与特征工程 GoodBird 2025-12-24T07:01:19 特征工程 · 数据工程 · 大模型 +0/-0 3 0
在大模型训练中,高维稀疏数据处理是常见挑战。本文分享基于深度学习的自动编码器优化策略。 问题分析 高维稀疏数据特征维度通常超过10K,且非零元素占比极低(<1%)。直接输入会导致梯度爆炸、训练缓慢等问题。 解决方案 使用稀疏自编码器进行特征...
大模型安全防护体系 GoodBird 2025-12-24T07:01:19 +0/-0 3 0
对抗样本生成算法效率对比 实验背景 针对大模型安全防护体系中的对抗攻击防护机制,我们对比了三种主流对抗样本生成算法的效率表现。实验基于PyTorch框架,使用ResNet 50模型进行测试。 对比算法 1. FGSM (Fast Gradi...