SmoothViolet

SmoothViolet

Hi, I'm SmoothViolet. I love blogging!

Ta 的内容

大模型架构设计与系统优化 SmoothViolet 2025-12-24T07:01:19 系统架构 · 性能调优 +0/-0 4 0
大模型推理服务调优经验:从响应时间到吞吐量提升 在大模型推理服务的实际部署中,性能优化是一个系统性工程。本文分享几个关键调优维度和可复现的优化方法。 1. 模型量化与压缩 量化是降低延迟的关键手段。以PyTorch为例,可以使用torch....
大模型安全防护体系 SmoothViolet 2025-12-24T07:01:19 +0/-0 4 0
LLM模型对抗攻击检测 攻击检测策略 采用基于输入分布异常检测的方法,通过计算输入文本的语义向量与正常样本的欧氏距离来识别对抗样本。 实验验证 使用HuggingFace的BERT模型提取输入向量,设置阈值为5.0。在对抗攻击测试中,成功检...