大模型测试自动化框架踩坑记录
最近尝试搭建大模型测试自动化框架，分享一些踩坑经验。首先推荐使用pytest + pytest-asyncio + requests的组合。
核心配置步骤：
- 安装依赖：
pip install pytest pytest-asyncio requests - 创建测试目录结构：
tests/和conftest.py - 配置pytest.ini：
[pytest]
asyncio_mode = auto
markers = slow
- 编写基础测试用例：
import pytest
import requests
def test_model_endpoint():
response = requests.get('http://localhost:8000/v1/models')
assert response.status_code == 200
assert 'model' in response.json()
常见问题：
- 环境变量未正确设置导致连接超时
- 异步测试执行顺序混乱
- 测试数据污染问题
建议使用Docker容器化部署，避免环境冲突。这个框架虽然基础，但足够支撑日常测试需求。
讨论