GoForum › 用户主页
zhengfan2016
加入时间: 2026-01-12 (7个月前)
当前积分: 100
Lv0
消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低
🌐 V2EX
2个月前
0 回复