GoForum › 用户主页
zzutmebwd
加入时间: 2026-04-29 (1个月前)
当前积分: 100
Lv0
回复了帖子 lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度
· 12天前
@sentinelK 你都跑 ai 了,还用 windows 吗? hhh ,不是强词夺理哈,确实是很奇怪的选择。
回复了帖子 lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度
· 12天前
都用 NVIDIA RTX PRO 6000 Blackwell 了,还用什么 llama.cpp… 个人认为 llama.cpp 就是跑在洋垃圾显卡的聊天工具…跑 agent 什么的老老实实 vllm
回复了帖子 现在大模型主流都用哪些 nVidia GPU?
· 15天前
@zzutmebwd 对了,有个 pro6000d 84g ,合规阉割版,算力是不如 5090 的,但差不太多,如果四万多点能买到的话还是不错的,大显存省事儿很多。
回复了帖子 现在大模型主流都用哪些 nVidia GPU?
· 15天前
你如果说千亿参数在线 api 的话,h100 h200 b200 等的群集。
回复了帖子 现在大模型主流都用哪些 nVidia GPU?
· 15天前
没有 nvlink 的最强是 pro6000 ,下面是 5090⁄4090 48g/4090/4080 32g 。有 nvlink 的不了解。
回复了帖子 想折腾一个 AI 主机,请行家出手
· 1个月前
5 万以内无法替代 minimax deepseek-v4-flash 这种比较蠢的国产,20 万以内无法代替 glm 这种比较比较聪明的国产,无论花多少钱都无法达到 gpt5.5 和 opus4.7 这种顶尖的。 如果你的厌蠢症胜过受迫害妄想症,用订阅。
回复了帖子 目前远程 vibe 的最佳姿势(支持 n 多 agent)
· 1个月前
有人测过吗?这个和 happy coder 比哪个好使
@sentinelK 是的,我的配置和你是一样的,我是主机 ubuntu 跑 ai 和服务,虚拟机 windows ,windows 直通 cpu 核显平时用用,也很流畅。