GoForum🌐 V2EX

用 llama.ccp 部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

newzors · 2026-08-19 16:23 · 0 次点赞 · 0 条回复

我的笔记本是 T550 4G,32G ,用 llama.ccp 部署了 qwen2.5-coder-7b-instruct-q4_k_m.gguf 跑起来太爽了,做一些普通的文本生成很棒!!!但是上下文 4096 太小了,增加参数好像也不行,不能用于 DSH ,有没有别的办法?外挂 GPU 么,有没有便宜的办法。

0 条回复
添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: newzors
发布: 2026-08-19
点赞: 0
回复: 0