GoForum🌐 V2EX

请问各位大神,在隔离环境中,有本地 qwen 大模型,有没什么解决方案,做本地的知识库的方案,类似谷歌那个 notebooklm ,也勉强可以?

ken2025 · 2026-05-01 22:35 · 0 次点赞 · 2 条回复

(无内容)

2 条回复
onedge · 2026-05-01 22:45
#1

了解一下标准的 RAG 流 https://zhuanlan.zhihu.com/p/1890727581348778391 直接喂 AI 让它帮你实现本地服务,所有服务挂一个 docker 容器里。

一般精度要求的话,大概是这个步骤:

服务端入:进原始文件,本地就不用额外存储文件了,进行切片,转向量/存储 (qwen embedding 4b) 客户端查:开发自己的前台/前端,提问转向量(如 qwen embedding 4b ),向量数据库查,排序模型重排序,返回给用户,带 source 源头标记

其他还有图片输入查询之类的你直接问 AI 实现即可

ken2025 · 2026-05-01 23:35
#2

rag 这个是不是还存在上下文的问题,之前试过直接挂载知识库,效果不好

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: ken2025
发布: 2026-05-01
点赞: 0
回复: 0