Llama Web Manager - 轻量级 llama-server 实例管理工具

以前用命令行为每个模型启动一个 llama-server，管理起来挺麻烦的，尤其是切换模型看日志的时候。

最近写了个 Web 管理工具，核心功能：

• 多实例管理 - 同时运行多个 llama-server ，通过卡片管理
• 实时日志 - SSE 推送，启动/停止自动切换到对应实例
• 参数可视化 - 模型路径、端口、线程数、GPU 层数点点就配
• 守护进程 - 独立进程，Web UI 重启不影响运行中的实例

技术栈：

• Python Flask + SQLite
• Vue 3 (CDN ，无构建步骤)
• SSE 实时推送

项目地址： https://github.com/leaves615/llama-manager

有类似需求的可以试试，欢迎 Star Issue 和 PR 。

AI 辅助生成