[分享] Mac 本地跑大模型实测： 54 tok/s，一年省下 API 费 ≈ 一台 Mac mini

V 友们好，最近帮公司做推理成本优化，把实测过程整理出来了。

背景：团队每天 2000+ 次摘要/分类调用，走 API 一个月 ¥2000 上下。这类任务（工单分类、报表摘要、字段抽取）其实 3B 模型就能干，没必要每次都叫 GPT-5 。

实测：M1 Pro 32GB + llama.cpp + Qwen2.5-3B Q4_K_M （ 2GB ）

• 生成 54 tok/s （每秒约 40 个汉字）
• prompt 解析 551 t/s ，2100 token 长文 504 t/s 基本不衰减
• 内存 3.2GB ，挂后台无感

部署就三步：

1. brew install llama.cpp
2. curl 下载 gguf （ hf-mirror.com 镜像，-C - 断点续传）
3. llama-cli -m 模型路径 -p “提示词”

要给团队用的话 llama-server 一条命令起 OpenAI 兼容 API ，现有代码改个 base_url 就行。

顺便说下最近很火的 DeepInfer （ DeepSeek 开源的推理引擎）：性能确实猛，但硬件要求 Linux + NVIDIA SM100 （ B200 那个级别）或昇腾 950 ，中小企业看看就好，现阶段 vLLM 是甜点位。

完整教程+选型对比表： https://ai2070.cn （博客版）

想问下 V 友们：

1. 你们团队的 AI 调用量一个月 API 费多少？
2. 有没有人在生产跑过本地小模型？踩了什么坑？