GoForum🌐 V2EX

我自己的电脑是 5070Ti,总感觉跑一些模型算力不够

babymonster · 2026-04-29 13:35 · 0 次点赞 · 20 条回复

各位大佬们,我自己电脑配置也挺高 9800x3d+5070ti,但是自己玩大模型感觉算力不够,输出速度好慢,有没有大佬推荐一下什么显卡玩大模型算力舱还比较不错的

20 条回复
wander555 · 2026-04-29 13:40
#1

h100 呗,dpsk 官方的推荐配置都是这个

babymonster · 2026-04-29 13:40
#2

@wander555 哥这个太贵了吧 玩不起啊

mqnu00 · 2026-04-29 13:40
#3

是算力问题吗?我感觉显存不够用。

foolishcrab · 2026-04-29 13:45
#4

可以租算力玩啊,买卡肯定是不经济的,你又不能 7*24 用它的算力

babymonster · 2026-04-29 13:45
#5

@mqnu00 是的 好像只有 16G

babymonster · 2026-04-29 13:45
#6

@foolishcrab 好像也是 有没有推荐租用的平台

miludeerKay · 2026-04-29 13:45
#7

本地的统一当玩具

bugmaker233 · 2026-04-29 13:45
#8

….跑个 27b 不错了

vinsony · 2026-04-29 13:50
#9

5070Ti 就玩 Qwen3.6-35B-A3B

babymonster · 2026-04-29 13:50
#10

@miludeerKay 哈哈哈哈哈

andforce · 2026-04-29 13:50
#11

兄弟,不是算力不够,是你的钱不够

yidinghe · 2026-04-29 13:55
#12

不要谈感觉,直接去看系统资源使用,CPU 如何,GPU 如何,内存如何,显存如何,磁盘 IO 如何,这些细节分享出来才是有效的。

junwind · 2026-04-29 13:55
#13

你这是游戏显卡,买 H800

asdjgfr · 2026-04-29 13:55
#14

我是 u7 265k+5060ti(16g),只能跑玩具模型,消费 pc 根本玩不了本地部署,老实租算力吧

cwcc · 2026-04-29 14:00
#15

不是算力的问题,是显存太紧张了,只能跑个 7b 左右的才能达到每秒 70-100tok 的速度,跑更大模型受限的情况瓶颈基本全在 PCIe 带宽和显存上。

真要横向比较的话,我自己的 36G 的 MacBook Pro 能跑 qwen3.6035b-a3b 模型,每秒能到 30token ,但长上下文直接把内存撑爆死机;相比我的 5060Ti 只能直接跑小模型,或者 CPU 混合计算下利用 64G 的 RAM 能以很慢的速度跑很大的模型也不会爆内存死机。总之各有各的瓶颈,你得知道自己的硬件瓶颈在哪里。

babymonster · 2026-04-29 14:05
#16

@andforce 确实 钱太少了哈哈哈

babymonster · 2026-04-29 14:05
#17

@junwind 兄弟 钱不够啊哈哈哈

babymonster · 2026-04-29 14:05
#18

@cwcc 研究研究 昨天玩了一晚上 回去接着玩

onedge · 2026-04-29 14:10
#19

目前顶流满血可用状态( 100tps 左右)你的资金要 200w 人民币以上,更小的模型你就往回减,32GB 显存你就搞个几十 B 的模型最多了,而且速度还不会太快

zturns · 2026-04-29 14:10
#20

租 GPU 可以试试这个平台:aHR0cHM6Ly9zaG9ydHVybC5hdC85MHoyTw==

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: babymonster
发布: 2026-04-29
点赞: 0
回复: 0