GoForum🌐 V2EX

想折腾一个 AI 主机,请行家出手

davidyin · 2026-05-10 01:05 · 0 次点赞 · 19 条回复

打算自组一 AI 主机,用于本地 llm 。 可用于 kiro IDE 的,gitlab duo 。

可行性有多大,能否代替订阅的那些 ai 服务?

配置有没有推荐的,各 AI 行家请出手相助。

19 条回复
qfdk · 2026-05-10 01:10
#1

看了明矾系列的 到现在没下手… 要不要等等 mac mini ? 说不定有新科技? 本来打算买 m4 , 后来一拉配置,直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快… 也这里蹲一个吧

qfdk · 2026-05-10 01:10
#2

看了明矾系列的 到现在没下手… 要不要等等 mac mini ? 说不定有新科技? 本来打算买 m4 , 后来一拉配置,直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快… 也这里蹲一个吧

yusf · 2026-05-10 01:15
#3

老老实实买用 api 吧

davidyin · 2026-05-10 01:15
#4

@yusf 订阅很方便,只是有洁癖,不想自己的东西暴露到外面。

希望都在局域网内。

yusf · 2026-05-10 01:20
#5

@davidyin https://www.bilibili.com/video/BV1zmSoBnEYM 看下这个 up 的本地部署体验

davidyin · 2026-05-10 01:25
#6

@yusf

Mac 不考虑。基本没有用苹果的产品。 对于性价比敏感。

davidyin · 2026-05-10 01:35
#7

现在有个初步的配置清单: RTX 4070 SUPER 12GB Intel i5 14600K Asus TUF B760 DDR5 32GB(2*16gb) SSD 1TBx2 看看合适吗?

AastroLula · 2026-05-10 01:50
#8

还是考虑买 api 吧,当然实在有钱可以折腾玩玩,如果 op 是需要正式干活可能 anthropic 博客里提的用聪明的大模型指导小模型是个算是能用的方案,但是这块一来需要折腾很久,二来还是得买外面的 api. 我之前也是想搞本地大模型折腾玩玩,后来发现纯粹是垃圾佬的馋瘾上来了,再说现在啥都涨价的买了也是大冤种,如果 op 想买 aimax 395 算是个选择吧,当然有特殊需求部署几 b 模型能用上也是好事,12g 显存骗骗哥们还行,别把自己骗了,以上是我的一点想法

devzhangyu · 2026-05-10 01:55
#9

可以看看这个项目 https://github.com/AlexsJones/llmfit

  1. 找出你的硬件能运行哪些模型
  2. 估算某个模型配置需要什么硬件
  3. 硬件模拟,可查看哪些模型适合目标硬件
ntedshen · 2026-05-10 02:05
#10

降价期间屯硬件,那 bro 你很勇哦(

4070s 有没有 4060ti 好使我不知道。。。 但是 14600k 和 d5 的意义在哪?

Livid · 2026-05-10 02:05
#11

@davidyin 瓶颈是显存。

可以看一下 DGX Spark 系列的产品。

davidyin · 2026-05-10 03:30
#12

@Livid 这个超出预算了。就我的使用情况,估计太大才小用了。

@AastroLula 订阅过 kiro 的那些模型。挺好用,只是不想把自己丑陋的代码上传上去,才想着全部在本地。 是啊,配件涨价太多。的确有些下不去手。

@ntedshen Intel CPU 和 DDR5 是也不是一定,你有好的建议欢迎提出来。

@devzhangyu 谢谢推荐,我去看看。

iango · 2026-05-10 04:05
#13

@davidyin 再等等,技术升级太快了。 看看这个: https://github.com/antirez/ds4

128M Apple MBP 跑 DeepSeek V4 Flash

viskem · 2026-05-10 04:15
#14

64G M4 MacMini 循环跑 DeepSeek V4 Pro 中,MLX 31B 27B 啥的放那一堆 都停用了。 是的,不如买个 AIR ,走到哪 Vibe 到哪……

luodan · 2026-05-10 05:40
#15

就看显存大小,其它可以全部忽略。要么独立显卡,要么统一内存。

davidyin · 2026-05-10 06:55
#16

@luodan 大显存重要,GPU 级别低一点,问题不大?

gtchan13579 · 2026-05-10 07:25
#17

Intel Arch B50 16G 铭瑄 H610I Ultra 230F DDR5 5600 16G*2 差不多就可以了

MrLonely · 2026-05-10 08:10
#18

@davidyin 显存大小决定能不能跑,GPU 高低决定跑得快慢。

zzutmebwd · 2026-05-10 08:15
#19

5 万以内无法替代 minimax deepseek-v4-flash 这种比较蠢的国产,20 万以内无法代替 glm 这种比较比较聪明的国产,无论花多少钱都无法达到 gpt5.5 和 opus4.7 这种顶尖的。 如果你的厌蠢症胜过受迫害妄想症,用订阅。

添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: davidyin
发布: 2026-05-10
点赞: 0
回复: 0