想折腾一个 AI 主机,请行家出手
打算自组一 AI 主机,用于本地 llm 。 可用于 kiro IDE 的,gitlab duo 。
可行性有多大,能否代替订阅的那些 ai 服务?
配置有没有推荐的,各 AI 行家请出手相助。
@davidyin https://www.bilibili.com/video/BV1zmSoBnEYM 看下这个 up 的本地部署体验
还是考虑买 api 吧,当然实在有钱可以折腾玩玩,如果 op 是需要正式干活可能 anthropic 博客里提的用聪明的大模型指导小模型是个算是能用的方案,但是这块一来需要折腾很久,二来还是得买外面的 api. 我之前也是想搞本地大模型折腾玩玩,后来发现纯粹是垃圾佬的馋瘾上来了,再说现在啥都涨价的买了也是大冤种,如果 op 想买 aimax 395 算是个选择吧,当然有特殊需求部署几 b 模型能用上也是好事,12g 显存骗骗哥们还行,别把自己骗了,以上是我的一点想法
可以看看这个项目 https://github.com/AlexsJones/llmfit
- 找出你的硬件能运行哪些模型
- 估算某个模型配置需要什么硬件
- 硬件模拟,可查看哪些模型适合目标硬件
@Livid 这个超出预算了。就我的使用情况,估计太大才小用了。
@AastroLula 订阅过 kiro 的那些模型。挺好用,只是不想把自己丑陋的代码上传上去,才想着全部在本地。 是啊,配件涨价太多。的确有些下不去手。
@ntedshen Intel CPU 和 DDR5 是也不是一定,你有好的建议欢迎提出来。
@devzhangyu 谢谢推荐,我去看看。
@davidyin 再等等,技术升级太快了。 看看这个: https://github.com/antirez/ds4
128M Apple MBP 跑 DeepSeek V4 Flash
Intel Arch B50 16G 铭瑄 H610I Ultra 230F DDR5 5600 16G*2 差不多就可以了
看了明矾系列的 到现在没下手… 要不要等等 mac mini ? 说不定有新科技? 本来打算买 m4 , 后来一拉配置,直接充 cc 了. 我 m1 跑 llm 吐字都不如我打的快… 也这里蹲一个吧