GoForum › 用户主页
stefwoo
加入时间: 2026-01-09 (4个月前)
当前积分: 100
Lv0
回复了帖子 github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps
· 25天前
为了把大模型和草稿小模型一起塞进 24G 显存，选 4-bit 量化（~16G ），草稿保持 BF16 （~1.2G ），KV 缓存用 quant 量化。 预填充时，草稿小模型飞速扫遍长文本，只挑出最重要的 5% 片段；大模型只对这 5% 做稀疏预填充，跳过其余 95% 的无关内容。 随后进入生…
回复了帖子 我靠， MacBook neo 叠加教育优惠和国补， 3399！？
· 2个月前
@yohole 你别说，我查了一下，还真是要好一些。😂
回复了帖子 DS 出新模型了，新 app 端有概率被灰度到
· 3个月前
我刚刚试了一下，发现 TPS 非常高。之前我都没用它就是因为它的输出速度太慢了。刚刚它的 TPS 特别高。上下文 1m 。
这域名的首页简直离谱，还锁定名额😑
回复了帖子 [鼠标]喜欢抓握该买什么鼠标更舒服
· 4个月前
我也刚刚买了 A7 pro ，感觉也可以用两个指头抓，主要是好轻啊，我之前用的是罗技 anywhere3
zed 启动也挺快的，现在也 1.0 了