GoForum › 用户主页
stefwoo
加入时间: 2026-01-09 (4个月前)
当前积分: 100
Lv0
回复了帖子 github 看到一个项目, 3090 跑 27B, 129tps,最高 207tps
· 25天前
为了把大模型和草稿小模型一起塞进 24G 显存,选 4-bit 量化(~16G ),草稿保持 BF16 (~1.2G ),KV 缓存用 quant 量化。 预填充时,草稿小模型飞速扫遍长文本,只挑出最重要的 5% 片段;大模型只对这 5% 做稀疏预填充,跳过其余 95% 的无关内容。 随后进入生…
回复了帖子 我靠, MacBook neo 叠加教育优惠和国补, 3399!?
· 2个月前
@yohole 你别说,我查了一下,还真是要好一些。😂
回复了帖子 DS 出新模型了,新 app 端有概率被灰度到
· 3个月前
我刚刚试了一下,发现 TPS 非常高。之前我都没用它就是因为它的输出速度太慢了。刚刚它的 TPS 特别高。上下文 1m 。
这域名的首页简直离谱,还锁定名额😑
回复了帖子 [鼠标]喜欢抓握该买什么鼠标更舒服
· 4个月前
我也刚刚买了 A7 pro ,感觉也可以用两个指头抓,主要是好轻啊,我之前用的是罗技 anywhere3
zed 启动也挺快的,现在也 1.0 了