GoForum🌐 V2EX

token 省钱有哪些点子?毕竟天下苦 3 大厂久矣。

ota · 2026-05-06 03:15 · 0 次点赞 · 0 条回复

我暂时考虑自建或租用一个 gemma 模型 ,跑一些简单任务如 cron 定时查阅邮件这种。 毕竟 gemma 4B 性价比最高,然后将 agent 分层,智能敏感的大厂,中低端的给 gemma 。

不准备本地搭建,对延迟不敏感。 顺便跑不可信 agent 准备用 smolvm ,相当于本地 serverless ,这样类似做了一层 sandbox ,强隔离。 当然,lxc 也可以,但对于不可信 agent ,最好短期内跑在 smolvm 里,后面再移到 lxc 中。

服务器费用增加一点,维护成本增加一点。但我觉得至少能让 token 减少 13 的无效请求。

其他还有什么优化方案?

0 条回复
添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: ota
发布: 2026-05-06
点赞: 0
回复: 0