最近两个月 AI Token 用量： 135 亿，缓存命中 96%，有点夸张

mrchengzp · 发表于 5 天前

统计了一下 5 月到 7 月初的 AI 用量，68 天，总 Token 大概 135.65 亿，日均 2 亿左右，换算成 API token 价格 $15,194 ，比工资都高了有木有😂。感谢 Codex 和 Cluade 的套餐订阅。

比较意外的是缓存命中率有 96%，缓存节省显示 $70,824 ，不然成本会更吓人。

感觉现在做 AI 应用，模型本身只是成本的一部分，缓存、上下文复用、模型路由、限流策略可能才是真正决定能不能跑得动的关键。

大家现在 AI 应用的 Token 成本大概是什么水平，可以分享分享你们的用量吗？

日均 2 亿 Token 算重度使用吗？

大家有没有什么比较实用的降本方案？

xiaomushen · 发表于 5 天前

赚了多少呢？

realpg · 发表于 5 天前

我这边，AI Coding 的效能不算码农工资，是 15 倍左右回报率

yjxjn · 发表于 5 天前

请教一下，缓存命中这个如何提高？使用 OpenSpec 之类的么

bailywen · 发表于 4 天前

@realpg 不算码农的工资是怎么理解呢？是不计员工工资或者这些码农是外包的不计入成本？

aarontian · 发表于 4 天前

@yjxjn 只要模型上下文够长/压缩不频繁，相当于每次调用只有最近的一组 tool call+tool result 是新的（比如 1-2w token ），前面都是缓存的 token ，但使用 token 数按接近 1M 给你算，缓存率自然高。
这些是模型厂+agent 开发者考虑的事，不需要用户特别做什么

msg7086 · 发表于 4 天前

@bailywen 应该是不管用不用 AI 都能挣到工资的意思？