个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型？既是自用，也是某种防止硬件涨价的投资？

sillydaddy · 发表于 7 天前

考虑这几个因素：
1. 回本周期看起来还行，特别是考虑到现在涨价后的 token 价格。用完的硬件还可以二次出售。
2. 硬件产能似乎不足，逼得 DeepSeek 官方也涨价了。硬件价格短期应该缓解不了吧。
3. 模型越来越聪明了。本地化也很够用了。

或者有其他更好的方案吗？从没想过靠硬件来保值。硬件小白，诸位轻喷。

sentinelK · 发表于 7 天前

“回本周期看起来还行”这个是如何得出的如此结论？

musi · 发表于 7 天前

"回本周期看起来还行"
如果真的还行的话模型厂商为什么不直接扫货然后对外提供服务？

sillydaddy · 发表于 7 天前

@sentinelK 简单估算了下跑满的 token 产出量： https://v2ex.com/t/1232688#r_17950784

bunai · 发表于 7 天前

买 token 更换算吧

catning · 发表于 7 天前

纯讨论啊，我觉得 AI 市场已经很泡沫了（单纯投资方面），靠倒腾硬件很容易跌个跟头。再说，怎么定义你说的“用完的硬件还可以二次出售”，你不用了，对别人还有用吗，硬件也会推陈出新，所以某一款硬件一直保持在高价位是不可能的。
虽然 deepseek 涨价了，一定使用量的情况下，还是比你自己维护要省心和便宜，我实在看不出来投资的必要，要不然我早入了。

1258 · 发表于 7 天前

如无刚需，感觉还是不要创造需求吧。

sentinelK · 发表于 7 天前

@sillydaddy 这个预估完全失真。

实际使用中，一定是在 harness 场景下，harness 有巨量的系统提示词，即便是计算上超高的缓存命中，prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度，你就会发现大概是 15~20 年回本。

shintendo · 发表于 7 天前

纯经济考虑肯定是不划算的，自建基本是隐私因素

privil · 发表于 7 天前

@sentinelK #7 如果有更小更强的模型呢，回本周期也会变短，咋说呢，都是赌。哈哈。我去年买的显卡还涨价一点点