个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型?既是自用,也是某种防止硬件涨价的投资?
考虑这几个因素:1. 回本周期看起来还行,特别是考虑到现在涨价后的 token 价格。用完的硬件还可以二次出售。
2. 硬件产能似乎不足,逼得 DeepSeek 官方也涨价了。硬件价格短期应该缓解不了吧。
3. 模型越来越聪明了。本地化也很够用了。
或者有其他更好的方案吗?从没想过靠硬件来保值。硬件小白,诸位轻喷。 “回本周期看起来还行”这个是如何得出的如此结论? "回本周期看起来还行"
如果真的还行的话模型厂商为什么不直接扫货然后对外提供服务? @sentinelK 简单估算了下跑满的 token 产出量: https://v2ex.com/t/1232688#r_17950784 买 token 更换算吧 纯讨论啊,我觉得 AI 市场已经很泡沫了(单纯投资方面),靠倒腾硬件很容易跌个跟头。再说,怎么定义你说的“用完的硬件还可以二次出售”,你不用了,对别人还有用吗,硬件也会推陈出新,所以某一款硬件一直保持在高价位是不可能的。
虽然 deepseek 涨价了,一定使用量的情况下,还是比你自己维护要省心和便宜,我实在看不出来投资的必要,要不然我早入了。 如无刚需,感觉还是不要创造需求吧。 @sillydaddy 这个预估完全失真。
实际使用中,一定是在 harness 场景下,harness 有巨量的系统提示词,即便是计算上超高的缓存命中,prefill 和 decode 的运算占比最终接近 7:3 。如果你计算上 prefill 的速度,你就会发现大概是 15~20 年回本。 纯经济考虑肯定是不划算的,自建基本是隐私因素 @sentinelK #7 如果有更小更强的模型呢,回本周期也会变短,咋说呢,都是赌。哈哈。我去年买的显卡还涨价一点点