关于合力租算力搭建大模型

sillydaddy

这个问题我觉得我已经有答案了：
「个人是否应该投资购买 DGX Spark 之类的硬件来跑开源模型？既是自用，也是某种防止硬件涨价的投资？」： /t/1234981

「两台 dgx-spark 部署满血 deepseek v4 flash 完全指南,稳定 60~70tok/s 单流」： /t/1232688

即使是 DGX-Spark 这样的显存带宽很低的，按照现在的 API 价格，跑满负载的话，也完全可以在 1 年左右回本儿。

但是，考虑到订阅价格普遍比 API 价格低 20 倍，即使按照 API 是 1 年回本来计算的话，按现在的低订阅成本，也需要 20 年才能回本。也就是说自己部署是永远也不如订阅划算的！

为啥订阅这么便宜呢？不太清楚。收集真实数据？通过入口留住用户？总之，这可能就是厂商的一种补贴吧。你能打得过补贴吗？

除非因为某些原因，无法使用订阅，比如隐私，比如订阅中缺乏替代模型，比如订阅会被限额限速。

ktyang

@iwasthere #2 h3 可以搞，甚至都不需要多好的算力，搞个 80G 的显存就够了，视频模型的定价和代码模型的定价逻辑完全不一样，除此以外的都没必要了，写代码的那些模型如果你想保证质量且流畅的使用价格都很高，五六个人也没办法应付的，远比一人一个 x20 要贵的多。

46fo

租西半球的谷电算力