关于合力租算力搭建大模型

iwasthere · 发表于 5 天前

RT,几个人一起出资租好点的算力然后部署开源大模型（ Qwen,h3,deepseek 等），做成一个接口访问是不是比订阅更划算？

ktyang · 发表于 5 天前

没办法高效调度和满载利用的话是不可能划算的

iwasthere · 发表于 5 天前

@ktyang 5 ，6 个人这样规模的是不是应该可以应付？

azuis · 发表于 5 天前

怎么解决高峰时段大家都想用的问题呢？

iwasthere · 发表于 5 天前

@azuis 这个问题或许只能实际部署下试试

mingtdlb · 发表于 5 天前

你讲这个话前，先去调研看看算力租赁什么价格吧...H200 一个月十几万。

现在的问题我认为不是 token 贵，而是它不能保证一次解决问题，比如 100 块解决一个任务

现在做算力的应该都是赔钱赚吆喝吧

strobber16 · 发表于 5 天前

您是不是在找: ollama cloud

iwasthere · 发表于 5 天前

@mingtdlb 我参考的是 vast.ai

iwasthere · 发表于 5 天前

@strobber16 不不不，你这个还是订阅

soulflysimple12 · 发表于 5 天前

你的成本控制的会比那些云服务厂商更强吗？