公司私有化部署大模型

SoulSleep · 发表于前天 21:25

公司有点规模，搞了几千万预算部署了一些国产开源大模型，然后流程上要求高敏业务的智能体必须使用本地化模型。

从技术的角度讨论下看，这个事还能继续走下去吗？

已知的问题：
1.不如云厂商提供的模型兼容性好
2.偶尔还有 bug ，比如 tool call bug
3.这个预算碰到 k3 这种模型根本部署不起

还会有什么问题？你怎么看？

jacketma · 发表于前天 21:28

部署哪家的大模型，可以找官方支持服务啊，人家包你调试的

demonvinc · 发表于前天 21:34

几千万 K3 还是够的

wombat · 发表于前天 21:41

从模型参数看，和 K3 相比，GLM5.2 私有化部署性价比更高，已经满足日常使用的需求。K3 ，看公开的使用体验，并没有高出很多。 tool call 的问题，GLM5.2 应该少了很多。问题不大。

wombat · 发表于前天 21:45

@wombat B300 ，1300W 左右。经费够，采购这个。

superkkk · 发表于前天 22:03

H200*8 或者 B300*8 吧，买机器的钱够冲 token 用 10 多年估计没问题

tolbkni · 发表于前天 22:04

同楼上，这个预算能搞 B300 搞 B300 ，然后跑 GLM5.2 不比 K3 效果差多少，但对显存要求低了很多

isbase · 发表于前天 22:31

这技术上当然没毛病大公司基本上都有自己的私有化 AI 云

Atma · 发表于前天 23:08

自己部署一部分，然后购买厂商的一部分，分级使用