公司本地部署开源模型

majuzhang · 发表于 2026-8-14 09:05:14

想知道公司里部署一个可以供 20-40 人用的开源模型，需要大概怎样的硬件配置，一般会做文档处理，以及一些简单的编程

owen800q · 发表于 2026-8-14 09:11:04

5090

majuzhang · 发表于 2026-8-14 09:14:44

@owen800q 一张就够了吗，并发会不会很吃力

owen800q · 发表于 2026-8-14 09:15:31

Muze · 发表于 2026-8-14 09:43:08

可以搜技术犬，他们好像专门弄这个静音 AI 机箱，但是价格动不动就 50 到 80 万的，看预算吧，有机房的话，可以去找各大服务器厂家询价，例如惠普，戴尔之类的

someonesnone · 发表于 2026-8-14 09:44:24

感觉得魔改大显存

gpt5 · 发表于 2026-8-14 09:54:51

看抖音上有人用 5000 块钱 diy 的丐版硬件部署 dsv4flash ，可以跑到 100tps 以上。

Integ · 发表于 2026-8-14 10:01:06

4 张 RTX pro 6000 就够了。

wu67 · 发表于 2026-8-14 10:03:05

除非数据有超常规格的保密要求, 不然还不如买套餐...本地跑单是商用电费就够你们喝一壶了

malusama · 发表于 2026-8-14 10:03:48

感觉现在本地部署根本不划算。。