跑本地大模型 电费要多少？

mingtdlb

想了解下跑本地 LLM 的兄弟们，有算过 1 度电能产出多少 token 么。

https://www.douyin.com/video/7651445609950281713
一度电 500 万，不懂啥模型

VeteranCat

取决于你开多少卡， 一张 4090 跑推理，算他 400w 。10 张卡，不算其他电力的损耗，持续高负载推理一小时 至少 4 度电。  现在 LLM 最大的问题就在于此，其产出的价值都别说设备损耗了，电费都不见得能跑出来。

ldy619354397

我记得我问过 AI ，其实现阶段 token 算上电费和设备损耗基本不赚钱，特别是深度推理

raycool

直觉上应该不会这么少的 token

BingoXuan

不算输入，只有 216k 输出，0.25 度电，按视频 6 毛钱一度电来算，7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ，按照平均生成速度 60tokens/s 。

PrimeK

没算过，电费一个月 500 ，我一张 5090 跑 qwen-27b ，主机所在的房间火炉似的，温度比外面高一度以上，但本地模型效果垃圾得一 b ，又慢又卡🤮，玩多了真的觉得没啥意思，还是得云端模型才行

mingtdlb

@VeteranCat #1 TDP450 吧，我记得，那跑不了 400w 吧，稳定能跑到 350w 就很不错了。8 卡 40990 的使用效果是怎样的，没部署过，评判不了。

@ldy619354397 #2 以现在市面上的定价，token 工厂生产商应该是不赚钱的，但人家的收入不在这

@BingoXuan #4 这种小参数的，没什么应用场景吧，我感觉最少要到 35B ，70B 算凑合。

imruiming

@BingoXuan 这么对比 DeepSeek 和 opencode  zen 的免费模型真的很有性价比了

Soulxe2v

能产多少 token 取决于你用的什么卡、跑的什么参数的模型、模型架构是什么、跑的什么量化、有没有用其他优化。
按照现在个人本地部署普遍 qwen3.6 27b 或者 gemma4 31b 的情况下（两个都是能以单卡 5090 32G ，q4 量化部署的，参数量相对比较大的稠密模型），其实大概 60-80 左右的 tps 也出不了多少 token ，粗算一下一度电也就能出 40wtoken 左右。
自部署换用 MoE 模型倒是个提升吞吐量数字的好办法，可是消费级单卡能部署的 MoE 模型实际用起来都太笨了没什么用途，尤其有些 MoE 模型还默认强制开深度思考，那就更慢了。

xtreme1

以 token 提供商的角度, 即使你只计算电费, 也要 cover 训练使用的电...