qwen3.8 27B 被低估了

1258 · 发表于 7 天前

qwen3.8 27B 完全被低估了，讨论度不高。
如果有人在年初跟我讲，可以用两张 3090 本地部署一个超越当时最强的 opus4.5 几代的模型，我会觉得是痴人说梦。
感觉 qwen3.8 完全可以加入穿越者套餐了，穿越之自带太阳能发电板+本地部署 qwen3.8 27B 的硬件设备，再造人类文明完全不是问题吧

yiranw09 · 发表于 7 天前

你指 runinfra 免费的 qwen3.8 27B ？很奇怪的是我始终无法把他接入 hermes ，一直报错 Context length exceeded (16 tokens). Cannot compress further.

sentinelK · 发表于 7 天前

没有网络检索能力的小模型就是渣。

小模型意味着信息量储备少，没有非常深厚的常识基础，或者说常识的抽象程度很高。
如果没有外部信息做支撑，很容易产生很多没有细节的“正确的废话”。

最简单的办法，你用 llama.cpp 的默认 web 应用调用一下试试看，直接就变成弱智。

能力强的小模型很像中年老板。能量大，但其实不太关注信息量和细节。他的能力都来自于和外界的串联。你把他手机收了直接降级成中年油腻老头。

相反，老版本的大模型像是老教授，不太会玩手机，所以显得很笨，很脱离现实。

1258 · 发表于 7 天前

@sentinelK 好比喻，也可以比喻成能力很强的年轻程序员，没有 github 或者网络检索很难凭经验解决 bug ，只能力大砖飞

1258 · 发表于 7 天前

@yiranw09 runinfra 的 3.8 居然免费了吗？这个模型部署成本确实很低

levn · 发表于 7 天前

都吹成本地的 opus4.6 了，还叫低估吗

1258 · 发表于 7 天前

@levn 是本地百无禁忌的 opus4.6 ，这很夸张了，你甚至可以要求他做坏事，或者在灰色地带赚钱，只需要付出电费。

nguoidiqua · 发表于 7 天前

其实 R 站讨论热度很高的，国内玩自己部署的还是相对较少。

单看编程方面的跑分，略超 Opus 4.6 、MiniMax M3 、Gemini 3.5 ，略低于 Hy3 、Kimi K2.6 ，稍弱于 V4 Flash 0731 、Spark 1.1 、Gemini 3.7 、GLM-5.2 、Qwen3.7 Max 。（当然跑分这个东西仅供参考，各家跑分的排名都是出入较大的）

不过目前反馈有：一、过度推理，xHigh 下面推理消耗的时间和 TOKEN 比 Medium 多几倍。二、偏科严重，相比 Qwen3.6 27B ，某些方面提升很大，某些方面反而倒退了。

coefu · 发表于 7 天前

1 ，deepseek harness + qwen3.8 27B ，自己修复自己 bug ，自己给自己写插件。

2 ，联网，记忆，都让它自己写的插件。一个联网的小 case ，都还有很多搞不定。指点一条路，searxng 。记忆参考 benchmark： https://agentmemories.ai/home

3 ，Hidden Dimension: 5120 ，Number of Layers: 64 ，dense 黄金比例下，参数有限，只能靠反复推理榨出更多智力，过度推理是代价，但是本地部署，无非多几度电罢了，终归能把任务完成。从 Hidden Dimension: 8192
，Number of Layers: 92 的 2.4T 里蒸馏出来的逻辑能力。就这么点参数，逻辑能力占多了，通用知识当然就少了。

coefu · 发表于 7 天前

它的对手是早它几天开源的 Muse-Glimmer-30B ，glimmer 确实也很 ok ，但是 Hidden dimension 6656 ，Layers 52 ，比 27B 少了 12 层深度，虽然宽了点，表达更丰富。但是，在特定的领域里，比如 coding / math ，逻辑缜密性比表达能力更重要。这在具体任务上，通常就是看起来在思考，但是最深层次的矛盾，总是擦肩而过，力有不逮的感觉。

glimmer 适合写小说，写剧本，一定深度的任务。

qwen3.8 是 coding 领域真正的生产力工具。