论坛 › 水池 › 太爽了,用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

newzors 发表于 2026-8-19 16:22:09

太爽了,用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

我的笔记本是 T550 4G,32G ，用 llama.ccp 部署了 qwen2.5-coder-7b-instruct-q4_k_m.gguf
跑起来太爽了，做一些普通的文本生成很棒！！！但是上下文 4096 太小了，增加参数好像也不行，不能用于 DSH ，有没有别的办法？外挂 GPU 么，有没有便宜的办法。

snachx 发表于 2026-8-19 16:36:02

试试新的吧，2.5 应该进故纸堆了

lancelock 发表于 2026-8-19 17:06:12

这模型也太老了吧

查看完整版本: 太爽了,用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf