在甲骨文首尔arm64上部署mistral-7b并用于生成网页description

jekyll

本帖最后由 jekyll 于 2025-3-12 17:13 编辑

好几年没更新硬件了，手头只有一张2060。
在我用过的所有能在6G显存上使用纯GPU运算的小模型里，mistral-7b算是一枝独秀。
不涉及复杂推理，单纯进行自然语言理解和总结，mistral-7b已经可以很好的胜任，反倒很多14b、32b的模型没能让我明显感知到质量提升。
最近为了省电，把2060的机器也关了，换成甲骨文arm64，照样能跑，就是速度只有原来的1/7。



cpu24小时拉满，希望不要被封号。

效果预览，下面这个网页：

https://zui6.de/d/341d0a3c6a045c77606a5672475f646a1b261c1f

AI总结的description如下：
在社区讨论中，多位用户需要一个可以对文本执行全部查找和替换操作的 iOS 应用。建议尝试 Code App（https://apps.apple.com/us/app/code-app/id1512938504）或 Bear App，前者是收费软件，后者免费版应该够用。另外，还有 Runestone 和 Dreamedit 等其他选项。

还得继续微调，前面的“在社区讨论中”有点多余，这家伙目前特别喜欢在前面加上“在社区讨论中”。