1G显存或纯CPU也能跑起来的本地模型,新手玩大模型的绝佳选择

hlx

前言感谢博主零度解说一款1G显存就可以跑起来的本地模型,纯CPU也可以跑起来,新人入门本地模型的绝佳选择最近在玩OpenBMB（面壁智能）的MiniCPM5-1B，觉得这个小模型挺有意思：1B参数却支持128K长上下文和原生思考模式，本地跑成本极低。但官方llama.cpp的命令行对小白不太友好，于是我做了个图形化

查看原帖