做了个本地 LLM 网关，多渠道自动挑便宜又快的那个用，已开源
Github: https://github.com/GetOptaris/optaris-desktop我是个中转站重度用户，使用过程中发现没有哪一家能保证持久稳定，所以注册了很多家，而且由于怕跑路所以每一家都不敢充太多，我估计 v2 里也有人跟我一样。
我一开始使用 CC Switch 来管理我注册过的所有中转站，CC Switch 也带有一个本地网关，但是我用起来有几个问题：
它的路由是一个简单的顺序路由，从上往下这种，而我是希望能综合多种数据（价格、首 token 响应时间、token 生成速度等）来自动判断某个中转站的质量，然后自动路由至这个中转站
偶尔卡住，或者是 AI 模型抽风（比如我自己经常遇到 Opus 答非所问，v2 里也经常看到大家吐槽）的时候，我就很想看看请求是什么样的，到底是中转站的问题还是模型本身有问题，但 CC Switch 不提供这个功能。
于是，我自己动手做了一个本地网关，我给它取名叫 Optaris 。开源，macOS / Windows / Linux 都有安装包。macOS 还没做 Apple 公证，首次打开要运行一行命令（ README 有写）。 https://www.v2ex.com/t/1227176
那你今天可能会用到掺水的
https://i.imgur.com/io2SM1h.png
`中转站重度用户` `自动判断某个中转站的质量` `自动路由至这个中转站`...
大哥，你确定中转站给你的模型都是真的？光`价格、首 token 响应时间、token 生成速度`而已吗...换个模型这些东西都给你拉满 @JarvisLee 用中转站没法避免，我平时用 claude 反正代码能跑起来就行吧
@HFX3389 不确定
页:
[1]