最近折腾 AI 路由的一点想法

hlx

最近一直在改之前那个多模型调用的东西。刚开始其实想法挺简单：接几个模型，然后根据情况切一下。但是实际弄起来发现没那么简单。比如一个请求过来：有时候你觉得它很简单。结果发现需要长上下文或者推理。有时候一个很复杂的问题，普通模型也能解决。所以单纯靠关键词感觉不太靠谱。现在比较常见的思路：一个小模型先判断。比如：这个问题

查看原帖