线上的 agent 应用应该怎么部署

DingJZ

以前纯文本类的部署了 dify 集群，现在越来越不想用 dify 了，东西太重，扩展的时候也不如代码灵活

业务上会有很多小的 agent ，比如让 ai 处理 excel ，然后调用接口校验一下提交之类的小流程，大部分是直接用 python 写的 demo ，之前的玩法是测试通过后，让开发转成 java 放在现有的系统里。
但是现在越来越多了，不好管理，而且有些 python 的库和 java 在实现上还是有差异，还是感觉有点浪费时间。
所以想直接把测试过的 python 的应用部署让业务直接调用。
需求可能主要是可观测，可扩展，高可用。
有什么方案推荐吗