feat: support minimax ai model #1033
Conversation
| } | ||
|
|
||
| // 使用OpenAI接口协议,映射模型 | ||
| if m.config.protocol == protocolOpenAI { |
There was a problem hiding this comment.
这里的判定是不是有问题？如果用户配置的不适用 OpenAI 的契约，那么上面就不能按照 OpenAI 的契约进行请求数据反序列化了。而且这个 protocol 指的是契约，不是 model。
There was a problem hiding this comment.
这里的判定是不是有问题？如果用户配置的不适用 OpenAI 的契约，那么上面就不能按照 OpenAI 的契约进行请求数据反序列化了。而且这个 protocol 指的是契约，不是 model。
这里的意思是只有使用openai协议时，才会进行模型映射。如果使用原生的接口协议，就使用接口传入的模型直接调用，不进行模型映射了
There was a problem hiding this comment.
不过 modelMapping 字段在定义上并没有说明只有在 OpenAI 协议上生效。这个逻辑可能会让用户感到迷惑。如果用户配置 Original 协议，一般也不会配 modelMapping 吧。
There was a problem hiding this comment.
不过 modelMapping 字段在定义上并没有说明只有在 OpenAI 协议上生效。这个逻辑可能会让用户感到迷惑。如果用户配置 Original 协议，一般也不会配 modelMapping 吧。
嗯，好的，这里我调整一下
只有ChatCompletion v2是支持所有模型的，ChatCompletion Pro仅用于abab6.5、abab6.5s、abab5.5s模型（推荐优先使用），ChatCompletion仅用于abab5.5、abab5.5s模型（推荐优先使用），我考虑再针对minimax加一个特殊的字段共用户选择调用哪个接口，更合适一点 |
或者根据模型自动选择接口呢？ |
也可以，如果是abab6.5、abab6.5s、abab5.5s模型会优先使用ChatCompletion Pro，abab5.5优先使用ChatCompletion，其他模型使用ChatCompletion v2，我这边会根据这个逻辑再调整下 |
ChatCompletion Pro也支持abab5.5，目前实现逻辑：如果是abab6.5、abab6.5s、abab5.5s、abab5.5模型会优先使用ChatCompletion Pro，其他模型使用ChatCompletion v2（abab6.5t、abab6.5g） |
Ⅰ. Describe what this PR did
1)支持minimax AI模型
2)修复文心一言使用OpenAI协议流式响应格式（data:后少了个空格）
Ⅱ. Does this pull request fix one issue?
fixes #953
Ⅲ. Why don't you add test cases (unit test/integration test)?
Ⅳ. Describe how to verify it
docker-compose.yaml
使用OpenAI协议
envoy.yaml
非流式请求
示例1：调用ChatCompletion V2接口
响应：
{ "id": "02b459a17dba50e97f7a315e98566796", "choices": [ { "finish_reason": "stop", "index": 0, "message": { "content": "我是一个使用AI技术进行语言交互的软件。我是 MiniMax 的产品，MiniMax是中国的一家科技公司。MiniMax一直致力于大模型的研究，而我则是 MiniMax 研发的最新产品。我能够回答你的各种问题，也可以根据你的要求帮助你完成一些简单的任务。总之，我希望我能帮助你解决你遇到的问题。那么，你有什么需要帮助的吗？", "role": "assistant" } } ], "created": 1717905059, "model": "abab6.5g-chat", "object": "chat.completion", "usage": { "total_tokens": 154 }, "input_sensitive": false, "output_sensitive": false, "input_sensitive_type": 0, "output_sensitive_type": 0, "base_resp": { "status_code": 0, "status_msg": "" } }示例2：调用ChatCompletion Pro接口
响应：
{ "id": "02b45a232f54be51749272e3f3807f52", "choices": [ { "index": 0, "message": { "name": "MM智能助理", "role": "assistant", "content": "你好！我是MM智能助理，一款由MiniMax公司自主研发的大型语言模型。我可以帮助你解答问题、提供信息、进行对话和执行多种语言处理任务。如果你有任何问题或需要帮助，请随时告诉我！" }, "finish_reason": "stop" } ], "created": 1717905189, "model": "abab6.5-chat", "object": "chat.completion", "usage": { "total_tokens": 116 } }流式请求
示例1：调用ChatCompletion V2接口
响应：
示例2：调用ChatCompletion Pro接口
响应：
使用MiniMax协议
envoy.yaml
非流式请求
示例1：调用ChatCompletion V2接口
响应：
{ "id": "02b45d3ae75a857392ea089f4d376827", "choices": [ { "finish_reason": "stop", "index": 0, "message": { "content": "MM智能助理:我叫MM智能助理，我是由MiniMax公司研发的智能助理，可以为用户提供多种智能服务。我可以通过自然语言理解（NLU）和自然语言生成（NLG）来理解用户的问题并提供相应的解决方案，还可以根据用户的要求进行个性化的定制。", "role": "assistant" } } ], "created": 1717905980, "model": "abab6.5g-chat", "object": "chat.completion", "usage": { "total_tokens": 132 }, "input_sensitive": false, "output_sensitive": false, "input_sensitive_type": 0, "output_sensitive_type": 0, "base_resp": { "status_code": 0, "status_msg": "" } }示例2：调用ChatCompletion Pro接口
响应：
{ "created": 1717905759, "model": "abab6.5s-chat", "reply": "你好！我是MM智能助理，一款由MiniMax公司自研的大型语言模型。我可以帮助回答问题、提供信息、进行对话和执行多种语言处理任务。如果你有任何问题或需要帮助，请随时告诉我！", "choices": [ { "finish_reason": "stop", "messages": [ { "sender_type": "BOT", "sender_name": "MM智能助理", "text": "你好！我是MM智能助理，一款由MiniMax公司自研的大型语言模型。我可以帮助回答问题、提供信息、进行对话和执行多种语言处理任务。如果你有任何问题或需要帮助，请随时告诉我！" } ] } ], "usage": { "total_tokens": 116 }, "input_sensitive": false, "output_sensitive": false, "id": "02b45c5d4d3be74655c8d5335188e568", "base_resp": { "status_code": 0, "status_msg": "" } }流式请求
示例1：调用ChatCompletion V2接口
响应：
示例2：调用ChatCompletion Pro接口
响应：
修复文心一言使用OpenAI协议流式响应格式
envoy.yaml
流式请求
响应：
Ⅴ. Special notes for reviews