-
Notifications
You must be signed in to change notification settings - Fork 88
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
提供 system_prompt 以及 usage 支持 #79
Conversation
Crayon112
commented
Oct 25, 2024
- 支持 role 为 system 时转化为 Gemini 的 system_prompt(仅支持首个 message 的 role 为 system 的情况);
- 支持计算 usage, 通过返回字符长度作为 usage;
- 当请求异常时直接报错,而不作为返回值。
The latest updates on your projects. Learn more about Vercel for Git ↗︎
|
…penai-proxy into feature/system_prompt
这个改动会出现错误提示无法返回给用户的情况,特别是在使用一些第三方客户端的时候,客户端无法得知具体错误是什么,这个改动是不太认可的 可以看一下这个问题里的讨论 #29 |
如果直接在代码内部构造一个新的异常信息会不会是一个更好的方案呢?如果按照现有方案作为返回值的话,用户如果不在 Message 内部进行逻辑判断的话很难区分返回值是否正常,甚至当输出无法预测的情况下,我们甚至无法做这个逻辑判断?那不如让用户在解析字段的时刻就抛出异常? |
可以考虑做成一个开关, 在 api key 里传入配置来决定怎么做 要考虑面向两种客户
第2类用户来说直接把错误信息放在正常的响应里会跟容易看到,很多第三方客户端只会读取正常响应内容 |