python - OpenAI API中“"InvalidRequestError: This model' s maximum context length is exceeded”如何解决

Question

我的 OpenAI API 代码遇到错误，我不确定解决它的最佳方法。我正在使用“text-davinci-003”模型通过以下代码生成 AI 响应:

completion = openai.Completion.create(
    engine="text-davinci-003",
    prompt='\n'.join([f"{m['role']}: {m['content']}" for m in message_history]),
    temperature=0.7,
    max_tokens=1024,
    n=1,
    stop=None,
    timeout=60,
)

但是，我收到以下错误:

openai.error.InvalidRequestError:此模型的最大上下文长度为 4097 个标记，但您请求了 4401 个标记(提示中为 3377；完成为 1024)。请减少您的提示；或完成长度。

我不确定解决此问题的最佳方法。你能给我一些建议，告诉我应该如何修复这个错误吗？

Answer 1

错误消息表明提示和完成中的标记总数大于“text-davinci-003”模型允许的最大上下文长度。此模型的最大上下文长度为 4097 个标记，而提示和完成中的标记总数为 4401。