OpenAI 结构化输出的可靠性评估工具

structured-logprobs 是一个开源 Python 库，它通过提供详细的 token 对数概率（log probabilities）信息，增强了 OpenAI 的 Structured Outputs。

这个库旨在帮助你深入了解 LLM 结构化输出的可靠性。它适用于 OpenAI 的 Structured Outputs，这项功能可以确保模型生成的响应始终遵循给定的 JSON Schema，从而无需再担心缺少必填 key，或模型幻觉出无效值。

只需使用 pip install structured-logprobs 安装。

然后按以下方式使用：

from openai import OpenAI
from structured_logprobs.main import add_logprobs

client = OpenAI()
completion = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "system",
            "content": (
                "Please output metadata about 'structured-logprobs'"
            ),
        }
    ],
    logprobs=True,
    response_format={
        "type": "json_schema",
        "json_schema": {
            "name": "answer",
            "schema": {
                "type": "object",
                "properties": {
                    "name": {"type": "string"},
                    "version": {"type": "string"},
                },
            },
        },
    },
)
chat_completion = add_logprobs(completion)
print(chat_completion)

更多详细信息，请参阅 Getting Started。

该模块包含一个用于将字符映射到 token 索引的函数（map_characters_to_token_indices），以及两种整合对数概率的方法：

将对数概率作为响应中的独立字段添加（add_logprobs）。

将对数概率以内联方式嵌入消息内容（add_logprobs_inline）。