Prompt评估总结

import os
from qianfan.resources import Prompt

# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

resp = Prompt.evaluation_summary(
    data=[
        {
            "prompt":"请帮我计算一下{formula}等于多少？只返回计算结果",
            "scene":[
                {
                    "variables":{
                        "formula":"45+43"
                    },
                    "expected_target":"88",
                    "response":"计算结果为： 45+43=88",
                    "new_prompt":"请帮我计算一下45+43等于多少？只返回计算结果"
                }
            ],
            "response_list":[
                "response1",
                "response2"
            ]
        }
    ]
)
print(resp)

QfResponse(
    code=200,
    headers={...},
    body={
        'log_id': '3ny420sdu4mb43dy',
        'result': {
            'responses': [
                {
                    'response': '从给定的提示词模版和两个场景中，我们可以从以下几个方面评价提示词模版撰写的好坏：\n\n1. **明确性**：提示词模版应该清晰明确，让用户知道需要做什么以及如何做。在场景1中，提示词模版明确地要求计算45+43的结果，并且只返回计算结果。这使得用户能够清楚地理解任务，并按照要求进行操作。\n2. **简洁性**：提示词模版应该简洁明了，避免冗余和不必要的复杂性。场景1中的提示词模版简洁明了，没有多余的词汇或复杂的表述。\n3. **通用性**：提示词模版应该尽可能地适应不同的场景和需求。在场景1中，提示词模版可以用于计算任何简单的加法问题，而不仅仅是45+43。这表明该模版具有一定的通用性。\n4. **一致性**：提示词模版应该保持一致性，以便用户能够轻松地理解和使用。在给定的场景中，提示词模版始终要求返回计算结果，这保持了一致性。\n5. **用户友好性**：提示词模版应该友好地对待用户，避免使用过于专业或复杂的词汇。在场景1中，提示词模版使用了简单的词汇和表述，使得任何用户都能够轻松理解并执行。\n\n综上所述，提示词模版在明确性、简洁性、通用性、一致性和用户友好性方面都表现良好。它能够清晰地指导用户进行计算，并且适用于不同的场景。因此，该提示词模版撰写得很好。', 'id': '', 'errorCode': 0, 'errorMsg': ''}
                ]
            },
        'status': 200,
        'success': True
    },
    statistic={...},
    request=QfRequest(...)
)