Pamela Fox：在自己的应用中测试模型替换

Pamela Fox 在工作坊中对比不同模型在具体应用场景中的表现。示例使用部署在 Microsoft Foundry 的模型，是活动当时的演示，不是永久排名。

目标是让模型替换成为可行选项：服务和访问条件可能变化，团队需要了解替代模型在自家应用中的表现及所需调整。

工作坊比较讲者当时可用配置中的 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3。具体版本、提示词和设置都会影响结果。

基准、成本和吞吐量可以提供线索，但单靠基准无法判断模型是否满足自己的任务要求。应测试实际准备部署的场景。

第一个例子统计句子中的某个字母。Fox 对多个模型运行同一请求，观察到答案不同；单次结果只是演示，不构成稳健的统计比较。

她修改提示词，让模型逐词统计再求和。在这次演示中，修改帮助一个模型答对，说明换模型后可能需要重新测试提示词。

第二个例子测试检索结果的依据性。问题询问两种蜜蜂，但检索文档只描述其中一种；有依据的回答应指出缺少的信息，而不是编造来源。

Fox 展示一个回答明确说明来源缺少所需细节，随后用同一问题和上下文比较其他模型。

一个模型给出了所提供来源之外的信息。Fox 加强提示词，要求标识无依据的说法，但演示中的修改结果仍包含额外信息。

她对 RAG 的实际问题是：回答能否受可用证据约束，并承认信息缺口。修改提示词可能有帮助，但不能代替评估。

图像例子包括动物、鳄鱼和一张小字表格。她让模型识别图像或提取价格，并与预期答案比较。

所选模型在这些例子上表现不同；其中一个部署只接受文本，没有参加图像测试。结果取决于模型能力、具体图像和测试设置。

Fox 认为提示词不一定能补救视觉能力限制，因此团队应测试实际会收到的图像类型。这是她在工作坊中的判断，不是普遍定律。

她改变图像问题所用的语言后观察到不同答案。多语言应用应覆盖每种支持的语言，包括有歧义的词和本地用法。

工具调用时，应用提供函数名称、描述和 JSON Schema。模型提出工具及参数，实际执行函数的是应用代码，而不是模型单独完成。

函数和参数描述也是面向模型的接口。在日历例子中，名称或约束不明确可能产生意外的参与者、地点或日期。

Fox 比较模型提出的工具调用与预期参数。结果不同时，她建议澄清 schema 和指令，再重新运行一组案例。

计算器循环可以用一个组合表达式或多次调用解同一道应用题。两者可能都答对，但调用次数会影响延迟和成本。

她观察到模型也可能为检查结果而额外调用工具。评估应同时看最终答案和执行路径，也要认识到某些检查可能提高可靠性。

工作坊随后构建旅行规划智能体，提供航班、酒店、预算和活动工具，并记录工具调用以观察行为。

相互独立的航班和酒店搜索可以并行；预算检查依赖两者结果，活动选择再使用剩余预算。

Fox 同时比较模型和智能体框架，因为工具调用循环与模型选择都可能改变执行轨迹。在她的演示中，有些模型使用更多轮次或遗漏步骤。

人工检查有助于发现失败模式，但生产环境比较需要可重复的批量评估。简单的第一步可以检查返回的函数和参数是否正确。

测试案例应覆盖日期计算、含糊的时长、不同语言和口语请求。真实用户暴露新问题时，应在妥善处理数据的前提下补充案例。

模型评估可能既慢又贵，因此要决定合适的运行频率，而不是假设每次提交都应运行所有测试。

对于没有唯一精确答案的输出，可以让模型评判器按标准给出通过或失败及理由。它可能需要问题、答案、来源上下文和工具轨迹。

评判器本身也会出错。Fox 建议用人工或领域专家标注校准，并区分应用错误与评估器错误。

她演示 Microsoft Research 的 ASSERT：根据规格生成评估场景和标准。生成案例是起点，仍需要人工审查。

旅行规划规格可以包含预算充足、紧张或无法满足等维度。分层案例有助于测试不同条件下的行为。

屏幕上的比较展示特定模型运行和场景中的违规情况。Fox 用它检查应用，而不是证明模型在所有工作负载上的表现。

最后她展示 DSPy 根据声明的约束和检查优化提示词。优化器搜索候选指令，得到的提示词仍需要独立评估。

例子要求生成满足多项约束的结构化列表。她提供学生模型、反思模型和优化器，再用规格测试候选提示词。

她展示一个在该任务中适用于所选模型的提示词。优化后较低成本的模型可能足以应对特定工作负载，但不能保证适用于所有任务。

不同提供商还可能提供不同 API 和结构化引用功能，因此替换模型时除了修改提示词和评估，也可能需要调整适配层。

工作坊代码仍可使用，但演示用临时凭据不是持久资源。复现时应使用自己获授权的配置和测试案例。