测试 Llama 3.2 Vision：拒答与图像任务

在这段 2024 年 9 月的视频中，Matthew Berman 通过托管界面试用 Llama 3.2 Vision 90B 模型。他的小规模非正式测试反映当时的模型、供应商和设置，并不代表所有版本或当前表现。视频包含赞助内容。

模型描述了一张简单的羊驼图片，Berman 将其计为基础描述成功。

模型拒绝识别人物和求解验证码的请求。Berman 将其记为测试失败；拒答可能反映服务或安全政策，本身不能证明模型是否能够识别底层视觉内容。

当被要求将粗略界面草图转换为代码时，模型拒绝并给出看似不相关的安全理由。Berman 用更具体的提示重试，仍收到拒答。

模型解释了一张职场梗图。Berman 认为该例的描述合适，但同一轮的其他测试表现不佳。

二维码请求没有得到所需的 URL。Berman 认为表格转 CSV 成功，而手机存储截图的问答有对有错。

在一张困难的《威利在哪里》图片中，模型给出的位置与 Berman 找到的答案不符。他认为这组小样本测试令人失望，同时保留了配置可能影响结果的可能性。