Bard 与 Bing：2023 年的早期评测

2023 年 3 月，获得 Google Bard 访问权限不久，评测者将部分回答与由 GPT-4 支持的 Bing 作比较。这些是早期非正式测试，不是受控基准，也不代表当前产品。

两个助手都难以回答大英博物馆步行十分钟范围内有哪些花店。评测者说，返回的地点不满足所要求的步行范围。

在这些测试中，Bard 对百分比问题和代数例子给出错误或误导性回答，而 Bing 在展示的例子中答对了。Bard 的不同草稿也没有稳定纠正错误。

两个系统都答错了一个历史事件时间间隔问题。受到质疑时 Bard 道歉。评测者的教训是应核对日期和计算，而不能依赖流畅的解释。

在主观的笑话生成比较中，评测者更喜欢 Bard 的一些短笑话，尽管他并不觉得它们特别好笑。幽默质量取决于个人判断。

在评测者的测试中，一个语法纠错例子对 Bing 更有利。他也更喜欢 Bing 写的现代伦敦十四行诗，觉得 Bard 的版本不够生动。这些判断只针对展示的提示词与输出。

他指出速度与规模的取舍：在早期体验中 Bard 似乎更快。他对底层模型大小及服务选择的解释属于推测，而非经过验证的架构比较。

被要求提出 Midjourney 图像提示词时，Bard 给出了评测者更喜欢的示例。他将其与 Bing 的提示词作比较，并指出提示词措辞和反复调整会影响结果。

评测者测试两个系统能否解释一系列笑话。两者都处理了几个例子；在一个关于仍与父母住在同一家庭和房子里的笑话中，他发现 Bing 理解了预期幽默，而 Bard 作了字面回应。

最后一个提示问用户对模型的心智理论有什么看法。评测者更喜欢 Bing 的回答，但对某个选定问题给出令人信服的回答，不能证明系统具有类似人类的心理状态或心智理论。

评测最后提醒，作者刚获得访问权限，打算继续测试。能力、产品名称、界面和价格在这张 2023 年快照之后都可能变化。