OpenCV 与 pgvector 入门：人脸图像相似度演示

Matthew Berman 演示了一个小型 Python 图像匹配流程：检测合照中的人脸，将裁剪图转换为向量并存入 PostgreSQL，再用另一张照片进行搜索。视频发布于 2024 年 1 月，由 Aiven 赞助，并参考了其[公开教程](https://aiven.io/developer/find-faces-with-pgvector)。配套的 [Colab 笔记本](https://colab.research.google.com/drive/19ulJqMQqk4PfcTx1v3C3cxjvzokrKgZS?usp=sharing)包含演示内容。

这个例子组合了现有的预训练组件，并非从零训练人脸识别模型。OpenCV 检测候选人脸；图像嵌入模型对裁剪图编码；pgvector 根据与查询图像的距离对存储的向量排序。结果是相似度排名，而非经过验证的身份。

为了介绍向量，Berman 用二进制指标表示单词是否出现，比较“I love parks”和“I love croissants”两个句子。它们有两个相同的词，第三个词不同。这是用词袋法直观展示数值比较的简单例子，并不意味着现代学习型图像嵌入一定按这种方式构建。

向量之间的距离提供了按相似度排列项目的方法。实际图像流程使用的是视觉内容的学习型表示，而非那四个表示单词是否出现的标记。相似度取决于模型、预处理和距离度量；简短的向量说明只能帮助直观理解这项技术。

在 Colab 中，Berman 安装所需库，并加载预训练的 OpenCV Haar 级联分类器来检测正面人脸。他下载 `haarcascade_frontalface_default.xml` 分类器，将其上传到笔记本环境并提供文件路径。然后，他上传《费城永远阳光灿烂》演员的合照作为源图像。

笔记本读取图像，准备灰度版本，并调用 `detectMultiScale` 查找人脸矩形区域。演示中，Berman 将 `minNeighbors` 改为 5，最小尺寸设为 100 × 100 像素。OpenCV 将 `minNeighbors` 定义为保留一次检测所需的相邻候选矩形数量，而非附近人数。

代码针对每个检测到的矩形区域裁剪图像，并将 JPEG 文件保存在 `stored-faces` 文件夹中。Berman 先创建该文件夹，重新运行代码单元，得到五张裁剪图。他指出检测并不完美，调整参数会影响结果；后续搜索无法返回漏检的人脸。

下一步使用启用了 pgvector 扩展的 PostgreSQL 数据库。赞助商 Aiven 在演示中提供托管服务。Berman 使用当时的试用额度创建项目和 PostgreSQL 服务；试用优惠和价格可能变化，因此不能假设视频中的 2024 年数字仍然有效。

服务运行后，Berman 使用 `psql` 连接，通过 `CREATE EXTENSION vector;` 启用扩展，并创建包含文件名和 768 维向量列的 `pictures` 表。维度与示例的嵌入输出一致。服务 URI 包含凭据，应避免将其放进共享笔记本、日志或截图。

回到 Colab 后，代码加载每张人脸裁剪图，使用 `imgbeddings` 生成图像向量，再将文件名和向量插入 PostgreSQL。Aiven 教程将其嵌入方式描述为基于 OpenAI CLIP 的图像识别。通用图像嵌入本身并不构成经过验证的生物身份识别系统。

Berman 上传演员 Charlie Day 的另一张图像作为查询，加载后使用同一工具计算嵌入。存储的裁剪图和查询图必须使用兼容的嵌入，距离比较才有意义。

查询根据向量距离对存储记录排序，并返回距离最近的候选项。在这次演示中，结果对应合照中的同一位演员。原教程通过 pgvector 使用欧氏距离；除非加入合适的拒绝规则，否则即使不存在正确匹配，最近邻排序仍会返回距离最近的项目。

一个小例子中成功匹配一次，并不能证明可靠的准确率、身份验证能力，或在不同光照、姿态和人群中的表现。人脸检测可能漏检或错误定位，图像相似度也可能产生误匹配。在依赖输出结果之前，需要人工审查和具有代表性的评估。

Berman 鼓励观众扩展示例，并感谢 Aiven 赞助视频。他提到了 2024 年的推荐优惠和可用额度；创建服务前应查看当前条款。图像和人脸衍生向量可能涉及敏感信息，因此应在获得适当许可后使用图像、保护访问权限，并在不再需要时删除存储的材料。