AI On:代理式 AI 在计算机视觉中的三大应用

我爱免费

作者：微信文章
学习利用视觉语言模型，打造从 AI 驱动的智能搜索到全自动分析的视频解析应用。



由视觉语言模型（VLM）驱动的代理式 AI，能够让团队快速、便捷地获取关键的洞见与分析，并将文本描述与时空信息、以及系统每日产生的海量视觉数据无缝衔接。

本文将介绍可助力企业使用代理式 AI 激活传统计算机视觉系统的三种方法。

利用密集标注，

实现视觉内容可搜索

企业可以将 VLM 直接嵌入其现有应用程序中，为图像和视频生成详尽的标注。这些标注能在不受限于文件名或基础标签的情况下，将非结构化内容转化为丰富的、可搜索的元数据，从而实现灵活度远胜以往的视觉搜索。

利用 VLM 推理能力

增强计算机视觉系统警报

基于 CNN 的计算机视觉系统通常只生成类似“是或否”、“真或假”的二元的检测警报。缺乏 VLM 的推理能力，往往会导致误报或细节遗漏，从而在安全保障方面引发代价高昂的错误，并造成商业情报的缺失。VLM 无需完全取代现有的 CNN 视觉系统，而是可以作为一个智能附加组件，轻松地对现有系统进行增强。通过在 CNN 系统之上叠加 VLM 层，系统不仅能标记检测警报，还能结合场景语境对事件发生的地点、方式及原因进行复核。

基于代理式 AI 的

复杂场景自动解析

代理式 AI 系统能够处理视频流、音频、文本、视频及传感器数据等多种模态的信息，并能对复杂查询进行推理与回答，从而实现对复杂场景的自动化分析。该功能的实现，需结合 VLM、推理模型、大语言模型（LLM）、检索增强生成（RAG）、计算机视觉和语音转录等多种技术。基于代理式 AI 构建的完整架构，则能对冗长、多路的视频档案进行可扩展且精确的处理，实现超越表面理解的更深层、准确和可靠的洞察。

基于 NVIDIA 技术

构建视频智能体

开发人员若要将 VLM 集成到计算机视觉应用中，可使用 NVIDIA 用于视频搜索及总结的 Blueprint（VSS）中的 event reviewer 功能。VSS Blueprint 是 NVIDIA Metropolis 平台的一部分。

https://build.nvidia.com/nvidia/video-search-and-summarization

为实现智能运营、更丰富的视频分析及实时流程合规性，并能随需求扩展，VSS Blueprint 提供了定制化方案：它支持开发人员构建直接访问 VLM 的 AI 智能体，或将 VLM 与 LLM、RAG 和计算机视觉模型结合使用，以应对更复杂的视频查询与总结任务。

以上为摘要内容，点击“阅读原文”或扫描下方二维码阅读完整内容：