「听觉」引导「视觉」,OmniAgent开启全模态主动感知新范式
「听觉」引导「视觉」,OmniAgent开启全模态主动感知新范式针对端到端全模态大模型(OmniLLMs)在跨模态对齐和细粒度理解上的痛点,浙江大学、西湖大学、蚂蚁集团联合提出 OmniAgent。这是一种基于「音频引导」的主动感知 Agent,通过「思考 - 行动 - 观察 - 反思」闭环,实现了从被动响应到主动探询的范式转变。
搜索
针对端到端全模态大模型(OmniLLMs)在跨模态对齐和细粒度理解上的痛点,浙江大学、西湖大学、蚂蚁集团联合提出 OmniAgent。这是一种基于「音频引导」的主动感知 Agent,通过「思考 - 行动 - 观察 - 反思」闭环,实现了从被动响应到主动探询的范式转变。
刚刚,谷歌母公司成为全球市值TOP 2,市值已达3.885万亿美元!在2026首个全球AI追踪报告中,Gemini的市场份额也在疯涨。被逼急的OpenAI,干脆甩出500亿美元的员工股票池,据说Ilya就分走了40亿。
“99%的企业级 Agent 都只是玩具!”
随着 AIGC(Artificial Intelligence Generated Content) 的爆发,我们已经习惯了像 Sora 或 Wan 这样的视频生成模型能够理解「一只宇航员在火星后空翻」这样天马行空的指令。然而,3D 人体动作生成(3D MoGen)领域却稍显滞后。
Manus 卖给 Meta 这事儿,最近闹得沸沸扬扬。
本文为《2025 年度盘点与趋势洞察》系列内容之一,由 InfoQ 技术编辑组策划。本系列覆盖大模型、Agent、具身智能、AI Native 开发范式、AI 工具链与开发、AI+ 传统行业等方向,通过长期跟踪、与业内专家深度访谈等方式,对重点领域进行关键技术进展、核心事件和产业趋势的洞察盘点。
CES每年都在找「下一个iPhone时刻」。2026年,答案可能不在手机,而在你家客厅。而谷歌却悄悄在最不起眼的地方——你家客厅的电视机里,埋下了一颗重磅炸弹。不需要昂贵的头显,也不需要把芯片植入大脑,谷歌直接宣布:电视机,长脑子了。
Agent 的工具可以 “以终为始”。
当整个科技圈都在为「谷歌黑魔法」集体高潮时,真相恐给了所有人一记耳光。那套被捧上神坛的「并行验证循环」,不过是社交网络上AI生成的「赛博跳大神」。
过去一段时间,我们介绍了很多小白入门级的agent框架,也介绍了包括langchain在内的很多专业级agent搭建框架。