多模态交互中智能体AI的技术综述与应用（Agent AI: Surveying the Horizons of Multimodal Interaction 中文版）李飞飞 agent综述

资源内容介绍

[原文链接](https://arxiv.org/abs/2401.03568)内容概要：本文系统综述了“智能体人工智能”（Agent AI）这一新兴领域，重点探讨了多模态交互视野下，如何将大型基础模型（如大语言模型LLMs和视觉语言模型VLMs）具身化为物理或虚拟环境中的智能体，以实现更高级的人机交互。文章阐述了智能体AI的集成、范式、学习机制、分类体系、应用任务及面临的挑战，包括幻觉、偏见、数据隐私、可解释性等问题。通过游戏、机器人学和医疗健康等领域的案例，展示了智能体AI在任务规划、技能学习、人机协作等方面的应用潜力，并提出了持续学习、自我改进以及仿真到现实迁移等未来发展方向。适合人群：具备一定人工智能、机器学习或计算机科学背景的科研人员、工程师及高校研究生。使用场景及目标：①了解智能体AI的核心概念、技术架构与前沿应用；②研究如何利用LLMs/VLMs构建具身化、多模态的交互式智能体