Heterogeneous Extreme Computing (HEX) Group

April 10, 2025

当今基础大模型的能力提升催生了诸多真实世界应用，如智能助手等。这类助手通过智能眼镜等智能设备时刻与用户相伴，持续感知和理解用户所在环境、发生的事件以及用户指令，并据此实时主动地给用户提供帮助。比如导盲助手，在用户要过马路时会输出“稍等现在有车经过”，“现在可以安全通过”等帮助提示。除了依赖大语言模型的世界知识和推理能力，此类智能助手更依赖对持续输入视频流的理解能力，以及可以在相关事件发生时立即发出…