让AI和你看到同一个世界

📌 文章原标题

Seeing Eye to Eye: Enabling Cognitive Alignment Through Shared First-Person Perspective in Human-AI Collaboration

👥 作者与单位

Zhuyu Teng、Pei Chen、Yichen Cai、Ruoqing Lu、Zhaoqu Jiang、Jiayang Li、Weitao You、Lingyun Sun，均来自浙江大学计算机科学与技术学院。

🔗 论文链接

https://doi.org/10.1145/3772318.3791059

🧠 这篇文章真正问的是什么

很多视觉 AI 助手已经能“看见”用户面前的东西，但在真实协作里，它们仍然常常显得笨拙。你看着某个按钮犹豫，AI 可能只会给一段通用说明；你说“这个怎么弄”，AI 却不知道你说的“这个”到底是哪一个。

这篇 CHI 2026 论文把问题概括为两道鸿沟：一是沟通鸿沟，人类需要把丰富的手势、视线、停顿和空间意图压缩成语言命令；二是理解鸿沟，AI 即使有视觉输入，也未必能读懂这些具身线索背后的意图。作者提出的 Eye2Eye，试图把第一人称视角从“摄像头输入”升级为人和 AI 的共享感知通道。

图1用整理家庭书籍的任务展示了 Eye2Eye 的闭环。用户戴着 AR 眼镜，在放置书籍时犹豫；AI 结合视线、手部与物体互动来判断共同注意，查询此前积累的共同语境，推断用户可能有一套个性化分类规则，再通过语音和视觉叠加给出情境化建议。

🔁 Eye2Eye 的核心框架

Eye2Eye 不是单一交互技巧，而是一个 perceive-align-reflect 循环。作者把它拆成三个组件：共同注意协调、累积共同语境、反思式情境反馈。

如图2所示，第一步是让人和 AI 对齐正在关注什么。第二步是把当前互动和过去经验组织成可更新的共同记忆。第三步是基于这个理解给出反馈，并根据用户反应修正系统理解。这个循环的重点是：用户不需要每次从头解释，AI 也不应该把历史当成静态聊天记录，而应把它变成可修正的协作记忆。

图3进一步说明了共同注意的双向性。AI 从用户的视线、手势、语音和触碰行为推断注意目标；同时，AI 也要把自己的注意目标通过 AR 高亮、语音或文本反馈给用户，让用户知道 AI 到底看向哪里、理解到哪一步。

🛠️ 系统怎么实现

作者在 Apple Vision Pro 上实现了一个 AR 原型。系统持续采集眼动点、语音、图像帧和手部物体交互，但高层语义推理不是无差别持续运行，而是在关键事件触发时启动。例如，手部关键点与物体检测框重合达到 85%，或视线在同一物体上停留 6 秒以上，系统才触发视觉语言模型分析当前情境。

如图4所示，技术管线分三段：先检测注意触发和交互事件，再检索并修正共同语境，最后执行反馈策略。实现上，系统用 YOLO 做物体识别，用 Gemini 2.5 Flash 做视频理解和语音交互，用 GPT-4o 做高层多模态推理、记忆维护和反馈策略生成。

图5展示了动态记忆单元。作者没有把历史交互简单塞进上下文窗口，而是设计了 object card。每张卡记录一个对象的标签、描述、用户意图、AI 回应、用户反应，以及与其他对象的关系。若用户纠正了 AI 的理解，这张卡会被更新。这样，AI 对“这本书”的理解就可能从通用物体，逐步变成“用户之前犹豫过、并按儿童书规则处理的那本书”。

🔬 用户研究如何验证

研究招募了 60 名参与者，年龄 21 到 28 岁，随机分为 Eye2Eye 和基线系统两组。两组都使用 Apple Vision Pro 和相同模型能力，差别在于基线没有 Eye2Eye 的第一人称协作框架。参与者完成三类任务：咖啡机操作、书籍分类、电路板故障排查。

这三个任务分别考验不同协作能力。咖啡机任务需要按步骤执行；书籍分类需要理解个人化、主观的分类规则；电路板任务需要精确定位和诊断。作者记录任务完成时间、错误率、澄清成本、交互轮次，并收集 NASA-TLX 工作负荷和协作体验评分。

📊 核心发现

第一，Eye2Eye 显著降低错误率和澄清成本。系统主效应显示，Eye2Eye 相比基线把错误发生可能性降低约 58%，澄清轮次降低约 50%。这正对应论文一开始提出的两个鸿沟：如果 AI 能理解用户看什么、碰什么、之前怎样纠正过它，用户就不用反复用语言补充上下文。

第二，效率收益与任务类型有关。Eye2Eye 总体完成时间均值为 330 秒，基线为 345 秒，但任务完成时间的系统主效应并不显著。分类任务中，Eye2Eye 甚至更慢，354 秒对 309 秒。作者把这解释为主动帮助带来的微打断：在主观分类任务里，用户可能已经做出决定，系统的高亮或建议才出现，反而打断思路。

第三，Eye2Eye 提升了协作体验和信任。相比基线，Eye2Eye 在流畅性、共在感和性能信任上显著更高。NASA-TLX 中，Eye2Eye 的自评表现更高，心理需求、身体需求、时间压力、努力和挫败感都更低。用户反馈也说明，看到 AI 的注意目标和推理依据，会减少反复确认和不必要的解释。

第四，完整框架比单独模块更重要。作者还做了离线消融评估。完整 Eye2Eye 在准确性上得分最高，EMM 为 5.58；有用性得分也最高，EMM 为 5.25。移除共同注意、共同语境或反馈机制后，表现会掉到接近原始模型水平。这说明 Eye2Eye 的价值不是多接几个模型，而是这些模块形成了协同闭环。

🧩 真正的贡献在哪里

这篇论文的关键贡献，是把 AR 眼镜中的第一人称视角重新定义为“共同认知的界面”。当前许多多模态助手把第一人称视频当作输入材料，模型看一眼、回答一次。Eye2Eye 则强调，人和 AI 必须在同一个视野里持续校准注意、记忆和反馈。

这也改变了人机协作的分工。在书籍分类里，人负责制定主观规则，AI 负责记忆和重复应用规则；在电路板检查里，人负责灵活搜索，AI 负责定位和模式匹配。AI 不只是被动问答工具，而是在特定任务中承担部分状态监控和下一步规划。

⚠️ 设计张力和边界

Eye2Eye 的结果并不意味着 AI 越主动越好。作者明确指出了三个张力。第一是主动性的张力：主动提示能减负，但也可能成为微打断，尤其是在用户思路变化很快的任务中。第二是注意力的张力：视线可以帮助定位，也可能被误读；AR 高亮可以指引注意，也可能挡住关键视觉信息。第三是显式和隐式线索的张力：语音表达语义精确，但空间指代笨重；视线和手势自然省力，但容易把无意义动作误认为意图。

系统本身也有局限。由于视觉语言模型推理成本较高，原型仍有 4 到 5 秒延迟。参与者在实验任务里能接受，但在安全提醒、烹饪或流畅社交场景中可能不够快。用户研究样本也主要是年轻且 AI 接受度较高的人群，实验在受控实验室完成，未来需要真实场景和更大样本验证。

🔒 隐私问题不能被跳过

第一人称 wearable AI 的强大，正来自持续看到用户所见；它的风险，也来自同一点。系统可能捕捉用户意图、行为偏好、家庭环境和旁观者。作者在原型中采用了录制状态可见、用户可中断、只存储推理 JSON 和相关图像帧、不保留身份信息等措施。但这只是开始。

尤其是旁观者隐私。参与者能接受在咖啡机这类工具任务中分享视野，却对亲密家庭活动中的摄像头有强烈抵触。未来系统需要更明显的活动提示，并在检测到第三方面孔时自动过滤或关闭视频流。

🚦 对 AI 助手设计有什么启发

Eye2Eye 提醒我们，未来 AI 助手的重点可能不是让用户说得更清楚，而是让 AI 更好地参与共同情境。用户看哪里、停顿多久、刚刚纠正过什么、当前任务属于操作还是分类，这些都应进入协作语境。

但这种能力必须和控制权绑定在一起。用户需要知道 AI 正在看什么、为什么给出这个建议、如何纠正它、什么时候让它保持沉默。一个好的 wearable AI 助手，不只是能看见世界，而是能和用户在同一个世界里稳妥地协作。

📚 核心术语解释

👓 第一人称视角：由 AR 眼镜或头戴设备捕捉的用户主观视野，包含用户正在看的物体、手部动作和空间关系。

🎯 共同注意：人和 AI 对齐当前关注目标的过程。它既包括 AI 理解用户看什么，也包括 AI 把自己的关注点显示给用户。

🧠 共同语境：人和 AI 在连续互动中积累的共享理解。Eye2Eye 用 object card 记录并修正这种理解。

🔁 反思式情境反馈：AI 根据当前情境给出提示，并根据用户反应判断这次提示是否成功，再把结果写回记忆。

🤝 认知对齐：不是简单信息同步，而是人和 AI 在注意目标、任务规则、历史经验和下一步行动上形成可持续校准。

📖 参考文献

Teng, Z., Chen, P., Cai, Y., Lu, R., Jiang, Z., Li, J., You, W., & Sun, L. (2026). Seeing eye to eye: Enabling cognitive alignment through shared first-person perspective in human-AI collaboration. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems. ACM. https://doi.org/10.1145/3772318.3791059