Introduction

IL是区别于传统手动编程来赋予机器人自主能力的方法。
IL 允许机器通过演示（人类演示专家行为）来学习所需的行为，从而消除了对显式编程或特定于任务的奖励函数的需要。
IL主要有两个类别：

• 行为克隆(BC)
• 反向强化学习(IRL)
  

Behavior Cloning

BC 是一种 IL 技术，它将学习行为的问题视为监督学习任务 。 BC 涉及通过建立环境状态与相应专家操作之间的映射来训练模型来复制专家的行为。专家的行为被记录为一组state-action pair，也称为演示。在训练过程中，模型学习一个函数，利用这些演示作为输入，将当前状态转换为相应的专家操作。经过训练，模型可以利用这个学习函数来生成遇到新状态的动作。

不需要了解环境的潜在动态，计算效率很高，相对简单的方法。

The covariate shift problem: 测试期间观察到的状态分布可能与训练期间观察到的状态分布有所不同，使得代理在遇到未见过的状态时容易出错，而对于如何进行操作缺乏明确的指导。BC监督方法的问题是，当智能体漂移并遇到分布外状态时，它不知道如何返回到演示的状态。

为了解决这个问题：

Inverse Reinforcement Learning

IRL 涉及一个学徒代理，其任务是推断观察到的演示背后的奖励函数，这些演示被认为源自表现最佳的专家 。然后使用推断的奖励函数通过 RL 训练学习代理的策略。

为了解决“政策->奖励函数“的模糊性，有以下三种IRL

• maximum-margin methods（奖励函数比任何其他策略在一定程度上更全面地解释最优策略。这本质上意味着找到一个最大化指定利润的解决方案，确保派生的奖励函数捕捉专家行为的本质。）
• maximum entropy（处理专家次优性和随机性的有前景的能力）
• guided cost learning（旨在优化策略优化内循环内的非线性奖励函数的方法。这种方法通过直接利用系统的原始状态来构建奖励函数，从而改变了传统的 IRL 范式，从而消除了广泛的特征工程的需要。）

Adversarial Imitation Learning

The agent strives to deceive the discriminator by generating trajectories closely resembling those of the expert.

Imitation From Observation

仅通过图像序列来学习，不需要具体的关节动作操作数据。

Unlike the traditional methods, IfO presents a more organic approach to learning from experts, mirroring how humans and animals approach imitation. Humans often learn new behaviors by observing others without detailed knowledge of their actions (e.g., the muscle commands). People learn a diverse range of tasks, from weaving to swimming to playing games, by watching online videos. Despite differences in body shapes, sensory inputs, and timing, humans exhibit an impressive ability to apply knowledge gained from the online demonstrations

将可学习的资源扩大到了线上的视频资源。

Latent Action Policies (LAPOs)

过分析观察到的动态，LAPO 推断出行动空间的底层结构，促进潜在行动策略的训练。然后，这些策略可以进行高效的微调，以达到专家级的性能，从而提供离线和在线场景的适应性。使用包含标记动作的小数据集进行离线微调是可行的，而在线微调可以使用奖励来完成。与依赖标记数据来训练逆动力学模型不同，LAPO直接从观察到的环境动态中导出潜在动作信息，而不需要任何标签。

Challenges And Limitations

。。。

概要

虽然近些年有关AR在人机交互方面应用的研究有很多，但是这些研究大都缺少系统性的分析

Recently, an increasing number of studies in HCI, HRI, and robotics have demonstrated how AR enables better interactions between people and robots. However, often research remains focused on individual explorations and key design strategies, and research questions are rarely analyzed systematically.

本文主要给目前AR人机交互领域做一下分类（基于460篇文章）
AR人机交互主要分为这几种研究维度

• approaches to augmenting reality
• characteristics of robots
• purposes and benefits
• classification of presented information
• design components and strategies for visual augmentation
• interaction techniques and modalities
• application domains
• evaluation strategies

AR最大的优势就是能够提供超出物理限制的丰富视觉反馈，减少工人的认知负荷
这个研究最终的目标是提供一个对于该领域的共同基础和理解。

Definition, Scope, Contribution, Methodology

HRI & Robotic Interfaces

机器人系统不单指传统工业机器人，在本研究中，我们不局限于任一种机器人。
Robotic interfaces 主要指”Interfaces that use robots or other actuated systems as medium for HCI”.

Contribution

该研究通过design space dimensions来呈现该领域的分类
拓宽了HCI和HRI的文献研究
讨论了促进该领域进一步研究的开放性研究问题和机会
有一个交互式网站 https://ilab.ucalgary.ca/ar-and-robotics/

分类

Approaches to augmenting reality

根据增强现实硬件的布置位置（dimension 1），可以分为

• on-body
• on-environment
• on-robot
  根据视觉增强的目标位置（dimension 2），可以分为
• augmenting robots
• augmenting surroundings

Characteristics of robots

1. the form factor of robots （机器人类型）
2. the relationship between the users and robots （n:m）
3. size and scale of the robots
4. proximity for interactions (交互距离)

Purposes and benefits

1. Facilitate Programming （类似毕设）
   • 在虚拟3D空间中编辑，可视化路径
   • 通过物体识别把现实物体映射到虚拟空间用于抓取
2. Support Real-time Control and Navigation
3. Improve Safety （类似毕设中的碰撞检测急停）
4. Communicate Intent （绘制机器人的意向轨迹）
5. Increase the Expressiveness （机器人的虚拟义体）

Classification of presented information

1. robot’s internal information
   1. robot’s internal status
   2. robot’s software and hardware condition
   3. robot’s internal functionality and capability
2. external information about the environment
   1. sensor data from the internal or external sensors
   2. camera or video feed
   3. information about external objects
   4. depth map or 3D reconstructed scene of the environment (就是hololens的环境感知网格)
3. plan and activity
   1. a plan of the robot’s motion and behavior
   2. simulation results of the programmed behavior
   3. visualization of a target and goal
   4. progress of the current task
4. supplemental content

Design components and strategies for visual augmentation

这篇主要讨论呈现AR内容的方式

1. UIs and Widgets
   1. Menus
   2. Information Panels
   3. Labels and Annotations
   4. Controls and Handles
   5. Monitors and Displays
2. Spatial References and Visualizations (将空间3D图像叠加显示到现实空间中)
   1. Points and Locations
   2. Paths and Trajectories
   3. Areas and Boundaries
   4. Other Visualizations（比如空间颜色/热图可视化）
3. Embedded Visual Effects （相较于Spatial References and Visualizations，不需要包含数据信息）
   1. anthropomorphic effects
   2. virtual replica
   3. texture mapping of physical objects
4. Anthropomorphic Effects (机器人的社交拟人内容（谁来给增强一下社交拟人功能）)
5. Virtual Replica and Ghost Effects （虚拟物品）
6. Texture Mapping Effects based on Shape (例如给衣服换个图案)

Interactions

1. Dimension-1. Level of Interactivity
   
2. Dimension-2. Interaction Modalities
   

Application Domains

Evaluation strategies

1. Evaluation through Demonstration (诸如在Seminar,workshop展示功能，示例程序)
2. Technical Evaluation
   1. 延迟测量
   2. 物体跟踪误差
   3. 成功率
   4. 与其他系统的对比（tracking system for example）
3. User Evaluation（通过访谈，问卷，通常和前两者结合）

Future

1. 使AR-HR更具实用性
   1. 头戴式AR设备的追踪误差（陀螺仪），可靠性仍需加强
   2. 在户外使用的局限性
2. 对AR HRI的新的设计探索
   1. 可以依靠AR设计不局限于物理限制的机器人
   2. 更好的开发环境（因为目前的AR开发仍然主要使用平面显示器，可以思考有没有基于AR显示做程序设计的应用）
3. AR for better decision making(针对用户)
   1. 可视化场景数据
   2. 可解释性的机器人操作
4. 新颖交互设计
   1. 更自然的交互方式（例如更自然地指定任务对象）
   2. 进一步融合虚拟和物理世界（让虚拟的交互能影响现实物理（经典最扯的放最后））