应用科学2021，11（4）， 1367;
抽象
1. 简介
...有形接口为数字信息提供物理形式，使用物理工件作为计算媒体的表示和控制[2]。
对于VR来说，有形的交互代表了巨大的潜力，因为物理对象可以自然地提供丰富的触觉线索，而这些线索在VR体验中经常缺失。用户经常通过VR中的通用控制器操纵具有明确物理对应物的虚拟对象，无论虚拟对象如何，都能体验到完全相同的重量感、温度感、质感等。根据Carrozzino和Bergamasco[4]，TUI可以提供更自然的交互[3]，并且对应于更好的VR解决方案。TUI还可以带来更高的沉浸感[5，6]，因为它们提供比标准控制器更丰富的感官反馈。它们还可以促进更高的存在感，特别是Lee定义的身体存在感[7]。至少，TUI可以更有趣和引人入胜[8]。
在我们的工作中，我们利用智能手机的成熟标记识别算法作为在用户沉浸在VE中时检测物理物体的一种手段。这种方法的优点是适用于基于智能手机的VR，并利用智能手机上现有的硬件：相机。此外，视觉标记易于打印并适合各种物理对象，使这种方法非常便宜且易于使用。这些特性使这种方法适用于用户收到要组装的模板或套件的自己动手 （DIY） 场景，也适用于需要大量有形物品和 VR 系统的课堂情况。由于 TUI 通常也等同于易用性，因此我们的方法也适用于用户没有太多时间学习如何使用该系统的步行和使用场景，例如博物馆和其他文化遗产探索情况。
2. 背景及相关工作
2.1. VR中的有形资产
2.1.1. 活动
Johnson等人[11]实现了带有各种传感器的毛绒玩具，包括俯仰和滚动传感器，陀螺仪和磁力计以及弯曲和挤压传感器，这使他们能够感知与玩具的各种相互作用。虽然玩具的使用不是在沉浸式VR中，而是在屏幕前，但该项目展示了调整现有玩具的一个有趣方面：它们对用户来说很熟悉，它们很容易成为“叙事有形物”，“存在于叙事世界的空间和时间中，可以成为交互设计和叙事设计的有效策略”[12]。
Sajjadi等人[13]在VR游戏《迷宫指挥官》中使用Sifteo Cubes作为有形物体，其中两名玩家，一名使用VR耳机，另一名操纵Sifteo立方体，合作逃离迷宫。玩家使用Sifteo立方体，移动它们以形成和操纵虚拟迷宫，而VR用户可以识别敌人和障碍物。Sifteo Cubes是带有屏幕和传感器的小型计算机（约4厘米的立方体），使它们能够对运动和彼此之间的接近做出反应。《迷宫指挥官》展示了有形交互的一个重要方面：VR系统的一部分状态是可见的，并且可以由VR以外的用户进行物理操作。
2.1.2. 被动
2.2. 基于标记的有形用户界面
Henderson和Feiner[19]为AR创造了一类交互技术，他们称之为机会主义控制：“一种有形的用户界面[Ishii and Ullmer 1997]，它利用了自然发生的，触觉有趣的，以及其他未使用的提示”[19]。在他们的实现中，他们使用结构化的视觉标记来计算自然物理对象的位置和方向。然后，其他计算机视觉算法可以检测相对于视觉标记的感兴趣区域的手势。在我们的Tangible VR Book原型中，我们依靠标记跟踪功能，通过跟踪隐藏/可见的标记序列来检测标记本身的简单手势。
2.3. 基于书籍的界面
Magic Book [23]是“传统立体书的增强版”，允许用户扫描页面上的AR标记以查看3D虚拟模型。用户可以快速切换到沉浸式模式并进入3D模型。这本书是通过手持AR显示器体验的，因此用户不会连续操作书籍，而是将其放在桌子上并通过AR显示器查看。在 3D 模型中，不需要物理书籍对象。这本书旨在作为一个协作界面，允许在沉浸式VR和AR模式之间快速过渡。我们的有形VR书采用相同的物体检测技术（视觉标记），但旨在用于在沉浸式VE内进行操作。我们还采用了许多魔术书中没有的互动功能。
姊妹小说[24]是一种具有类似书籍外观的交互式设备，游客可以在参观谢菲尔德将军公墓时随身携带，以自动收听与特定地点和主题相关的音频故事。该系统由靠近兴趣点的蓝牙扬声器补充，这些扬声器可以检测书籍的存在以呈现录音。书籍格式旨在提供直观的处理，因为与设备的交互是通过熟悉的常规书籍操作完成的。与系统的交互基本上是通过打开书籍并在与所选主题关联的页面上放置书签来完成的。姊妹小说的书籍格式旨在“以一种不引人注目的方式融入环境”[24]。同样，我们为主原型选择了书籍格式，因为它是一种不拘一格的外形，“属于”任何地方。与配套小说相反，我们的系统旨在用于VE内部，并利用其他交互来控制相关信息的显示。
2.4. TUI框架
Holmquist等人[28]根据对象作为容器、令牌和工具所扮演的信息角色，对物理对象和数字信息之间的可能关联进行了分类。容器是可以与任何类型的数字信息相关联的通用对象。对于容器，与其关联的数字信息在对象的整个生命周期内可能会有所不同。令牌是其物理属性反映与其关联的数字信息的对象。与令牌关联的信息通常不会随时间而更改，因为它与该特定物理对象密切相关。最后，工具是用于操作数字信息的对象。
Ullmer和Ishii[29]根据多个物体如何被解释以形成物理物体系统对TUI进行分类。在空间系统中，某些参考系内对象的空间配置用于定义有形物体的状态。在关系系统中，“多个有形物的系统之间的序列、邻接或其他逻辑关系被映射到计算解释”[29]。建设性系统代表具有模块化元素的有形物体，这些元素可以组装在一起（例如乐高™积木）以创建不同的解释。最后，结合有形物表示“不引用其他对象来派生意义”的有形物[29]。
Hornecker和Buur[30]提出了一个“专注于交互的用户体验的框架，旨在解开交互的材料/物理和社会方面的交织”。他们关于有形互动的物理空间和社会互动的框架由四个主题组成，为思考有形系统的设计提供了不同的视角。随后，每个主题被分解为代表描述和解释有形系统的分析工具的概念。有形操纵是指与物理对象的身体交互，这些物理对象以某种方式与计算功能耦合。这个主题关注物体的材料质量以及它们的操作如何与系统的影响相关联。有形操作的概念是：触觉直接操作（抓取，感觉和移动的能力），轻量级交互（在小步骤中与即时反馈进行交互的能力），同构效应（理解动作与其效果之间关系的能力）。空间互动是指有形互动如何嵌入物理空间并要求（身体）在空间中运动。空间互动包括以下概念：居住空间（人和物体是否相遇并形成一个有意义的地方），可配置的材料（空间是可配置和可适应的，移动事物有意义），非碎片可见性（是否每个人都可以看到正在发生的事情），全身互动（我们是否可以使用我们的整个身体），表演性动作（我们的身体动作是否可以在我们做我们所做的事情时传达一些东西）。具身促进是指空间中物体的物理配置如何指导群体行为。具体化促进中的概念是：具体约束（物理配置是否约束导致协作的行为），多个接入点（所有用户是否可以看到正在发生的事情并使用中心对象参与），定制表示（表示是否熟悉并与用户的技能相关联）。表达性表示侧重于有形的东西代表什么，它们的表现力如何，使用什么材料和数字表示，以及用户如何感知它们。
3. 早期原型设计
图1.为VR原型选择早期基于标记的TUI模型。
思考
4. 形成性研究
4.1. 参与者
4.2. 程序
4.3. 结果
- R1.物体的物理特性
- R2.系统输入的对象
- R3.与对象操作相关的输出模态
- R4.对象作为副本
- R5.解构对象
- R6.神奇的互动
- 建议7.固定对象
5. 设计空间
图2.设计空间的尺寸和选项。
5.1. 整体保真度
5.2. 主要物理特性
5.3. 主要 I/O 角色
5.4. 输出模式
5.5. 输出耦合
5.6. 对象的类型
5.7. 系统配置
5.8. 信息角色
6. 有形VR书
图3.有形VR书籍概述（顶部）;有形VR书中基于标记的TUI设计空间的实例化（底部）。
我们选择书籍格式有几个原因。这本书是一个熟悉的物品，我们从很小的时候就开始学习使用——有些书是为一岁以下的儿童设计的。书籍也非常不拘一格。它们可以由从塑料到布料的非常不同的材料制成;可以有硬封面或软封面和页面;非常小或非常大;具有互动性;具有动态元素，例如在立体书中;甚至嵌入电子设备。这种用途范围使其用途广泛，塑造和拓宽了用户的期望。在这个原型中，我们主要对传达一本书的主要物理特征感兴趣：它的形状和大小。
图4.有形VR书#3中的抽象环境和手部检测。
6.1. 手势滑块
图5.通过手势滑块选择内容。
6.2. 有形滑块
图6.通过有形滑块进行内容选择。
6.3. 有形门户
6.4. 实现
7. 评估
7.1. 第一次研究
图8.调查表第二部分和第三部分的示例小插图。
这些小插图中使用的原型是上一节中描述的原型的简化版本。为了不引起对这些特定交互的过多关注，用于这些小插图的原型没有显示手势或有形滑块。
十位受访者提到在书的封面中使用视频或3D模型作为展示本书内容摘要的一种方式（“......作者，在视频色度中，展示作品。总的来说，受访者的评论指出，封面中应使用动态内容作为吸引力因素（“带有动画的封面使书籍对读者更具吸引力”）。一位受访者建议，该书可以触发图书本身之外的内容，以利用用户周围的 360° 空间（“......360度的阅读体验不再集中于一本书的机会......在页面上，并成为身临其境的体验“）。一位受访者建议允许用户在封面中选择书籍的布局。这个建议可能是受到当前电子书阅读器的启发，这些阅读器允许选择书籍的布局（例如，一列或两列）。但是，我们的Tangible VR Book并非用于高密度文本显示，因此此功能目前似乎并不相关。
关于与媒体内容的交互（所有受访者都专注于视频），六名受访者建议自动视频再现。一些参与者明确提到在页面可见时自动播放，其他参与者建议仅在视频（页面）靠近用户时才播放。我们发现有趣的是，这位受访者建议进行这种交互，因为我们为门户实施了类似的交互。目前尚不清楚如何将这本书靠近或远离一个人的头脑可以推广到其他情况，例如视频播放，但将来可能会有所探索。一些受访者建议将自动再现与基于手势的手动命令相结合，以停止或向前或向后移动视频。一位受访者建议通过有趣的摇晃互动来更改视频，尽管不清楚“更改”的含义：“当页面打开时，视频开始。要停止视频，您可以触摸该页面。要更改视频，您可以摇动页面。晃动的相互作用似乎很有趣，因为它与我们用许多物理对象（包括书籍）执行的物理动作有关。然而，这种互动的意义并不是立竿见影的。虽然我们有时会摇晃实体书，同时将书的封面分开，以使我们知道书内某处的小纸片掉落，但这并不容易适用于其他情况。尽管如此，这是一个熟悉的手势，探索起来可能会很有趣。一些参与者提供了受触摸设备经验启发的建议。例如，通过触摸页面来手动控制视频以开始和停止，并按页面的特定区域以快进或向后。有趣的是，四位受访者建议使用语音命令。使用带有有形界面的语音命令起初似乎是矛盾的。但是，对于较大的虚拟图书，其中可用的物理页面不足以显示所有虚拟页面，则需要某种控件来访问其他虚拟页面。在这种情况下，语音输入可能是要考虑的替代方法。三位受访者建议使用眼动追踪，也许可以作为选择在有多个视频可用的情况下播放哪种视频的一种方式，并结合其他机制。
关于3D内容的使用，受访者提到了能够检查和操纵3D模型的重要性：“我可以从任何一侧查看3D模型，我选择如何移动模型”，“弹出模型，您可以放大，旋转或移开以显示其背后的内容”。一位受访者建议能够将3D模型从页面上删除（“可以自由探索对象。我想触摸呈现的对象并能够将它们从页面上取下“）。虽然我们还没有对这种交互进行原型设计，但它们可以在基于智能手机的VR中实现，并得到其他有形物体的支持，以充当抓取器或通过基于视觉的手部检测。
参与者在描绘的有形VR书原型中发现了一些问题。有些与布局或书中虚拟元素的视觉表示有关：有些页面有很多未使用的空间，视频太小，视频看起来不像视频，而更像静止图像，文本太小。受访者还指出，在检测使页面暂时消失的标记时存在技术问题。一位受访者提到背景（即360度场景）分散了注意力，但其他人提到了能够环顾四周的相关性。一位受访者认为，“必须以相同的姿势拿着一本书观看长视频可能不太舒服”。两位受访者认为，用于表示门户的球体并不直观：“我不能立即明白这个球体的用途，它不直观”。另一位受访者认为视觉元素更新速度不够快，这会导致分心。一位受访者对VR书的价值也非常挑剔：“我看不出这个解决方案比只看2D页面更有优势”。
