在3dslicer中有一个VR(虚拟现实)插件,为什么我在试用过程中无法正常显示VR?
在3DSlicer中无法正常显示虚拟现实(VR)可能有几个原因。以下是一些可能的原因和解决方案:
- 硬件问题:3DSlicer的VR功能需要较高的硬件配置,包括有足够性能的显卡和VR设备。如果你的硬件配置不足,可能无法正常使用VR功能。
- 驱动程序问题:确保你的显卡驱动和VR设备驱动都是最新的。过时的驱动程序可能会导致兼容性问题,导致VR功能无法正常工作。
- 软件设置:在3DSlicer中,你需要正确设置VR插件。例如,你需要确保选择了正确的VR设备,并且正确配置了所有的参数。
- 版本问题:如果你使用的3DSlicer版本过旧,可能会有一些功能缺失或者不稳定。你可以尝试更新到最新的稳定版本。
2年前测试过Volume Rendering的渲染在VR中可以正常显示。
谢谢曹老师
1、曹老师,你说Volume Rendering的渲染在VR中可以正常显示。你用的3dslicer哪个版本?用的什么型号的VR测试的? 2、3dslicer5.2.2版本中有SlicerVirtualReality插件,为什么3dslicer5.3.0版本中没有这个插件了?
3Dslicer 5.3.0属于预览版本,不是所有的插件都有更新。我用过 HTC VIVE测试过,在Volume Rendering渲染模式下可以正常显示。后期无机器就没有再次测试。
如有问题可以参考官网插件的说明
切片机虚拟现实
3D 切片器的扩展,使用户能够使用虚拟现实与 3D 场景进行交互。
该扩展适用于所有兼容 OpenVR 的耳机,例如HTC Vive、所有Windows 混合现实耳机(宏碁、联想、惠普等)以及Oculus Rift。请参阅下面的 YouTube 视频或此Kitware 博客文章,了解更多背景和应用示例。
特点包括:
- 只需单击一下,即可随时查看 Slicer 中任何 3D 查看器的所有内容。
- 将体积显示为 2D 图像切片或体积渲染、渲染表面、点等。
- 使用任何渲染技术(包括体积渲染)查看任何 4D 数据集 - 由序列扩展提供
- 对齐耳机的视图以匹配 Slicer 中所选 3D 视图的视点
- 使用右侧控制器的触摸板飞行:方向由控制器的方向指定;速度由手指在触摸板上的位置决定(触摸顶部向前飞行,触摸底部向后飞行)。
- 使用控制器上的抓取按钮抓取并重新定位对象。
- 同时按下两个控制器上的抓取按钮即可平移、旋转、缩放世界(所有对象)。
- 高级体积渲染性能调整:在虚拟现实模块中可用,以在图像质量和刷新率之间找到良好的平衡。
- 使控制器的位置可用作切片器场景中的变换。这些转换可在自定义模块中用于重新切片卷(使用 SlicerIGT 扩展中的卷重新切片驱动程序模块)或转换场景中的任何节点。
扩展的功能集不断改进。您可以通过在问题跟踪器上提交反馈并提出改进想法来向我们提供反馈。
用法
设置
平台支持: 目前该扩展仅适用于 Windows 计算机。Linux 支持处于实验阶段:Steam VR 对 Linux 的支持有限,并且 Slicer 扩展是针对 Linux 构建的,但未经测试。该扩展在 macOS 上不可用,因为目前没有适用于 macOS 的虚拟现实耳机。如果您希望在 Linux 或 macOS 上使用虚拟现实扩展,并且您拥有支持虚拟现实的硬件,并且 Steam VR 在您的计算机上运行良好,请在问题跟踪器 ( macOS / Linux ) 中添加评论。
配置显卡: 如果系统中同时存在集成显卡和高性能 GPU(通常是配备 NVidia GPU 的笔记本电脑),则配置显卡应用程序设置以使用高性能 GPU(没有必要SlicerApp-real.exe
)为启动器使用高性能 GPU,Slicer.exe
)。
如何设置我的 HTC Vive 耳机
- 安装Steam和SteamVR并设置您的耳机(您应该能够看到 SeanVR home 应用程序在您的耳机中运行)。
- 安装 Slicer 和 SlicerVirtualReality 扩展。
- 要在耳机中查看 3D 视图的内容:单击
Slicer 工具栏上的“在虚拟现实中显示场景”按钮。
如何设置我的 Windows Mixed Reality 耳机
- 安装 Steam 和 SteamVR 并设置您的耳机。
- 为 SteamVR设置Windows 混合现实(您应该能够看到 SeanVR home 应用程序在耳机中运行)。
- 安装 Slicer 和 SlicerVirtualReality 扩展。
- 要在耳机中查看 3D 视图的内容:单击
Slicer 工具栏上的“在虚拟现实中显示场景”按钮。
如何设置 Oculus Rift 耳机
- 安装 Steam 和 SteamVR 并设置您的耳机以与 SteamVR 配合使用。
- 安装 Slicer 和 SlicerVirtualReality 扩展。
- 要在耳机中查看 3D 视图的内容:
如何使用控制器
飞
在空间中移动。相当于身体四处走动。
控制:
- 触摸板向前:向前飞行
- 触摸板后退:向后飞行
笔记:
- 飞行方向由控制器的方向指定。
- 速度与指尖距触摸板中心的距离成正比。
- 最大速度可在虚拟现实模块中配置。
变换整个场景
平移/旋转/缩放整个渲染场景。
控制:同时按住两个控制器上的手柄按钮
- 将控制器移近/移远:整个场景的缩放尺寸
- 并行上/下/左/右/向前/向后平移控制器:平移整个场景
- 旋转控制器:旋转整个场景
笔记:
- 场景中的对象位置不会被修改。
- 当按下手柄按钮时,控制器必须位于所有可选对象之外。
变换对象
平移/旋转选定的对象。
控制:当控制器位于可选对象内时按下手柄按钮
- 将控制器移近/移远:整个渲染场景的缩放大小
- 并行上/下/左/右/向前/向后平移控制器:平移所有对象
- 移动控制器
笔记:
- 当您抓取并移动对象时,会自动为其创建父变换(如果它尚未处于变换下),并且该变换会被修改。
- 要将一组对象移动到一起,请为它们分配相同的父变换。您可以在数据 模块的*“变换层次结构* ”选项卡中执行此操作,方法是在同一变换下拖放对象(或者双击“数据 模块的变换层次结构”选项卡中的**“应用的 变换”列 并选择一个变换;或者在“变换” 中选择一个变换)模块并将其应用到所有必须一起移动的节点)。
- 左控制器或右控制器均可用于抓取对象。每个控制器都可以用来抓取一个物体并独立移动。
- 默认情况下,所有对象都是可选择的。可以在“数据模块/主题层次结构”选项卡中将对象设为不可选择(因此不可移动),右键单击节点并取消选中“切换可选择”。
- 分割节点的移动速度很慢。如果您想使用控制器移动分段,则将它们导出到模型节点(在数据 模块中,右键单击分段节点并选择将可见分段导出到模型 )并转换模型节点。
其他特性
在 Slicer 中访问 VR 变换(控制器、耳机、通用跟踪器)
转到虚拟现实 模块并选中所需的复选框以使用各种设备的位置更新线性变换节点。注意: 高级设置中的放大系数会影响这些变换。
经常问的问题
如何剪辑模型
3D Slicer 可以使用切片平面来剪切模型。在卷重新 切片驱动程序模块的帮助下,可以通过使用变换移动切片平面来在虚拟现实中使用此功能。
模型、变换等只需设置一次,因为场景可以保存到文件中,下次可以轻松使用。
简单的剪裁
随着控制器的移动,连续移动剪裁平面。
- 转到模型 模块,选择要剪辑的模型,然后在*“剪辑”* 部分中启用*“剪辑所选模型”* 。默认情况下,将选择红色切片进行剪切。
- 转到虚拟现实 模块并启用使控制器变换在场景中显示为变换。
- 转到Volume reslice 驱动程序 模块(在SlicerIGT 扩展中)以使控制器变换移动红色 切片。
- 将控制器移动到模型内以对其进行剪辑
带手柄的夹子
使用控制器抓取并移动剪裁平面(剪裁平面保持在原位)。
- 转到模型 模块,选择要剪辑的模型,然后在*“剪辑”* 部分中启用*“剪辑所选模型”* 。默认情况下,将选择红色切片进行剪切。
- 添加一个小模型,例如场景中的一个盒子。它可以从 STL 加载或使用创建模型 模块(在SlicerIGT 扩展中)创建。
- 使用控制器移动模型。这会为此模型创建一个父变换。
- 转到Volume reslice 驱动程序 模块(在SlicerIGT 扩展中)以使模型的父变换移动红色 切片。
- 使用控制器抓取并移动模型以移动剪切平面。
渲染速度慢
有多种设置有助于提高虚拟现实渲染的性能:
- 如果您使用的是具有两个显卡的计算机(例如,笔记本电脑通常具有集成的 Intel 和高性能 NVidia 显卡),请确保 Slicer 强制使用耳机所连接的高性能卡。大多数笔记本电脑默认将应用程序分配给集成卡。当您需要选择应用程序可执行文件时,请选择
SlicerApp-real.exe
(而不是 Slicer 启动程序应用程序Slicer.exe
)。 - 优化虚拟现实场景按钮(工具栏上的魔棒图标):此选项可切换体积渲染以使用 GPU,关闭所有现有模型的背面剔除(即使进入对象内部也能看到表面),关闭所有现有模型的切片相交可见性模型和分段(使切片视图更新更快)
- 虚拟现实模块面板中与性能相关的设置(单击工具栏中的扳手图标):
- 更新速率:体渲染质量设置为产生尽可能高的质量,同时保持所需的每秒帧数
- 运动灵敏度:移动时保持渲染流畅非常重要。此设置会检测头部移动并在发生头部移动时显着降低体积渲染质量。当值为 0 时,永远不会检测到运动;当值为高时,一点运动都会触发质量变化
- 体渲染模块中的设置:打开“高级”部分/“技术”选项卡,尝试使用不同“交互速度”值的“自适应”设置。还可以尝试“正常”设置:它会禁用尝试根据预测的渲染时间动态调整渲染质量的自动机制(在某些情况下,预测效果不佳并导致图像质量不佳)。
- 桌面切片器的切换布局:任何要渲染的附加 3D 视图都会降低虚拟现实渲染性能。通过切换到不包含 3D 视图的布局(例如仅红色切片),可以防止这种情况
有些场景过于复杂,中档显卡无法流畅渲染。例如,如果场景包括高分辨率CT的体绘制,那么可能需要升级到高端GPU。
如何录制虚拟现实视频?
在SteamVR中启用屏幕镜像并使用免费的OBS Studio软件捕获VR耳机内容、应用程序窗口、网络摄像头等。
请注意,如果使用 NVidia 基于硬件的压缩,OBS Studio可能会崩溃。如果发生这种情况,请选择基于 CPU 的视频压缩选项进行录制。
如何提出问题、报告问题或建议新功能?
访问Slicer 论坛并搜索类似的讨论。如果您没有找到相关主题,请创建一个新主题。添加虚拟现实 标签,以确保监控虚拟现实相关问题的人收到有关您的问题的通知。
如果您确定发现了软件错误,并且问题跟踪器中没有报告类似的问题),那么请提交新问题。
请不要使用“VR”缩写(您可以拼出“虚拟现实”),因为“VR”可能意味着“体积渲染”以及“虚拟现实” - 您甚至可以在 Slicer 中的虚拟现实中进行体积渲染- 所以它很快就会变得混乱。
对于开发商
开发人员指南中提供了开发人员的信息。
贡献者
贡献者包括:
- 套件:Jean-Christophe Fillion-Robin、Jean-Baptiste Vimort
- PerkLab(女王大学):Csaba Pinter、Andras Lasso
- VASST 实验室(罗巴特研究所):Adam Rankin
如何引用
Pinter, C.、Lasso, A.、Choueib, S.、Asselin, M.、Fillion-Robin, JC、Vimort, JB、Martin, K.、Jolley, MA 和 Fichtinger, G. (2020)。SlicerVR 用于沉浸式虚拟现实中的医疗干预培训和规划。IEEE 医疗机器人和仿生学汇刊,卷。2、没有。2,第 108-117 页,2020 年 5 月,doi:10.1109/TMRB.2020.2983199
执照
它受 Apache 许可证 2.0 版的保护: