不停奔跑的蜗牛

摘要： 为解决人形分离和深度估计问题，ARKit 新增加了 Segmentation Buffer（人体分隔缓冲区）和Estimated Depth Data Buffer（深度估计缓冲区）两个缓冲区。人体分隔缓冲区作用类似于图形渲染管线中的 Stencil Buffer（模板缓冲区），用于区分人形区域与背景区域，它是一个像素级的缓冲区，用于精确地描述人形区域。 阅读全文

摘要： 正确实现虚拟物体与真实环境的遮挡关系，需要基于对真实环境3D结构的了解，感知真实世界的3D结构、重建真实世界的数字3D模型，然后基于深度信息实现正确的遮挡。但真实世界是一个非常复杂的3D 环境，精确快速地感知周围环境，建立一个足够好的真实世界3D模型非常困难，特别是在不使用其他传感器的情况下（如结构光、TOF、双目、激光等）。 阅读全文

摘要： 与2D人体姿态检测一样，在ARKit 中，我们不必关心底层的人体骨骼关节点检测算法，也不必自己去调用这些算法，在运行使用 ARBodyTrackingConfiguration 配置的 ARSession 之后，基于摄像头图像的3D人体姿态估计任务也会启动，我们可以通过 session（_ session: ARSession, didUpdate anchors：［ARAnchor］）代理方法直接获取检测到的ARBodyAnchor。 阅读全文

摘要： 与基于屏幕空间的 2D人体姿态估计不同，3D人体姿态估计是尝试还原人体在三维世界中的形状与姿态，包括深度信息。绝大多数的现有3D人体姿态估计方法依赖2D人体姿态估计，通过获取 2D人体姿态后再构建神经网络算法，实现从 2D 到 3D人体姿态的映射。 阅读全文

摘要： ARKit 配置类 ARBodyTrackingConfiguration 专用于 2D、3D人体肢体检测捕捉，同时，该配置类也可以设置实现 2D 图像检测和平面检测，构建对现实环境的跟踪。为更真实地渲染虚拟元素，ARBodyTrackingConfiguration 还支持 HDR（High Dynamic Range Imaging，高动态范围成像）环境反射功能。 阅读全文

摘要： 在使用自动环境反射时，开发人员无须进行有关环境反射的任何操作，只需要设置自动环境反射即可，其余工作完全由 RealityKit 自动完成，这适用于基本的常见环境反射。但这种环境反射方案是一种普适性的反射，并没有专门针对某特定虚拟元素进行优化，在某些情况下效果并不精细，并且我们也无法进行干预调优，如一辆行驶的赛车对环境的反射就需要更精细的控制，这时就需要手动控制环境探头的生成及更新。 阅读全文

摘要： 在使用 iOS AR中 渲染虚拟物体时，RealityKit 默认使用了一个简单的天空盒（Skybox，即IBL环境资源贴图），所有带反射材质的物体默认会对天空盒产生反射。 阅读全文

摘要： ARKit 支持对用户所处环境光照信息的估计，在 ARConfiguration 类中定义了 isLightEstimationEnabled 布尔属性用于开启和关闭光照估计，该功能默认为启用状态。由于 ARConfiguration 是所有其他配置类的父类，因此 ARKit所有的配置类都支持光照估计功能。 阅读全文

摘要： iOS Reality Kit 支持3种光源类型：平行光（DirectionalLight）、点光（PointLigbt）、聚光（SpotLight），分别同于模拟太阳光、普通灯泡类灯光、手电筒类灯光，组合使用这3种光源类型可以实现绝大部分光照效果道染需求。实际上，RealityRit还支持环境光，但 RealityKit 中的环境光照并不直接来自光源，而是使用IBL（Image Based Lighting，基于图像的光照）技术从背景图像中提取。 阅读全文

摘要： iOS设备使用 ARFaceTrackingConfiguration配置可以实时进行人脸检测跟踪，实现人脸姿态和表情的捕捉。拥有前置深度相机或 A12及以上处理器硬件的iPhone/iPad，在运行iOS 13及以上系统时，还可以同时开启设备前后摄像头，即同时进行人脸检测和世界跟踪。这是一项非常有意义且实用的功能，意味着使用者可以使用表情控制场景中的虚拟物体，实现除手势与语音之外的另一种交互方式。 阅读全文