测试用例

PythonAPI/examples/draw_skeleton.py

行人骨骼（Skeleton）可视化示例，用于：

  1. 在仿真中生成一个行人（Pedestrian）
  2. 实时获取其骨骼关节点的 3D 世界坐标
  3. 将骨骼投影到 RGB 摄像头图像上，绘制骨架连线与关键点
  4. 摄像机围绕行人做环绕运动，展示动态效果

适用于 人体姿态估计、动作捕捉、行人行为分析 等研究。

carla_draw_skeleton

主要模块解析

1. CarlaSyncMode：同步模式上下文管理器
  • 功能：封装 CARLA 同步模式的开启/关闭逻辑
  • 优势：
    • 自动管理 world.tick() 与传感器数据对齐
    • 确保每帧只处理同一仿真时刻的摄像头图像和行人状态
  • 使用方式：
    with CarlaSyncMode(world, camera, fps=30) as sync_mode:
snapshot, image_rgb = sync_mode.tick(timeout=5.0)

✅ 这是 CARLA 多传感器同步的最佳实践。

2. 行人骨骼获取与处理
bones = ped.get_bones()  # 获取骨骼结构
for i, bone in enumerate(bones.bone_transforms):
boneIndex[bone.name] = i
points.append(bone.world.location)  # 3D 世界坐标
  • get_bones() 返回包含 68 个骨骼节点 的层级结构（含名称、局部/世界坐标）
  • 常见节点命名如：
    • crl_hips__C（臀部中心）
    • crl_spine__C（脊柱）
    • crl_hand__L（左手）
    • crl_Head__C（头部）

这些名称对应 CARLA 内置行人模型的骨骼绑定。

3. 3D→2D 投影管线
def get_screen_points(camera, K, image_w, image_h, points3d):
# 1. 构建世界→相机变换矩阵
world_2_camera = np.array(camera.get_transform().get_inverse_matrix())
# 2. 将 3D 点转为齐次坐标 (x,y,z,1)
points = np.array([...]).reshape(-1, 4).T
# 3. 变换到相机坐标系
points_camera = np.dot(world_2_camera, points)
# 4. CARLA 坐标系 → 标准 CV 坐标系: (x,y,z) → (y, -z, x)
points = np.array([points_camera[1], -points_camera[2], points_camera[0]])
# 5. 相机内参投影 + 归一化
points_2d = np.dot(K, points)
points_2d = [x/z, y/z, z]
  • 完整实现 从世界坐标到像素坐标的转换
  • 正确处理 CARLA 左手坐标系 与 计算机视觉右手坐标系 的差异
4. 骨骼可视化绘制
  • draw_skeleton()：
    根据预定义的骨骼连接关系（如 hips → spine, spine → neck），调用 draw_line_on_buffer 绘制 绿色骨架线
  • draw_points_on_buffer()：
    在关节点位置绘制 红色圆点（除根节点外）
  • 自定义光栅化：
    未使用 Pygame 高级绘图，而是直接操作 NumPy 图像缓冲区，确保与原始图像融合

✅ 支持 任意骨骼拓扑，只需修改 boneIndex 映射关系。

5. 动态场景控制
  • 行人动画：
    ped.blend_pose(math.sin(blending))  # 混合行走/站立姿态
controller.go_to_location(...)      # AI 控制器导航
  • 环绕摄像机：
    x = math.cos(turning) * -3
y = math.sin(turning) * 3
trans.location = ped.location + (x, y, 2)
trans.rotation.yaw = -360 * (turning/(2π))  # 保持面向行人
camera.set_transform(trans)
  • 效果：摄像机以 3 米半径绕行人旋转，同时俯视 16°
6. 图像处理与显示
  • get_image_as_array()：
    将 CARLA 图像转为可写的 NumPy 数组（BGR → RGB）
  • draw_image()：
    使用 Pygame 显示叠加骨骼的图像
  • 多进程保存（注释掉）：
    # pool.apply_async(write_image, (snapshot.frame, "ped", buffer))
    可扩展为 实时保存带骨骼标注的视频帧

核心应用场景

应用如何利用本脚本
2D 人体姿态估计生成带精确 2D 关键点标注的图像数据集
3D 人体重建结合深度图 + 3D 骨骼坐标训练模型
行人行为分析分析 blend_pose 参数与动作的关系
虚拟试衣/AR将虚拟服装绑定到骨骼节点

⚠️ 技术点

  1. 完整的骨骼拓扑定义

    • 手动编码了 60+ 条骨骼连接（从手指到脚趾）
    • 覆盖全身细节，支持高精度姿态可视化

  2. 坐标系无缝转换

    • 正确处理 CARLA 特有的 (x,y,z) → (y,-z,x) 转换
    • 避免常见投影错误（如左右颠倒、上下翻转）

  3. 纯客户端渲染

    • 所有绘制在 Python/NumPy 完成，不依赖 CARLA 渲染管线
    • 可轻松修改为保存标注文件（JSON/PNG）

✅ 总结

该脚本是 CARLA 行人骨骼可视化的标杆示例，展示了：

  1. 如何获取 高精度行人骨骼数据
  2. 如何实现 鲁棒的 3D→2D 投影
  3. 如何在 动态场景 中实时绘制骨架

它是构建 人体姿态估计数据集 或 行人交互系统 的理想起点，尤其适合需要 精确关节标注 的计算机视觉任务。