随笔分类 -  Computer Vision

摘要：制作好的Gaussian 3D模型, 可以通过项目自带的 SIBR Viewer 查看, 但是这个运行对显卡有要求, 另一个选择是 Splatviz, 这个对显卡要求更低, 但是这两个都是需要在本地运行, 只能自己查看模型效果, 如果要将效果展示给别人, 最好的方案就是基于web的viewer, 线上直接可用的是poly.cam, 如果想自己做一个网页展示模型, 可以用 GaussianSplats3D 阅读全文

摘要：train.py 载入数据对应的方法调用, 在训练时, 读取colmap数据最终调用的是 readColmapSceneInfo 方法, 从 images.bin, cameras.bin 读取每一张图的相机参数和位姿, 在 readColmapSceneInfo() 方法里会判断是否有 points3D.ply, 存在就读取, 不存在就创建一个再读取, 读取出来的是 BasicPointCloud 类型的数据 阅读全文

摘要：训练程序入参除了训练过程参数, 另外设置了ModelParams, OptimizationParams, PipelineParams三个参数组, 分别控制数据加载、渲染计算和优化训练环节, 这些参数类共同构成3D高斯渲染模型的核心配置. 在项目的 README.md 中有大部分参数的说明. 以下在注释中标出主要参数的含义. 阅读全文

摘要：从这节开始阅读 train.py, 根据代码分析训练过程. 首先是训练的整体流程 阅读全文

摘要：convert.py 用于从帧系列中提取相机参数, 相机位姿和对象特征点的稀疏点云, 从 convert.py 的代码可以看到转换阶段的处理流程. 在Convert阶段, 使用Colmap处理输入帧序列, 在3D场景的稀疏重建完成后, model 默认会被导出到 bin 文件中, 因为这样比较紧凑, 节省空间, 在结果目录中生成以下文件 阅读全文

摘要：于训练的图片集采集有两种方式, 一种是使用相机从不同角度拍照, 另一种是拍视频后逐帧提取. 两种方式各有利弊, 拍照分辨率更高, 方便控制光圈,快门和白平衡, 但是拍照时较难控制好角度可能会造成部分交叠区域过小, 视频比较容易实现连续的画面移动, 保证交叠区域, 但是大多数手机没法手动控制视频录制过程的光圈和白平衡, 并且视频的分辨率大多数是通过插值填充的, 拍摄1080p视频时, 实际有效像素并没有1080p. 阅读全文

摘要：以下使用 Inria 提供的数据集运行训练过程, 验证和评估重建效果, 数据输入是一组静态场景的图像以及摄像机位置, 表示为稀疏的点云, 通过colmap处理得到. 阅读全文

摘要：Mip Splatting GitHub: https://github.com/autonomousvision/mip-splatting Paper: https://drive.google.com/file/d/1Q7KgGbynzcIEyFJV1I17HgrYz6xrOwRJ/view? 阅读全文

摘要：3D Gaussian Splatting 仓库自带的 SIBR Viewer 运行对显卡有要求, 需要 CUDA_ARCHITECTURE >= 7.x, 在 RTX 4060Ti 上可以运行, 但是在 P104-100 上就会提示"Sorry, need at least compute capability 7.0+!"后退出. 因此需要寻找一个兼容性更好的查看工具. 搜了下可用的资源不多, web端的viewer要走一个上传加载的过程, 而浏览器中的3D渲染不会自动使用P104-100(也许能指定, 但是我还不会设置), 系统CPU是4代i5, 在这种场景下性能特别烂. 除了基于web的方案, 我比较推荐 splatviz 这个工具 阅读全文

摘要：SIFT(Scale-Invariant Feature Transform)算法是一种用于图像处理中的局部特征提取方法, 具有尺度、旋转和光照不变性, 通过对图像进行不同尺度的高斯模糊生成多组图像并从中提取特征实现 阅读全文

摘要：在 Ubuntu 22.04 下可以通过`apt install colmap`安装, 但是这样安装的是不带CUDA支持的版本, 支持CUDA的版本需要通过编译安装, 可以参考的安装说明 阅读全文

摘要：在计算机图形学中, 光被视作一种连续的"物质", 它沿直线在空间中传播, 具有颜色特性, 且不会与自身发生相互作用. 在这个近似得到的定义下, 电磁场可简化为更基础的辐射场 阅读全文

摘要：3D Gaussian 是一种新的辐射场的实时渲染方法, 能够在较少的训练时间中实现SOTA级别的视觉效果, 允许以 1080p 分辨率进行高质量的实时(≥ 30 fps)新视图合成. 3D Gaussian Splatting 使用 3D Gaussian 球表示三维模型, 并通过 Splatting 技术渲染出来. 阅读全文