摘要: 前面介绍了Transformer,随着其发展在NLP领域应用越来越多,在其基础上主要有两篇影响非常大的文章,一篇是GPT,另一篇是BERT。OpenAI提出的GPT采用Transformer解码器结构,一路更新迭代到了现在有了GPT-4,而Google提出的BERT采用Transformer的编码器 阅读全文
posted @ 2024-09-12 19:35 半夜打老虎 阅读(10) 评论(0) 推荐(0) 编辑
摘要: Transformer于2017年提出,最开始应用于NLP领域,随着Transformer的快速发展,在视觉领域中也越来越多的论文或应用用到了Transformer,这里记录一下自己学习的一些知识点。 PDF: 《Attention Is All You Need》 Code: attention- 阅读全文
posted @ 2024-09-05 21:26 半夜打老虎 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 一、空间直线方程 1.1 一般方程 空间直线可以看成成两个平面的交线,设两个平面方程分别为\(A_1x + B_1y + C_1z + D_1 = 0\) 和 \(A_2x + B_2y + C_2z + D_2 = 0\),则直线\(l\)的一般方程可以表示为: \(\left\{\begin{m 阅读全文
posted @ 2024-07-31 17:33 半夜打老虎 阅读(57) 评论(0) 推荐(0) 编辑
摘要: 一、Layer Norm 1.1 介绍 LayerNorm(Layer Normalization)是2016年提出的,随着Transformer等模型的大规模推广,LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm,对输入的每个样本进行归一化处理,具体就是计算每个输入的均 阅读全文
posted @ 2024-07-28 14:28 半夜打老虎 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 先前的一些文章简单介绍了一些点云检测和分割的文献资料,可以看出近些年越来越多的方法结合了Transformer,因此有必要说明一下Transformer的结构,在介绍之前需要了解一些知识点:比如Self Attention、Layer Normalization等等,这一篇先简单了解下Self At 阅读全文
posted @ 2024-07-20 09:43 半夜打老虎 阅读(54) 评论(0) 推荐(0) 编辑
摘要: PDF:《Point Transformer V3: Simpler, Faster, Stronger》 CODE: https://github.com/Pointcept/PointTransformerV3 一、大体内容 Point Transformer V3(PTv3)没有像V2那样在注 阅读全文
posted @ 2024-07-10 21:37 半夜打老虎 阅读(144) 评论(0) 推荐(0) 编辑
摘要: PDF: 《Point Transformer V2: Grouped Vector Attention and Partition-based Pooling》 CODE: https://github.com/Gofinge/PointTransformerV2 一、大体内容 前面一篇文章介绍了 阅读全文
posted @ 2024-07-03 21:03 半夜打老虎 阅读(142) 评论(0) 推荐(0) 编辑
摘要: PDF: 《Point Transformer》 CODE: https://github.heygears.com/POSTECH-CVLab/point-transformer 一、大体内容 Point Transformer基于自注意力网络实现网络模型的构建。通过设计针对点云的自注意力层,结合 阅读全文
posted @ 2024-06-26 23:26 半夜打老虎 阅读(158) 评论(0) 推荐(0) 编辑
摘要: PDF:《PointConv: Deep Convolutional Networks on 3D Point Clouds》 CODE: https://github.com/DylanWusee/pointconv 一、大体内容 PointConv是一种在非均匀采样下对3D点云进行卷积的运算,可 阅读全文
posted @ 2024-06-18 23:22 半夜打老虎 阅读(46) 评论(0) 推荐(0) 编辑
摘要: 前面介绍了采用OpenPCDet架构和自定义数据集训练了pointRCNN模型,也已经跑通了测试流程,但在实际应用过程中通常需要把模型导出成ONNX格式,然后借助其他框架用C++进行推理。这里记录一下pointRCNN导出流程以及常见的一些错误。其大体分为以下几步: 弄清楚数据流 确定网络架构 改写 阅读全文
posted @ 2024-06-02 15:44 半夜打老虎 阅读(100) 评论(0) 推荐(0) 编辑