Point Transformer V3：更简单、更快、更强!

本文经自动驾驶之心公众号授权转载，转载请联系出处。

原标题：Point Transformer V3: Simpler, Faster, Stronger

论文链接：https://arxiv.org/pdf/2312.10035.pdf

代码链接：https://github.com/Pointcept/PointTransformerV3

作者单位：HKU SH AI Lab MPI PKU MIT

本文无意在注意力机制内寻求创新。相反，它侧重于利用规模(scale)的力量，克服点云处理背景下准确性和效率之间现有的权衡。从 3D 大规模表示学习的最新进展中汲取灵感，本文认识到模型性能更多地受到规模的影响，而不是复杂的设计。因此，本文提出了 Point Transformer V3 (PTv3)，它优先考虑简单性和效率，而不是某些机制的准确性，这些机制对 scaling 后的整体性能影响较小，例如用以特定模式组织的点云的高效序列化邻域映射来替换 KNN 的精确邻域搜索。这一原理实现了显着的 scaling，将感受野从 16 点扩展到 1024 点，同时保持高效（与前身 PTv2 相比，处理速度提高了 3 倍，内存效率提高了 10 倍）。PTv3 在涵盖室内和室外场景的 20 多个下游任务中取得了最先进的结果。通过多数据集联合训练的进一步增强，PTv3 将这些结果推向了更高的水平。

3D 表示学习的最新进展 [85] 通过引入跨多个 3D 数据集的协同训练方法，在克服点云处理中的数据规模限制方面取得了进展。与该策略相结合，高效的卷积 backbone [12] 有效地弥补了通常与 point cloud transformers [38, 84] 相关的精度差距。然而，由于与稀疏卷积相比，point cloud transformers 的效率存在差距，因此 point cloud transformers 本身尚未完全受益于这种规模优势。这一发现塑造了本文工作的最初动机：用 scaling principle 的视角重新权衡 point transformers 的设计选择。本文认为模型性能受规模的影响比受复杂设计的影响更显着。

因此，本文引入了 Point Transformer V3 (PTv3)，它优先考虑简单性和效率，而不是某些机制的准确性，从而实现 scalability 。这样的调整对 scaling 后的整体性能影响可以忽略不计。具体来说，PTv3 进行了以下调整以实现卓越的效率和 scalability ：

受到最近两项进展 [48, 77] 的启发，并认识到结构化非结构化点云的 scalability 优势，PTv3 改变了由 K-Nearest Neighbors (KNN) query 定义的传统空间邻近性，占 forward time 的 28%。相反，它探索了点云中根据特定模式组织的序列化邻域的潜力。
PTv3 采用专为序列化点云量身定制的简化方法，取代了更复杂的注意力 patch 交互机制，例如 shift-window（阻碍注意力算子的融合）和邻域机制（导致高内存消耗）。
PTv3 消除了对占 forward time 26% 的相对位置编码的依赖，有利于更简单的前置稀疏卷积层。

本文认为这些设计是由现有 point cloud transformers 的 scaling principles 和进步驱动的直观选择。重要的是，本文强调了认识 scalability 如何影响 backbone 设计的至关重要性，而不是详细的模块设计。

这一原则显着增强了 scalability ，克服了准确性和效率之间的传统权衡（见图 1）。与前身相比，PTv3 的推理速度提高了 3.3 倍，内存使用量降低了 10.2 倍。更重要的是，PTv3 利用其固有的 scale 感知范围的能力，将其感受野从 16 点扩展到 1024 点，同时保持效率。这种 scalability 支撑了其在现实世界感知任务中的卓越性能，其中 PTv3 在室内和室外场景中的 20 多个下游任务中取得了最先进的结果。PTv3 通过多数据集训练进一步扩大其数据规模 [85]，进一步提升了这些结果。本文希望本文的见解能够激发未来这一方向的研究。