唐木来自天龙寺

量子比特报告| 公众号

点云作为三维世界更加真实有效的表达方式，近年来受到学术界和工业界的广泛关注。 激光雷达和深度相机的大规模应用也为点云的发展创造了丰富的数据条件。

然而，传感器获得的点云是含有噪声的非均匀稀疏坐标点，无法直接通过现有的用于处理图像的卷积网络进行处理。

在渲染、分析和理解之前，我们需要有效的手段对点云进行处理，以提高点云数据的质量。

点云本质上是稀疏且不规则的，处理原始点云以产生密集、完整、均匀的点云的上采样任务引起了许多研究人员的关注。

这项复杂的任务不仅需要在输入数据不完善的前提下进行高效的上采样，还要填补缺失的空洞和间隙，提高点云分布的均匀性。

目前有多种致力于加密点云以提高点云质量的深度学习方法，包括PU-GAN、EC-Net和MPU等方法。 然而，当面对极其稀疏且不规则的低质量点云输入时，仍然无法恢复有效的点云结果。

然而，提高点云质量是工业界非常迫切的需求，这是后续分析处理任务的重要保障。

香港中文大学和特拉维夫大学的研究人员在今年的ICCV上提出了一种生成对抗方法PU-GAN，该方法集成了点云上采样和均匀点云补全等修复任务。 通过训练，具有多样化点云生成能力的生成器和高效判别器，实现原始点云的恢复和质量提升。

同时，为了稳定训练过程，PU-GAN还使用了up-down-up模块来扩展点云特征港中文，并引入self-机制来提高点云融合的质量，实现了良好的重建的点云。 密度、完整性、均匀性均达到最先进水平。

普甘

点云上采样的主要任务是利用输入的原始稀疏点云生成与目标几何形状相同的密集点云。

在PU-GAN的生成对抗架构中，生成器主要负责生成更密集的点云，而鉴别器则专注于识别生成的点云中的错误样本。 隔离生成器生成更接近目标几何形状的形状。 分布更均匀的点云，结果更完整。

整个模型主要分为两部分：生成器和判别器。 生成器包括特征预提取、特征扩展和点云生成模块； 判别器包括特征提取器、自注意力单元和输出置信概率。 多层感知器结构。

在生成器中，n*d点云输入到网络中，然后进入特征预提取模块。 这里的点云可以是只包含空间坐标的三维点云，也可以是包含颜色等丰富信息的高维点云。

这里研究人员使用了一种基于密集连接网络的方法来提取不同级别的点云特征。 然后将提取的点云特征F传递给特征扩展模块进行上采样，以扩展更丰富的特征。

在特征扩展模块中，研究人员提出了一种自上而下的扩展方法。 该方法首先对输入特征进行上采样，然后将其下采样到与输入特征相同的维度。

此时，计算新的下采样特征与之前的原始特征的差异，并对该差异进行上采样，得到扩展后的差异特征，最后与第一步上采样的扩展特征相加，得到最终的特征扩展输出。

这种类似残差的特征扩展方法不仅避免了冗长的多步训练，而且提高了生成细粒度特征的能力。 值得一提的是留学之路，在上采样操作过程中，模型还为每个扩展特征引入了唯一的二维向量，为扩展特征提供了更丰富的信息。

最后，扩展的特征通过一系列多层感知器来重建密集的点云。 在生成更加均匀的密集点云方面，特征扩展阶段额外的二维和最远点采样器发挥着非常重要的全局作用。

在判别器中，研究人员首先采用了点特征提取结构，并通过轻量级模型将局部和全局模型结合起来。 自注意力单元进一步集成到模型中以改进特征学习。 自注意力单元提高了特征集成和后续特征提取能力。

网络的有效训练离不开损失函数的指导。 除了对抗性损失之外，PU-GAN还引入了均匀性损失，它计算生成的点云的空间分布以获得局部和全局均匀性指标，用于指导模型生成更均匀的点云结果。 下图展示了不同分布的点云均匀性损失的计算结果。 可以看到右侧的均匀点云损失较小。

最后，为了鼓励生成靠近目标表面的点云，PU-GAN 使用 Earth Mover 的作为重建损失函数。 最终的损失函数包括三部分：生成损失、均匀化损失和重建损失。

密集、均匀、完整的点云才是好的点云。

PU-GAN 使用 PU-Net、MPU 和 PU-GAN 中的 147 个丰富的 3D 模型，并为其中 120 个模型构建训练数据集。 在每个三维模型上分割200个点云切片，总共获得24000个点云结果。 此外，还对样本进行了旋转、缩放和噪声扰动以增强数据。

△图的左半部分显示了从模型中采样的种子点，以及采样点云片对应的密集点云和稀疏点云。

从结果可以看出，PU-GAN修复的点云在密度、均匀性和完整性方面都超过了之前的方法。

此方法产生的结果噪声更少、伪影更少且细节更多。 尤其是在细长物体的重建部分，具有明显的优势。

实验中还使用不同噪声水平和稀疏度的点云作为输入来评估模型的稳定性。 如下图所示，该模型在不同噪声水平（左）和输入密度（右）下都能产生稳定的输出。 加密后结果统一、完整。

对于自动驾驶的真实激光雷达数据，PU-GAN 还可以有效地填补漏洞并生成统一的结果。 如下图所示，稀疏的人体和车辆得到了有效的重构，这对于自动驾驶中的识别算法非常有效，为算法的准确感知提供了坚实的基础。

协作科研容易产出论文

PU-GAN的作者有五位，分别来自香港中文学院、特拉维夫大学、广东省计算机与虚拟现实重点实验室、深圳先进技术研究院。

在粤港澳大湾区协同发展背景下，学术交流融合不断呈现高水平论文新成果。

第一作者李是香港中国语言文学系计算机科学系二年级博士生。 目前正在第三作者Chi-Wing Fu的指导下进行点云处理和视觉方面的研究。

第二作者李贤智，博士。 即将从香港计算机工程系毕业的学生。 对点云加密有深入的研究。 他也是两篇点云上采样论文的作者之一，包括 EC-Net 和 PU-Net。 导师是 Pheng-Ann Heng 和 Chi-Wing Fu。

傅三座（ Chi-Wing FU）是香港中国语言及文学计算机系教授。 主要研究方向为三维视觉、交互和数据可视化。 主页显示港中文，今年他的团队有16篇论文被各大顶级会议接收，包括SIG Asia、ICCV、CVPR、PAMI等。

第四作者科恩-奥尔是以色列特拉维夫大学教授。 主要在图形学、三维感知理解、计算机视觉等方面进行深入研究，发表多篇代表性论文。

吴佐王平安是香港中文计算机科学系教授，曾担任系主任和研究生带头人。 兼任中国科学院深圳先进技术研究院人机交互中心主任。

如果您对他们的研究感兴趣，请保留以下传送门：

- 超过-

大咖齐聚！量子比特智能未来大会

Qubit MEET 2020智能未来大会回放来了！ 李开复、倪光南、景坤、周博文、吴明辉、曹旭东、叶杰平、唐文斌、王彦峰、黄刚、马原等AI巨头将与您一起了解人工智能。 扫码观看回放~~

量子比特·今日头条签约作者

̾'ᴗ' ̫ 追踪AI技术和产品新进展

喜欢的话就点击“观看”吧！