点云是三维目标最为重要的表示形式之一，但高效地处理需要面临点云非规则、无序性和稀疏性的特点。为了克服三维卷积带来的计算资源消耗和分辨率限制，来自香港中文大学深圳分校等机构的研究人员们提出了一种基于局域展平的二维平面卷积方法fpconv，将点云非线性投影到特殊平面上，而后在利用2d卷积进行有效地特征抽取。
这种方法将点云转换到二维平面上的投影过程和插值过程简化为一个权重矩阵的学习。fpconv不仅提升了信息的抽取能力，简化了运算过程，同时还能便捷地集成到现有的点云处理框架中去，大幅度提高各类三维分析任务的性能。
fpconv
随着点云数据获取的途径日益增加，对于点云的高效处理需求也变得日益紧迫。但点云天然具有的非规则性和稀疏性使相应的3d处理、分析和理解过程还存在着不小的挑战。基于手工的特征无法适应范围广泛的应用场景，近年来使用多层感知机pointnet系列方法虽然取得了不错的效果，但却不支持图像领域非常有用的卷积操作。人们将图像领域的2d卷积拓展到了3d卷积来处理点云，但栅格化的体素表示不仅限制了模型的空间分辨率，同时也带来了非常高的内存与计算资源消耗。
在研究过程中人们发现，3d传感器和激光雷达的点云一般情况下仅仅集中物体的表面附近，内部几乎没有点存在。于是目标曲面作为3d数据更为自然和紧致的表示成为了人们处理三维数据更好的选择。但基于图结构的表示方法很大程度上则对局域拓扑结构较为敏感，人们将目光转向了在特殊的2d平面上对三维数据进行有效处理。
在这样思想的启发下，研究人员提出了一种新的卷积操作fpconv，可以直接作用于某一几何构型的局域表面，而无需任何的中间栅格表示或图表示。这种方法与投影－插值法比较类似但却具有更强的通用性，可以通过学习单个权重矩阵来同时完成投影到特殊平面并插值的过程。这种更为通用和鲁棒的过程可以被有效集成到多种模型架构中，实现点云分类、语义分割等有效的三维分析任务。
fpconv是一类基于物体表面表示的点云处理方法，将为每一个面片学习出非线性投影，将邻域内的点展平到2d的栅格平面内，随后2d卷积就可以便捷地应用于特征抽取。尽管这种方法会损失一个维度的信息，但有效地非线性投影还是实现的信息高度地保留和抽取，并超过了基于体素方法的模型性能。
下面，我们首先来看一看如何将物体表面点云的卷积是如何在离散情况下被简化为权重学习问题的。
针对点云，点p处的点云片表示为。要对点p处的点云特征进行卷积操作，首先需要将其拓展到连续的表面上去。研究人员引入了一个虚拟的2d平面以及将投影到上的映射，以及最终在虚拟平面上得到的连续信号。此时在投影后的平面上表达的特征等价于下面的形式，为p点邻域内的点。
同时p点处的卷积在虚拟平面内可以被表达为，其中为卷积核：
接下来我们将证明如何将这一卷积计算问题转换为权重学习问题。
首先在映射的作用下，将被转换为上离散的点，需要进行插值从而得到上连续的表示，此处就需要加权插值来获取u处的值：eq3 如果将s上的连续信号u离散化为，那么针对每一个栅格点，利用则有下面的表示，此处可以表示为p点邻域内所有点qi的加权平均结果，此时权重也与位置v和q点相关：
有了平面内的连续信号表示，那么卷积操作就可以分解为每一个栅格点处的操作：
其中cj为第j个栅格点处的卷积核权重，权重矩阵，f（p）则为p点处特征的集合。此时可以看到投影过程和插值过程可以被权重矩阵代替，同时只依赖于中心点的邻域点。所以接下来的问题就归结为了如何学习处权重矩阵，从而将点云的特征展平到二维平面上进行处理。

---