新加坡南洋理工大学的研究人员提出了PointHPS：一种基于3D点云的准确人体姿态和形状估计的人工智能框架
Researchers at Nanyang Technological University in Singapore propose PointHPS, an AI framework for accurate human pose and shape estimation based on 3D point clouds.
随着人工智能领域的几项进展，人体姿势和形状估计（HPS）近年来成为一个越来越重要的研究领域。随着几个实际应用，包括动作捕捉、虚拟试衣和混合现实，恢复三维人体已经成为一个重要的挑战。估计姿势以及身体在三维空间中的排列方式，以及分析个体身体的形状和物理特性，是这个过程中的一步。一个例子是使用参数化的人体模型，比如SMPL模型，它描述了具有形状和位置特征的人体。
从2D照片中预测这些参数化模型在最近几年变得更加容易。然而，在某些情况下，2D图像存在缺点，如深度模糊和隐私问题。这就是3D点云数据有用的情况。准确地从3D点云中估计人体姿势和形状已经成为可能，这要归功于深度传感器的进步和大规模数据集的可访问性。
最近的研究中，一组研究人员提出了一种名为PointHPS的方法论框架，用于从实际环境中获取的点云中进行精确的3D HPS。PointHPS使用级联设计，在每个迭代中反复完善点特征。它使用迭代的改进过程，在不同阶段对输入点云数据进行一系列的下采样和上采样技术处理。这些过程旨在从数据中提取局部和全局线索。
PointHPS中包含了两个前沿模块，以改进特征提取过程。首先是交叉阶段特征融合（CFF），它是一个模块，可以实现多尺度特征传播，从而实现各个网络阶段之间的有效信息传递。它有助于保留上下文和捕捉信息。其次是中间特征增强（IFE），它集中于以一种对人体结构意识的方式收集特征。在每个阶段之后，特征的质量都会提高，使其更适合进行精确的姿势和形状估计。
该团队在两个重要的基准测试上进行了测试，以在不同条件下进行全面评估：
- 真实世界数据集：该数据集包含在实验室环境中使用真实商用传感器记录的各种参与者和动作。它代表了一个更加困难和真实的环境。
- 数据集生成：该数据集是经过精心创建的，考虑到了真实条件，例如繁忙的户外环境中的穿着人群。还提供了对各种环境参数的控制。
广泛的测试表明，PointHPS在点特征提取和处理方面具有鲁棒性，击败了最先进的技术。通过消融实验进一步支持了建议的级联架构的有效性，该架构通过CFF和IFE模块进行了改进。该团队打算发布他们的预训练模型、代码和数据，以供进一步的基于点云的HPS研究使用。未来在这个领域的研究将变得更加容易，这也将增加准确估计真实世界点云数据中的3D人体位置和形状的能力。
