认识POCO：一种新颖的人工智能框架，用于3D人体姿势和形状估计
深入了解POCO：一款用于3D人体姿势和形状估计的新颖人工智能框架
从照片和移动图片中估计3D人体姿势和形状（HPS）是重建真实世界环境中的人体动作所必需的。然而，从2D图像中推断3D有很大的挑战，由于深度的不确定性、遮挡、不寻常的服装和运动模糊等因素。即使是最先进的HPS方法也会产生错误，并且通常对这些错误毫不知情。HPS是一个中间任务，它提供由下游任务（如理解人类行为或3D图形应用程序）使用的输出。这些下游任务需要一种机制来评估HPS结果的准确性，因此这些方法必须产生与HPS质量相关的不确定性（或置信度）值。
解决这种不确定性的一种方法是输出多个人体，但这仍然缺乏明确的不确定性度量。虽然一些例外存在，可以估计参数分布，但其中一种方法是通过从人体分布中抽样并计算这些样本的标准差来计算不确定性。尽管该方法有效，但它有两个限制：它速度较慢，因为需要多次前向网络传递来生成样本，而且它以准确性为代价换取速度。更多的样本可以提高准确性，但会增加计算需求。
最近，开发了一种方法，通过训练网络同时输出人体参数和不确定性来跳过显式监督。受到对语义分割的工作的启发，它使用基于高斯的基本密度函数，但识别到需要更复杂的分布来建模人体姿势。通常直接估计不确定性的方法包括基本密度函数和尺度网络。现有方法使用无条件的基本密度函数，并仅依赖于图像特征进行尺度网络。当样本共享相似分布时，这种方法表现良好，但在处理用于鲁棒3D HPS模型的多样化数据集时效果不佳。
- 这篇AI研究提出了FireAct：一种新颖的人工智能方法，利用来自多个任务和代理方法的轨迹来微调语言模型
- 苹果和卡耐基梅隆大学的研究人员发布了永无止境的用户界面学习者：通过持续的机器学习改变应用程序的可访问性
- WellSaid Labs AI Voice Generator Review (2023年10月)
作者介绍了“POCO（POse and shape estimation with COnfidence）”，这是一个可应用于标准HPS方法来解决这些挑战的新框架。POCO扩展了这些方法以估计不确定性。在单次前向传递中，POCO直接推断出Skinned Multi-Person Linear Model（SMPL）人体参数及其回归不确定性，后者与重建质量高度相关。该框架的关键创新在于“Dual Conditioning Strategy（DCS）”，它增强了基本密度函数和尺度网络。下面的图中介绍了该框架的概述。
与以前的方法不同，POCO引入了条件向量（Cond-bDF）来建模推断姿势误差的基本密度函数。POCO不使用简单的一位热数据源编码，而是使用图像特征进行条件建模，从而实现对多样化和复杂图像数据集的可扩展训练。此外，POCO的作者还引入了一种增强的方法来估计HPS模型中的不确定性。他们使用图像特征并以SMPL姿势为条件，从而改善姿势重建和更好的不确定性估计。他们的方法可以无缝集成到现有的HPS模型中，提高准确性而不带来不利影响。研究声称这种方法在将不确定性与姿势误差相关性方面优于最先进的方法。他们的工作中显示的结果如下所报告。
这是POCO的简介，它是一个用于3D人体姿势和形状估计的新型AI框架。如果你对此感兴趣并且想要了解更多信息，请随时查阅下方提供的链接。
