研究人员开发了一种新的无标记AI方法,可以使用视频录像来跟踪鸟类的3D姿势

Researchers develop new AI method to track 3D bird poses using video recordings.

追踪动物和鸟类的行为、凝视和微小运动一直是研究人员面临的挑战,因为目前仍然缺乏大量带有准确3D注释的多角度动物图像的数据集,用于无标记姿态跟踪。观察和理解鸟类和动物复杂行为的复杂性导致全球努力制定创新的跟踪方法。

为了应对这一挑战,康斯坦茨大学集体行为先进研究中心(CASCB)的研究人员开发了一个数据集来推进行为研究。借助这种无标记方法,他们实现了对单个鸟类的微小行为的跟踪和观察。

这个研究团队成功地创建了一种无标记方法,通过视频记录识别和跟踪鸟类姿势。他们将这种方法称为3D-POP(鸽子的3D姿势)。通过这种方法,可以录制鸽子的视频,并轻松识别每只鸟的凝视和行为。因此,不再需要将运动发射器附在动物身上来跟踪和识别鸟类。

此外,该数据集使研究人员能够通过仅使用两个摄像头集体研究鸟类的行为模式。研究人员利用鸟类的头部和身体方向跟踪的事实,可以量化许多关键行为,如进食(啄食地面)、整理羽毛、警戒(扫视)、求偶(点头示意)或行走。

制定这种3D-POP方法的研究人员在不同的观察角度下,以1、2、5和10个不同群体规模的18只独特鸽子的视频记录。他们还为整个数据集的30万帧中的所有个体提供了身份、2D-3D轨迹和2D-3D姿势映射的真实数据。他们制定的数据集还包括物体检测的边界框注释。

研究人员从一块黄麻织物(3.6m x 4.2m)上的移动鸽子收集了数据集。然后他们在这块织物上撒下粮食,鼓励鸽子在那个区域进食。该喂食区域位于一个配备了运动捕捉系统(15m x 7m x 4m)的大型围场内。运动捕捉系统由30个运动捕捉相机(12个Vicon Vero 2.2,18个Vicon Vantage-5相机;100Hz)组成。在喂食区域的角落,他们放置了4个高分辨率(4K)索尼运动相机,安装在标准三脚架上,并配备了一个基于Arduino的同步盒子,每5秒闪烁一次RGB和红外LED灯。这18只鸽子进行了6天的实验。每天他们随机选择10只鸽子进行实验。

这种方法在追踪动物的行为、凝视和微小运动方面非常有用。研究人员建议,这种注释方法也可以用于其他鸟类或其他动物,以便研究人员也可以研究和分析其他动物的行为。