揭示卡通动画的未来:AnimeInbet在线动画描线中的创新
揭示卡通动画的未来:AnimeInbet在线动画创新赋予描线以新活力
卡通动画自从20世纪初的起源以来,已经取得了显著的进展,当时动画师还是手工在纸上逐帧绘制。虽然在动画制作中已经引入了自动化技术来帮助特定任务,如着色和特效,但涉及手绘每帧人物线稿的基本方面仍然是一项劳动密集型的2D动画工作。
开发一种自动生成两个输入关键帧之间中间线稿的自动化算法,这个过程通常被称为”中间帧生成”,有望极大提高这个行业的生产力。与普通帧插值相比,线稿的中间补帧面临着不同的挑战,因为线稿往往稀疏,它们通常由大约3%的黑色像素组成,其余图像为白色背景。这种独特性对于现有的基于栅格图像的帧插值方法提出了两个关键挑战。首先,线稿中缺乏纹理使得在帧插值中准确计算像素级对应关系变得困难,因为对于单个像素存在多个类似的匹配候选。其次,帧插值中使用的变形和混合技术可能导致线与背景之间的关键边界模糊,从而导致细节的严重丢失。
考虑到上述问题,提出了一种名为”AnimeInbet”的新型深度学习框架,以几何格式而不是栅格图像执行线稿的中间补帧。下图展示了该方法的概述。
- 生成型人工智能是否值得其环境足迹?’ (Shēngchéngxíng réngōng zhìnéng shìfǒu zhídé qí huánjìng zújì?)
- “ConvNet是否卷土重来?揭示其在大规模Web数据集和匹配视觉转换器上的性能”
- 按需打印和直运:将您对艺术的热情变现
该过程涉及将源图像转换为矢量图以合成中间图。这种改变解决了前文中提到的挑战。在几何领域的匹配过程主要关注集中的几何端点而不是所有像素,减少潜在的歧义并提高对应关系的准确性。此外,重新定位过程保留了线稿的拓扑结构,保持复杂而详细的线条结构。
AnimeInbet框架的基本概念是识别两个输入线稿图中匹配的顶点,然后在其中创建一个新的中间图。该过程首先要开发一种编码顶点的策略,以便区分稀疏绘制线条的端点的几何特征。然后,使用顶点对应变换器在两个输入线稿的端点之间建立匹配。然后将匹配顶点的位移向量基于它们的聚合特征相似性传播到未匹配的顶点,以便重新定位所有端点。最后,该框架预测一个可见性掩模,用于移除在中间帧中被遮挡的顶点和边,确保创建一个干净完整的中间帧。
为了支持顶点对应的监督训练,引入了一个名为MixamoLine240的新数据集。这个独特的数据集提供带有地面真实几何化和顶点匹配标签的线插图。数据集中的2D线稿是从3D模型的特定边缘选择生成的,端点对应于索引的3D顶点。使用3D顶点作为参考点可以确保数据集中的顶点级别上的顶点匹配标签的准确性和一致性。
与现有方法相比,AnimeInbet框架已经证明了其生成干净完整中间线稿的能力。下面是一些取自研究的示例。
这是AnimeInbet的概述,这是一种新颖的AI技术,它以几何化格式而不是光栅图像来执行线条绘图的中间化。如果您有兴趣并想了解更多信息,请随时参考下面引用的链接。