用人工智能提升您的照片:从高清放大到卡通滤镜

使用人工智能提升照片:高清放大和卡通滤镜

解析StyleGANEX

最初发表在louisbouchard.ai上,提前2天在我的博客上阅读!

观看视频:

让我们来谈谈能够将您的面部转化为有趣卡通形象、编辑面部特征(如改变发色)或仅仅将图像升级为高清的Ai模型。如果您一直在关注博客上的文章,那么您应该知道,大多数这些应用都依赖于一个称为StyleGAN的单个模型及其多个版本,我已经多次介绍过它。StyleGAN是由NVIDIA开发的基于GAN的架构,它可以将输入转化为另一个特定给定风格的输出。它也是开源的,意味着每个人都可以使用和构建它,这也是为什么所有的研究论文都在使用它。

StyleGANEX的结果示例,图片来自论文。

StyleGAN的问题在于,它只能处理来自训练数据的裁剪和对齐的面部图像,并且图像分辨率是固定的。这意味着对于真实世界的图像,您需要其他方法来找到面部、裁剪并重新定位,并且它们还必须具有相同的图像分辨率。这是一个很大的问题,因为通常您希望拥有高质量的图像,但对它们进行训练将需要非常长的时间。

因此,我们通常使用StyleGAN架构对图像进行风格转换,然后使用另一个网络将图像提升到更高的分辨率。虽然这种方法效果不错,但绝对不是理想的。您需要两个模型而不是一个,这增加了更多的偏见和潜在错误,而且还需要训练两个模型,限制了其通用性能力。幸运的是,一些了不起的研究人员正在解决这个有限输入图像的问题,并最近在ICCV 2023上发布了一种名为StyleGANEX的新方法,通过一些非常巧妙的小改变。而且,代码、预训练模型和在线演示都可以供您自行尝试。所有链接都在下面的参考资料中。