见证ImageReward：一种突破AI生成能力和人类价值观鸿沟的革命性文本到图像模型
Witness ImageReward a revolutionary text-to-image model that bridges the gap between AI generation capabilities and human values.
在机器学习中，基于文本输入可以生成图像的生成模型近年来取得了重大进展，各种方法都显示出了有希望的结果。虽然这些模型引起了相当大的关注和潜在应用，但由于预训练和用户提示分布之间存在差异，导致生成的图像存在已知问题，将它们与人类偏好保持一致仍然是一个主要挑战。
从文本提示生成图像会面临一些挑战，包括准确对齐文本和图像、准确描绘人体、遵循人类审美偏好以及避免生成内容中的潜在毒性和偏见等。解决这些挑战需要不仅仅改进模型架构和预训练数据，还需要采用自然语言处理中探索的一种方法，即通过专家注释的比较来创建一个奖励模型，以引导模型朝向人类偏好和价值观。然而，这个注释过程可能需要时间和精力。
为了解决这些挑战，中国的一个研究团队提出了一种从文本提示生成图像的新方法。他们引入了ImageReward，这是第一个通用的文本到图像人类偏好奖励模型，它基于现实世界用户提示和模型输出的137k对专家比较进行训练。
为构建ImageReward，作者使用了基于图的算法来选择各种提示，并提供给注释人员一个由提示注释、文本-图像评分和图像排名组成的系统。他们还招募了至少具有大学教育水平的注释人员，以确保对生成图像的评分和排名达成共识。作者分析了文本到图像模型在不同类型提示上的性能。他们收集了8,878个有用的提示的数据集，并根据三个维度对生成的图像进行评分。他们还发现了生成图像中的常见问题，发现人体问题和重复生成问题最为严重。他们研究了提示中的“功能”词对模型性能的影响，并发现适当的功能短语可以改善文本与图像的对齐。
实验步骤涉及使用注释来模拟人类偏好，训练ImageReward，即生成图像的偏好模型。使用BLIP作为骨干网络，并冻结一些Transformer层以防止过拟合。通过使用验证集进行网格搜索确定最优超参数。损失函数基于每个提示的排名图像来构建，目标是自动选择人类偏好的图像。
在实验步骤中，模型在超过136,000对图像比较的数据集上进行训练，并使用偏好准确度、召回率和过滤器得分与其他模型进行比较。ImageReward在偏好准确度方面优于其他模型，达到65.14%。论文还包括注释人员、研究人员、注释人员集合和模型之间的一致性分析。结果显示，该模型在图像保真度方面表现更好，这比美学更复杂，并且它最大化了优劣图像之间的差异。此外，还进行了消融研究，分析了从所提出的ImageReward模型中删除特定组件或特征的影响。消融研究的主要结果是，删除任何一个分支，包括Transformer骨干网络、图像编码器和文本编码器，都会导致模型的偏好准确度显著下降。特别是删除Transformer骨干网络会导致最显著的性能下降，这表明Transformer在模型中起着关键的作用。
本文介绍了中国团队进行的一项新调查，介绍了ImageReward。这个通用的文本到图像人类偏好奖励模型通过与人类价值观保持一致来解决生成模型中的问题。他们创建了一个注释流程和一个由137k个比较和8,878个提示组成的数据集。实验证明，ImageReward在现有方法中表现优异，并可以作为一种理想的评估指标。该团队分析了人类评估结果，并计划改进注释流程，扩展模型以涵盖更多类别，并探索强化学习以推动文本到图像合成的边界。
