“认识I2D2：一种利用受限解码和自我模仿学习从语言模型生成通用知识的新型人工智能框架”
Understanding I2D2 A novel AI framework that generates general knowledge from language models using constrained decoding and self-imitation learning.
语言模型的快速进展主要归功于它们的大规模，使其在各种自然语言处理任务中具备了惊人的能力。然而，一个发人深省的问题出现了：规模是模型性能的唯一决定因素吗？最近的一项研究质疑了这一观点，并调查了较小的模型是否能与今天可用的最大模型竞争，尽管它们的尺寸较小。通过利用创新的蒸馏、约束解码和自我模仿学习算法，该研究引入了一种开创性的框架，名为I2D2，使较小的语言模型能够胜过大100倍的模型。
通过I2D2赋予较小的模型能力
较小的语言模型面临的主要挑战是其生成质量相对较低。 I2D2框架通过两个关键创新克服了这个障碍。首先，它采用神经逻辑解码进行约束生成，从而在生成质量上略有改进。此外，该框架还包括一个小的评论模型，用于过滤低质量的生成结果，从而实现了性能的大幅提升。在评论过滤后获得高质量生成结果后，语言模型在后续的自我模仿步骤中进行微调。重要的是，这些步骤可以迭代应用，不断提高较小语言模型的性能。
在生成常识知识方面的应用
在生成有关日常概念的常识知识方面，I2D2框架展示了令人印象深刻的结果。与依赖GPT-3生成结果进行知识蒸馏的其他方法不同，I2D2是独立的。尽管基于比GPT-3小100倍的模型，但I2D2生成了一个高质量的通用常识知识语料库。
超越更大模型
比较分析显示，I2D2在生成通用语句时的准确性超过了GPT-3。通过检查GenericsKB、GPT-3和I2D2中通用语句的准确性，可以明显看出尽管I2D2的模型尺寸较小，但它的准确性水平更高。该框架的评论模型在区分真实和虚假常识陈述方面起着关键作用，并超越了GPT-3。
增强的多样性和迭代改进
除了提高准确性外，与GenericsKB相比，I2D2在生成结果的多样性方面表现出更大的差异性。生成的内容多样性是其的十倍，而且随着自我模仿的迭代次数的增加而不断改进。这些发现说明了I2D2在生成准确和多样的通用陈述方面的稳健性，同时利用比竞争对手小100倍的模型。
研究的意义
这项研究的关键发现对自然语言处理领域具有深远的影响。它强调了较小和更高效的语言模型在改进方面具有重要潜力。通过采用I2D2中介绍的新算法技术，较小的模型可以在特定任务中与较大模型的性能相媲美。此外，该研究挑战了自我改进仅适用于大规模语言模型的观点，因为I2D2展示了较小模型自我迭代和提高生成质量的能力。
