遇见SelFee：一种由自反馈生成驱动的迭代自我修订LLM
SelFee an iterative self-revising LLM generated by self-feedback.
最近的一项研究强调了自然语言反馈在提高语言模型性能方面的有效性。韩国科学技术院的研究人员引入了一种新的SelFee模型，专门用于自我反馈和自我修订生成。与以前的方法不同，SelFee不需要外部的大规模语言或任务特定的模型来生成高质量的响应。
SelFee是一个经过微调的基于LLaMA的指令遵循模型，它会持续修订其答案，直到在单次推断中达到高质量的响应。根据给定的指令，模型生成一个初始解决方案和自我反馈序列。通过分析生成的反馈内容，模型确定是否需要修订。如果需要修订，则根据反馈生成修订后的答案。这个迭代修订过程在单次推断中完成，与现有的基于LLaMA的模型相比，可以得到改进的解决方案。
研究人员从各种来源收集了多样化的指令数据，例如ShareGPT、Alpaca、Math、Code和Flan Collection。为了解决反馈和修订数据的稀缺性，他们使用了一种称为ChatGPT的教师模型的精馏过程来增强数据集。这种方法使他们能够以更低的成本生成更多的反馈和修订实例。
为了训练模型，研究人员使用OpenAI API调用进行了数据增强技术。他们从多个来源收集指令，并将其输入到ChatGPT中生成相应的答案。然后，他们通过再次查询ChatGPT来获取对生成答案的反馈。如果需要修订，ChatGPT会根据自动生成的反馈修订答案。这个过程会一直重复，直到不再需要进一步的修改为止。
SelFee使用FastChat框架进行训练。根据指令，模型被微调以生成答案和反馈链，包括修订。研究人员观察到，在推断过程中增加所需的最小修订次数可以提高答案质量。他们发现，至少需要三次修订的表现最好，即使是一个至少生成三次修订的7B SelFee模型也胜过一个不需要修改的13B SelFee模型。
在评估方面，研究人员采用了Vicuna评估设置，其中包括80个多样化的查询。他们没有进行人类评估，而是使用GPT-4作为评估器进行了试点评估。考虑到GPT-4的位置偏差，相对于ChatGPT报告了相对得分。
虽然SelFee在Vicuna评估设置中表现出与ChatGPT相当的性能，但与ChatGPT相比，它在数学、推理、事实和编码等方面缺乏知识。
总体而言，SelFee在语言模型中引入了一种新颖的自我反馈和自我修订生成方法。通过微调模型以持续修订其答案，SelFee在性能上实现了改进。研究结果强调了迭代修订在提高语言模型响应质量方面的重要性，并表明增加模型的推断计算可能比简单增加模型的大小更有效。
