谷歌AI引入了符号调整：一种简单的微调方法，通过强调输入-标签映射来提高上下文学习
Google AI introduced symbol adjustment, a simple fine-tuning method that enhances contextual learning by emphasizing the input-label mapping.
语言模型在上下文中调整输入-标签对，其中自然语言标签被重新映射为任意符号。对于给定的任务，模型必须依赖上下文中的输入-标签映射来进行推理并揭示任务。在一篇新的研究论文中，谷歌AI团队介绍了一种简单的微调过程，显著提高了语言模型在上下文中基于输入-标签映射进行推理和学习的能力。他们称之为符号调整。研究团队使用了22个具有各种任意符号标签的NLP数据集的混合，并使用多个Flan-PaL模型进行实验。
使用符号调整可以改善基线模型在未见过的上下文学习任务上的性能。这些模型基于微调的示例，其中语义不相关的标签取代了自然语言标签。为了定义任务，需要多个上下文示例，因为仅仅通过一个单一的上下文示例无法清楚地确定任务。平均而言，符号调整使得Flan-cont-PaLM-62B在十一个评估任务中的性能提高了11.1%。
符号调整的模型只包含自然语言数据，而不包含数值和算法数据。这使得这些模型在算法推理任务中表现更好。为了验证这一点，研究人员进行了一组列表函数任务的实验，其中模型需要识别输入和输出列表之间的转换函数，这些列表包含非负整数。他们使用简单的图灵概念，模型使用二进制字符串推理将输入映射到输出。他们发现符号调整对于Flan-PaLM-8B的所有任务的平均性能提升为18.2%，对于Flan-PaLM-62B的平均性能提升为11.1%，对于Flan-cont-PaLM-62B的平均性能提升为15.5%，对于Flan-PaLM-540B的平均性能提升为3.6%。
与指令调整的模型相比，符号调整的模型在上下文中更擅长遵循翻转的标签。指令调整的模型的性能远低于随机猜测，因为它们无法翻转预测以遵循翻转的标签。另一方面，符号调整强制模型将上下文中呈现的标签视为任意符号。这减少了模型使用与翻转标签相矛盾的先验知识的程度。研究人员发现，在符号调整之后，Flan-PaLM-8B的所有数据集的平均改进为26.5%，Flan-PaLM-62B的平均改进为33.7%，Flan-PaLM-540B的平均改进为34.0%。
研究人员表示，符号调整不需要对小数据集的任何模型进行多步微调。在最初的1k到2k步骤中，观察到的性能保持相对稳定。由于性能保持相对稳定，可以推测较大的模型需要更多样化或更大规模的符号调整数据集。
研究人员发现，在初始步骤之后，符号调整数据的比例对模型的性能没有影响。因此，只要使用了重要的符号调整数据，模型就能在ICL设置中成功。团队发现符号调整数据的混合比例越高，模型遵循翻转标签的可能性就越大。这提高了模型使用上下文示例覆盖先验知识的能力。只有当模型将其能力从多样化的任务集合中输入模型中的新任务时，这种方法才会成功。
