谷歌研究员提出了MEMORY-VQ:一种新的人工智能方法,可以减少存储要求,而不会牺牲存储增强模型的性能

Google researchers proposed MEMORY-VQ, a new AI method that reduces storage requirements without sacrificing the performance of storage-enhanced models.

近期语言模型的研究强调了提高事实知识的检索增强的重要性。检索增强涉及为这些模型提供相关的文本段落以提高其性能,但这会增加计算成本。LUMEN和LUMEN-VQ所描绘的一种新方法旨在通过预编码语料库中的段落来加快检索增强。这种方法有助于减轻计算负担同时保持质量。然而,预编码需要大量的存储空间,这是一个挑战。

LUMEN-VQ是产品量化和VQ-VAE方法的组合,通过实现16倍的压缩率来解决存储问题。这意味着可以高效地存储广泛的语料库的内存表示。这一进展标志着实现实用的大规模检索增强的重要一步,使语言理解和信息检索任务受益。

谷歌研究人员提出了MEMORY-VQ作为一种减少存储需求的方法。它通过使用向量量化来压缩内存,并用可以即时解压缩的整数代码替换原始内存向量。每个量化向量的存储需求取决于子空间的数量和表示每个代码所需的位数,由代码数量的对数决定。该方法应用于LUMEN模型,得到LUMEN-VQ。它采用产品量化和VQ-VAE进行压缩和解压缩,并进行了仔细的码本初始化和内存划分。

总之,MEMORY-VQ是一种有效降低内存增强语言模型存储需求的开创性方法,同时保持高性能。它使内存增强成为实现重要推理速度提升的实用解决方案,特别是在处理大规模检索语料库时。