Learn more about Quantization

如何在有限内存中适配大型语言模型:量化

大型语言模型可用于文本生成、翻译、问答等任务然而,大型语言模型(显然,就是大型语言模型)也非常庞大,需要大量内存...

张量量化:未被讲述的故事

在本文的其余部分,我们将尝试用具体例子回答以下问题规模:在对浮点数范围进行量化时,通常会使用浮点数表示…

相似性搜索,第三部分:融合倒排文件索引和产品量化

相似性搜索是一个问题,给定一个查询,目标是在所有数据库文档中找到与其最相似的文档在数据科学中,相似性搜索经常出现在自...

相似度搜索,第二部分:产品量化

相似度搜索是一个问题,给定一个查询,目标是在所有数据库文档中找到与其最相似的文档在数据科学中,相似度搜索经常出现在自...