数据时间：LlamaIndex QA系统与私有数据和有效评估
'Data Time LlamaIndex QA System with Private Data and Effective Evaluation.
介绍
Datahour是Analytics Vidhya的一个在线1小时网络系列节目，行业专家在其中分享他们在数据科学和人工智能领域的知识和经验。在其中一次会议上，Glance-Inmobi的资深数据科学家Ravi Theja分享了他在构建和部署先进的机器学习模型用于推荐系统、自然语言处理应用和生成式人工智能方面的专业知识。Ravi在IIIT-Bangalore获得计算机科学硕士学位，奠定了他在数据科学和人工智能领域的基础。本次会议围绕LlamaIndex展开，讨论了如何使用私有数据构建问答系统和评估问答系统。在本博客文章中，我们将讨论本次会议的关键要点，并详细解释Llama Index及其应用。
Llama Index是什么？
Llama Index是一个作为外部数据源和查询引擎之间接口的解决方案。它由三个组件组成：数据引擎、索引或数据成功和查询界面。Llama Index提供的数据连接器可以从各种来源（包括PDF、音频文件和CRM系统）轻松地进行数据摄取。索引存储和索引不同用例的数据，查询界面提取所需信息以回答问题。Llama Index对于销售、市场营销、招聘、法律和金融等各种应用非常有帮助。
处理大量文本数据的挑战
会议讨论了处理大量文本数据的挑战以及如何提取正确的信息来回答给定的问题。私有数据可以从各种来源获取，使用私有数据的一种方法是通过训练自己的数据对LLMs进行微调。然而，这需要大量的数据准备工作，并且缺乏透明度。另一种方法是使用具有上下文的提示来回答问题，但存在令牌限制。
Llama Index结构
Llama Index结构涉及通过索引文档创建数据概览。索引过程涉及将文本文档划分为不同节点，每个节点都有一个嵌入。检索器帮助检索给定查询的文档，查询引擎管理检索和统计信息。Llama Index具有不同类型的索引，其中最简单的是向量存储索引。为了使用销售模型生成响应，系统将文档划分为节点，并为每个节点创建一个嵌入以进行存储。查询涉及检索查询嵌入和与查询相似的顶级节点。销售模型利用这些节点生成响应。Llama是免费的，并与collapse集成。
在索引上生成响应
讲者讨论了如何在索引上生成响应。作者解释说，测试存储索引的默认值设置为1，这意味着使用向量进行索引只会采用第一个节点生成答案。然而，如果LLM需要遍历所有节点以生成响应，则使用列表索引。作者还解释了用于生成响应的创建和细化框架，其中LLM根据先前的答案、查询和节点信息重新生成答案。讲者提到，这个过程对于语义搜索非常有帮助，并且只需几行代码即可实现。
使用特定响应模式查询和总结文档
讲者讨论了如何使用Mindex工具提供的“3 summarize”特定响应模式查询和总结文档。该过程涉及导入必要的库，从各种来源（如网页、PDF和Google Drive）加载数据，并从文档创建一个向量存储索引。文本还提到了可以使用该工具创建的简单UI系统。响应模式允许查询文档并提供文章摘要。讲者还提到使用源注释和相似度支持来回答问题。
索引CSV文件以及如何检索查询结果
文本讨论了索引CSV文件以及如何检索查询结果的方法。如果对CSV文件进行索引，可以通过查询来检索它，但如果将其索引为一行具有不同列的一个数据点，则可能会丢失一些信息。对于CSV文件，建议将数据摄取到WSL数据库中，并在任何SQL数据库之上使用包装器执行文本U SQL。一个文档可以被划分为多个块，每个块都表示为一个节点、嵌入和文本。文本根据不同的文本（如汽车、计算机和句子）进行划分。
使用不同的纹理和数据源创建索引和查询引擎
在创建索引和查询引擎时，您可以利用不同的纹理和数据源。通过从每个源创建索引并将它们组合成一个复合图，即使数据源位于不同的故事中，在查询时也可以从两个索引中检索相关节点。查询引擎还可以将查询拆分为多个问题，以生成有意义的答案。本笔记提供了如何使用这些技术的示例。
问题与回答系统的评估框架
Lamb索引系统具有服务上下文和存储上下文。服务上下文帮助定义不同的LLM模型或嵌入模型，而存储上下文存储注释和文档块。该系统读取和索引文档，创建一个用于查询转换的对象，并使用多步查询引擎来回答关于作者的问题。系统将复杂的问题拆分为多个查询，并根据中间查询的答案生成最终答案。然而，评估系统的响应是至关重要的，特别是在处理大型企业级数据源时。为每个文档创建问题和答案是不可行的，因此评估变得至关重要。
本文讨论的评估框架旨在简化生成问题和评估答案的过程。该框架有两个组成部分：问题生成器和响应评估器。问题生成器从给定的文档中创建问题，响应评估器检查系统的答案是否正确。响应评估器还检查源节点信息是否与响应文本和查询匹配。如果三者都一致，则答案正确。该框架旨在减少手动标注和评估所需的时间和成本。
结论
总之，Llama Index是一个强大的工具，用于构建具有私有数据的系统并评估QA系统。它提供了外部数据源和查询引擎之间的接口，使得可以轻松地从各种源中摄取数据并检索所需的信息来回答问题。Llama索引对于销售、市场营销、招聘、法律和金融等各种应用非常有帮助。本文讨论的评估框架简化了生成问题和评估答案的过程，减少了手动标注和评估所需的时间和成本。
