CassIO 受开放AI启发的最佳生成AI库

CassIO - Best AI Library Inspired by Open AI

如果您经常使用ChatGPT，那么您一定知道它有时会进入所谓的幻觉状态。它会提供一大堆在统计上正确但在现实中没有依据的词语。几个月前，有一个关于使用Apache Cassandra作为大型语言模型（LLMs）和LangChain的提示，引发了一个好奇的回答。ChatGPT报告说，Cassandra不仅是创建LLMs时的良好工具选择，而且OpenAI还使用Cassandra与一个名为CassIO的MIT许可的Python库。我们随即进入了这个兔子洞，通过更多的提示，ChatGPT描述了CassIO的许多细节。它甚至包括一些示例代码和一个网站。随后的研究没有找到CassIO在ChatGPT外的任何证据，但种子已经种下。如果这个库不存在，那就需要创建一个，我们不久后开始了工作。

最好的幻觉。

真正的CassIO请站出来

这个伟大的想法是由ChatGPT（以及OpenAI）激发的吗？一个伟大的Python库使开发人员能够用更少的代码做更多的事情。DataStax和Anant合作开发了CassIO，使Cassandra与生成的人工智能和其他机器学习工作负载的集成变得无缝。它的主要目的是抽象访问Cassandra数据库的过程，包括其向量搜索功能，提供一组可直接使用的工具，最大限度地减少额外代码的需求。因此，开发人员可以专注于设计和实施他们的AI系统，知道CassIO已经处理了底层数据库的复杂性。结果就是能够以合理的规模和低延迟访问经过验证的数据库。CassIO的本质在于促进和简化实施过程。

CassIO的优势在于对特定AI框架的不偏见。它不关心像LangChain、LlamaIndex、Microsoft Semantic Kernel或其他各种生成AI工具包的具体实现细节。相反，它提供了一组“薄适配器”，这些适配器符合框架的接口标准，同时利用CassIO的功能。这使得CassIO能够弥合您的AI应用程序和数据库之间的差距，从而使应用程序能够充分利用Cassandra的强大功能，而不会被其细节所纠缠。

• 使用Amazon SageMaker异步端点优化Amazon SageMaker JumpStart基础模型的部署成本
• 如何使用AWS Glue和Amazon SageMaker来预测HVAC故障
• 在Amazon SageMaker JumpStart上构建基于生成式人工智能的内容审核解决方案

与LangChain的集成

LangChain自动化了大多数与LLMs的管理任务和交互。它支持内存、基于向量的相似性搜索、高级提示模板抽象等多种功能。CassIO与LangChain无缝集成，扩展了Cassandra特定的工具，以简化以下任务：

• 一个用于LLMs的内存模块，使用Cassandra进行存储，可以记住聊天互动中的最近交流，甚至可以保留整个过去对话的摘要。
• 在Cassandra上缓存LLM响应，从而在可能的情况下节省延迟和令牌。自动将来自Cassandra的数据注入到提示中或在更长的LLM对话中。
• 支持提示的“部分化”，将一些输入未指定以供将来补充。
• 自动将来自Feast特征存储（可能由Cassandra支持）的数据注入到提示中。

这些组件共同作用，简化了将数据整合到提示中的过程，并确保LLM与数据库之间的顺畅交互。

与向量搜索的集成

Cassandra和DataStax Astra DB最近引入了向量搜索功能，将一个已经广受欢迎的事务性数据数据库集成了一个关键功能。Cassandra在高规模方面的声誉意味着您只需在一个地方存储和处理数据，而无需进行昂贵的数据移动操作。向量搜索的加入为CassIO带来了一套“语义感知”工具，例如：

• 一个不依赖于查询的确切措辞的LLM响应缓存。
• 一个“语义索引”，可以存储知识库并检索相关部分以构建对给定问题的最佳答案。这个工具可以根据具体需求进行调整，并可以配置为检索多样化的信息，以最大限度地增加进入答案的实际信息。
• 一个用于LLM聊天互动的“语义记忆”元素，即使是在遥远的过去也可以检索相关的过去交流。

CassIO和LangChain的组合不断扩展和完善这些功能，以满足LLM管理的不断发展的需求。当前的最新技术是通过连接提示来从LLMs获取更准确的响应。在最近的一篇描述名为“tree-of-thought”的技术的论文中，向量搜索的作用在于从一个提示到下一个提示的持久性。随着这些想法从学术界转向生产，Cassandra将成为实现的重要组成部分。

下一个提示：CassIO的未来

作为一个不断发展的工具，CassIO正在快速增长，经常添加新的开发和更新。截至撰写本文时，CassIO支持LangChain，LlamaIndex即将推出。该项目的长期目标是支持像JARVIS项目这样的自主AI代理的高规模存储。具备LLM的代理将对许多处理复杂任务的行业产生令人兴奋的影响。这些代理将需要跟踪数据和交互的许多方面，而Cassandra是完成这项工作的正确数据库。可靠且高性能。

即将举办的“NoCode，数据和AI：使用Cassandra的LLM训练营”将为开发人员提供与库一起实际操作以构建聊天机器人的机会。敬请期待类似的活动即将在您附近的城市举行！我们鼓励正在探索CassIO的用户提出问题，在论坛上参与讨论，并帮助我们改进这个迅速实现的幻想。

谁知道历史将如何评价这一时刻？这是OpenAI的内部信息泄露吗？或者，更加阴暗地思考，这是人工智能让人类为其服务的第一步吗？无论如何，开发人员现在可以使用这个简单易用的库，探索生成式AI的无限规模。ChatGPT给了我们一个礼物，那么你将用它构建什么呢？