rag-chroma-multi-modal-multi-vector

多模态 LLMs 使得视觉助手能够对图像进行问答。

这个模板创建了一个用于幻灯片的视觉助手，幻灯片通常包含图表或图形等视觉内容。

它使用 GPT-4V 为每个幻灯片创建图像摘要，嵌入这些摘要，并将其存储在 Chroma 中。

给定一个问题，相关的幻灯片将被检索并传递给 GPT-4V 进行答案合成。

输入

在 /docs 目录中提供一个 PDF 格式的幻灯片。

默认情况下，此模板包含关于 DataDog（一个公共科技公司）第三季度收益的幻灯片。

可以询问的示例问题包括：

Datadog 目前有多少客户？
Datadog 平台在 FY20、FY21 和 FY22 的同比增长百分比是多少？

要创建幻灯片的索引，请运行：

poetry install
python ingest.py

存储

以下是模板将用于创建幻灯片索引的过程（参见 blog）：

• 将幻灯片提取为图像集合
• 使用 GPT-4V 对每个图像进行总结
• 使用文本嵌入将图像摘要嵌入，并链接到原始图像
• 根据图像摘要与用户输入问题之间的相似性检索相关图像
• 将这些图像传递给 GPT-4V 进行答案合成

默认情况下，这将使用 LocalFileStore 来存储图像，并使用 Chroma 来存储摘要。

在生产环境中，可能希望使用远程选项，例如 Redis。

您可以在 chain.py 和 ingest.py 中设置 local_file_store 标志，以在这两种选项之间切换。

对于 Redis，模板将使用 UpstashRedisByteStore。

我们将使用 Upstash 来存储图像，它提供带有 REST API 的 Redis。

只需在 这里 登录并创建一个数据库。

这将为您提供一个带有以下内容的 REST API：

• UPSTASH_URL
• UPSTASH_TOKEN

将 UPSTASH_URL 和 UPSTASH_TOKEN 设置为环境变量，以访问您的数据库。

我们将使用 Chroma 来存储和索引图像摘要，这些摘要将在模板目录中本地创建。

LLM

该应用将根据文本输入与图像摘要之间的相似性检索图像，并将图像传递给 GPT-4V。

环境设置

设置 OPENAI_API_KEY 环境变量以访问 OpenAI GPT-4V。

如果您使用 UpstashRedisByteStore，请将 UPSTASH_URL 和 UPSTASH_TOKEN 设置为环境变量以访问您的数据库。

使用

要使用此包，您首先需要安装 LangChain CLI：

pip install -U langchain-cli

要创建一个新的 LangChain 项目并将此作为唯一的包安装，您可以执行：

langchain app new my-app --package rag-chroma-multi-modal-multi-vector

如果您想将其添加到现有项目中，您只需运行：

langchain app add rag-chroma-multi-modal-multi-vector

并将以下代码添加到您的 server.py 文件中：

from rag_chroma_multi_modal_multi_vector import chain as rag_chroma_multi_modal_chain_mv

add_routes(app, rag_chroma_multi_modal_chain_mv, path="/rag-chroma-multi-modal-multi-vector")

（可选）现在让我们配置 LangSmith。 LangSmith 将帮助我们追踪、监控和调试 LangChain 应用程序。 您可以在 这里 注册 LangSmith。 如果您没有访问权限，可以跳过此部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，默认为 "default"

如果您在此目录中，则可以通过以下方式直接启动 LangServe 实例：

langchain serve

这将启动 FastAPI 应用程序，服务器在本地运行，地址为 http://localhost:8000

我们可以在 http://127.0.0.1:8000/docs 查看所有模板。 我们可以在 http://127.0.0.1:8000/rag-chroma-multi-modal-multi-vector/playground 访问游乐场。

我们可以通过代码访问模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-chroma-multi-modal-multi-vector")