Apify
Apify 是一个用于网络抓取和数据提取的云平台,提供了一个包含超过一千个现成应用的生态系统,这些应用被称为 Actors,适用于各种抓取、爬虫和提取的使用案例。
此集成使您能够在 Apify
平台上运行 Actors,并将其结果加载到 LangChain 中,以便用来自网络的文档和数据为您的向量索引提供信息,例如从包含文档、博客或知识库的网站生成答案。
安装与设置
- 使用
pip install apify-client
安装 Apify API 客户端 - 获取您的 Apify API 令牌,并将其设置为环境变量 (
APIFY_API_TOKEN
),或者在构造函数中将其作为apify_api_token
传递给ApifyWrapper
。
实用工具
您可以使用 ApifyWrapper
在 Apify 平台上运行 Actors。
from langchain_community.utilities import ApifyWrapper
有关此包装器的更详细说明,请参见 此笔记本。
文档加载器
您还可以使用我们的 ApifyDatasetLoader
从 Apify 数据集中获取数据。
from langchain_community.document_loaders import ApifyDatasetLoader
有关此加载器的更详细说明,请参见 此笔记本。