Replicate
本页面介绍如何在 LangChain 中使用 Replicate 运行模型。
安装与设置
- 创建一个 Replicate 账户。获取你的 API 密钥并将其设置为环境变量 (
REPLICATE_API_TOKEN
) - 使用
pip install replicate
安装 Replicate python 客户端
调用模型
在Replicate 探索页面上找到一个模型,然后将模型名称和版本粘贴到以下格式中:owner-name/model-name:version
例如,对于这个dolly模型,点击 API 标签。模型名称/版本将是:"replicate/dolly-v2-12b:ef0e1aefc61f8e096ebe4db6b2bacc297daf2ef6899f0f7e001ec445893500e5"
仅model
参数是必需的,但也可以使用格式input={model_param: value, ...}
传递其他模型参数。
例如,如果我们正在运行稳定扩散并想要更改图像尺寸:
Replicate(model="stability-ai/stable-diffusion:db21e45d3f7023abc2a46ee38a23973f6dce16bb082a930b0c49861f96d1e5bf", input={'image_dimensions': '512x512'})
注意,只有模型的第一个输出将被返回。 从这里,我们可以初始化我们的模型:
llm = Replicate(model="replicate/dolly-v2-12b:ef0e1aefc61f8e096ebe4db6b2bacc297daf2ef6899f0f7e001ec445893500e5")
并运行它:
prompt = """
通过逐步推理回答以下是/否问题。
狗能开车吗?
"""
llm(prompt)
我们可以使用这种语法调用任何 Replicate 模型(不仅仅是 LLM)。例如,我们可以调用稳定扩散:
text2image = Replicate(model="stability-ai/stable-diffusion:db21e45d3f7023abc2a46ee38a23973f6dce16bb082a930b0c49861f96d1e5bf", input={'image_dimensions':'512x512'})
image_output = text2image("一只猫骑着摩托车,毕加索风格")