Skip to main content

RWKV-4

本页面介绍如何在 LangChain 中使用 RWKV-4 包装器。 它分为两个部分:安装和设置,以及使用示例。

安装与设置

  • 使用 pip install rwkv 安装 Python 包
  • 使用 pip install tokenizer 安装分词器 Python 包
  • 下载一个 RWKV 模型 并将其放置在您希望的目录中
  • 下载 tokens 文件

用法

RWKV

要使用 RWKV 包装器,您需要提供预训练模型文件的路径和分词器的配置。

from langchain_community.llms import RWKV

# 测试模型

```python

def generate_prompt(instruction, input=None):
if input:
return f"""以下是描述任务的指令,以及提供进一步上下文的输入。写一个适当完成请求的响应。

# 指令:
{instruction}

# 输出:
{output}

# 响应:
"""
else:
return f"""以下是描述任务的指令。写一个适当完成请求的响应。

# 指令:
{instruction}

# 响应:
```python
model = RWKV(model="./models/RWKV-4-Raven-3B-v7-Eng-20230404-ctx4096.pth", strategy="cpu fp32", tokens_path="./rwkv/20B_tokenizer.json")
response = model.invoke(generate_prompt("从前,有一个 "))

模型文件

您可以在 RWKV-4-Raven 仓库找到模型文件下载链接。

Rwkv-4 模型 -> 推荐 VRAM

RWKV VRAM
模型 | 8bit | bf16/fp16 | fp32
14B | 16GB | 28GB | >50GB
7B | 8GB | 14GB | 28GB
3B | 2.8GB| 6GB | 12GB
1b5 | 1.3GB| 3GB | 6GB

有关策略的更多信息,包括流式传输和 cuda 支持,请参见 rwkv pip 页面。


此页面是否有帮助?


您还可以留下详细的反馈 在 GitHub 上