Skip to main content

Label Studio

Label Studio 是一个开源数据标注平台,为 LangChain 提供了在标注数据以微调大型语言模型 (LLMs) 时的灵活性。它还支持准备自定义训练数据以及通过人类反馈收集和评估响应。

在本指南中,您将学习如何将 LangChain 管道连接到 Label Studio 以:

  • 在单个 Label Studio 项目中聚合所有输入提示、对话和响应。这将所有数据集中在一个地方,以便于标注和分析。
  • 精炼提示和响应,以创建用于监督微调 (SFT) 和人类反馈强化学习 (RLHF) 场景的数据集。标注的数据可以用来进一步训练 LLM,以提高其性能。
  • 通过人类反馈评估模型响应。Label Studio 提供了一个接口,供人类审查并对模型响应提供反馈,从而实现评估和迭代。

安装和设置

首先安装最新版本的 Label Studio 和 Label Studio API 客户端:

%pip install --upgrade --quiet langchain label-studio label-studio-sdk langchain-openai langchain-community

接下来,在命令行中运行 label-studio,以在 http://localhost:8080 启动本地 LabelStudio 实例。有关更多选项,请参见 Label Studio 安装指南

您需要一个令牌来进行 API 调用。

在浏览器中打开您的 LabelStudio 实例,转到 Account & Settings > Access Token 并复制密钥。

使用您的 LabelStudio URL、API 密钥和 OpenAI API 密钥设置环境变量:

import os

os.environ["LABEL_STUDIO_URL"] = "<YOUR-LABEL-STUDIO-URL>" # e.g. http://localhost:8080
os.environ["LABEL_STUDIO_API_KEY"] = "<YOUR-LABEL-STUDIO-API-KEY>"
os.environ["OPENAI_API_KEY"] = "<YOUR-OPENAI-API-KEY>"

收集LLM的提示和响应

用于标记的数据存储在Label Studio中的项目内。每个项目由一个XML配置文件标识,该文件详细说明了输入和输出数据的规格。

创建一个项目,接受文本格式的人类输入,并在文本区域输出可编辑的LLM响应:

<View>
<Style>
.prompt-box {
background-color: white;
border-radius: 10px;
box-shadow: 0px 4px 6px rgba(0, 0, 0, 0.1);
padding: 20px;
}
</Style>
<View className="root">
<View className="prompt-box">
<Text name="prompt" value="$prompt"/>
</View>
<TextArea name="response" toName="prompt"
maxSubmissions="1" editable="true"
required="true"/>
</View>
<Header value="评价响应:"/>
<Rating name="rating" toName="prompt"/>
</View>
  1. 要在Label Studio中创建项目,请点击“创建”按钮。
  2. 在“项目名称”字段中输入项目名称,例如My Project
  3. 导航到标注设置 > 自定义模板,并粘贴上面的XML配置。

您可以在LabelStudio项目中收集输入LLM提示和输出响应,通过LabelStudioCallbackHandler进行连接:

from langchain_community.callbacks.labelstudio_callback import (
LabelStudioCallbackHandler,
)
from langchain_openai import OpenAI

llm = OpenAI(
temperature=0, callbacks=[LabelStudioCallbackHandler(project_name="My Project")]
)
print(llm.invoke("Tell me a joke"))

在Label Studio中,打开My Project。您将看到提示、响应和模型名称等元数据。

收集聊天模型对话

您还可以在 LabelStudio 中跟踪和显示完整的聊天对话,并能够对最后的回复进行评分和修改:

  1. 打开 Label Studio 并点击“创建”按钮。
  2. 在“项目名称”字段中输入您的项目名称,例如 New Project with Chat
  3. 导航到标注设置 > 自定义模板,并粘贴以下 XML 配置:
<View>
<View className="root">
<Paragraphs name="dialogue"
value="$prompt"
layout="dialogue"
textKey="content"
nameKey="role"
granularity="sentence"/>
<Header value="最终回复:"/>
<TextArea name="response" toName="dialogue"
maxSubmissions="1" editable="true"
required="true"/>
</View>
<Header value="对回复进行评分:"/>
<Rating name="rating" toName="dialogue"/>
</View>
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
callbacks=[
LabelStudioCallbackHandler(
mode="chat",
project_name="New Project with Chat",
)
]
)
llm_results = chat_llm.invoke(
[
SystemMessage(content="Always use a lot of emojis"),
HumanMessage(content="Tell me a joke"),
]
)

在 Label Studio 中,打开“New Project with Chat”。点击创建的任务以查看对话历史并编辑/注释回复。

自定义标签配置

您可以在 LabelStudio 中修改默认标签配置,以添加更多目标标签,例如响应情感、相关性以及其他类型的注释者反馈

新的标签配置可以通过 UI 添加:前往 Settings > Labeling Interface 并设置一个包含额外标签的自定义配置,例如用于情感的 Choices 或用于相关性的 Rating。请记住,任何配置中都应包含 TextArea 标签,以显示 LLM 的响应。

或者,您可以在项目创建之前的初始调用中指定标签配置:

ls = LabelStudioCallbackHandler(
project_config="""
<View>
<Text name="prompt" value="$prompt"/>
<TextArea name="response" toName="prompt"/>
<TextArea name="user_feedback" toName="prompt"/>
<Rating name="rating" toName="prompt"/>
<Choices name="sentiment" toName="prompt">
<Choice value="Positive"/>
<Choice value="Negative"/>
</Choices>
</View>
"""
)

请注意,如果项目不存在,它将使用指定的标签配置创建。

其他参数

LabelStudioCallbackHandler 接受几个可选参数:

  • api_key - Label Studio API 密钥。覆盖环境变量 LABEL_STUDIO_API_KEY
  • url - Label Studio URL。覆盖 LABEL_STUDIO_URL,默认值为 http://localhost:8080
  • project_id - 已存在的 Label Studio 项目 ID。覆盖 LABEL_STUDIO_PROJECT_ID。在此项目中存储数据。
  • project_name - 如果未指定项目 ID,则为项目名称。创建一个新项目。默认值为 "LangChain-%Y-%m-%d",格式化为当前日期。
  • project_config - 自定义标记配置
  • mode: 使用此快捷方式从头创建目标配置:
    • "prompt" - 单个提示,单个响应。默认。
    • "chat" - 多轮聊天模式。

此页面是否有帮助?


您还可以留下详细的反馈 在 GitHub 上