Callbacks | 🦜️🔗 LangChain 中文文档

📄️ Argilla

Argilla 是一个开源数据管理平台，专为 LLMs 设计。

有两种方法可以使用彗星追踪您的 LangChains 执行：

DeepEval 包用于 LLM 的单元测试。

Context 提供 LLM 驱动产品和功能的用户分析。

Fiddler 是企业生成和预测系统运维的先驱，提供一个统一的平台，使数据科学、MLOps、风险、合规、分析和其他业务部门团队能够在企业规模上监控、解释、分析和改进机器学习部署。

Infino 是一个可扩展的遥测存储，专为日志、指标和追踪而设计。Infino 可以作为独立的可观察性解决方案，也可以作为您可观察性栈中的存储层。

Label Studio 是一个开源数据标注平台，为 LangChain 提供了在标注数据以微调大型语言模型 (LLMs) 时的灵活性。它还支持准备自定义训练数据以及通过人类反馈收集和评估响应。

LLMonitor 是一个开源的可观测性平台，提供成本和使用分析、用户跟踪、跟踪和评估工具。

PromptLayer 是一个用于提示工程的平台。它还帮助实现 LLM 的可观察性，以可视化请求、版本提示和跟踪使用情况。

Amazon SageMaker 是一个完全托管的服务，用于快速轻松地构建、训练和部署机器学习（ML）模型。

Streamlit 是构建和分享数据应用的更快方式。

Trubrics 是一个 LLM 用户分析平台，允许您收集、分析和管理用户对 AI 模型的提示和反馈。

在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 基于请求数量或令牌数量添加速率限制。该处理程序使用 Upstash 的 ratelimit 库，该库利用了 Upstash Redis。

UpTrain [github || website || docs] 是一个开源平台，用于评估和改进 LLM 应用程序。它提供 20 多个预配置检查的评分（涵盖语言、代码、嵌入用例），对失败案例的实例进行根本原因分析，并提供解决方案的指导。