Skip to main content

Google Cloud Document AI

Document AI 是 Google Cloud 的文档理解平台,用于将文档中的非结构化数据转化为结构化数据,从而更易于理解、分析和使用。

了解更多:

该模块包含一个基于 Google Cloud DocAI 的 PDF 解析器。

您需要安装两个库以使用此解析器:

%pip install --upgrade --quiet  langchain-google-community[docai]

首先,您需要设置一个 Google Cloud Storage (GCS) 存储桶,并创建您自己的光学字符识别 (OCR) 处理器,如此处所述:https://cloud.google.com/document-ai/docs/create-processor

GCS_OUTPUT_PATH 应该是 GCS 上一个文件夹的路径(以 gs:// 开头),而 PROCESSOR_NAME 应该类似于 projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_IDprojects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION_ID。您可以通过编程方式获取,或从 Google Cloud Console 的 Processor details 标签页中的 Prediction endpoint 部分复制。

GCS_OUTPUT_PATH = "gs://BUCKET_NAME/FOLDER_PATH"
PROCESSOR_NAME = "projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID"
from langchain_core.document_loaders.blob_loaders import Blob
from langchain_google_community import DocAIParser

现在,创建一个 DocAIParser

parser = DocAIParser(
location="us", processor_name=PROCESSOR_NAME, gcs_output_path=GCS_OUTPUT_PATH
)

在此示例中,您可以使用上传到公共 GCS 存储桶的 Alphabet 财报。

2022Q1_alphabet_earnings_release.pdf

将文档传递给 lazy_parse() 方法以

blob = Blob(
path="gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2022Q1_alphabet_earnings_release.pdf"
)

我们将获得每页一个文档,总共 11 个:

docs = list(parser.lazy_parse(blob))
print(len(docs))
11

您可以逐一运行 blob 的端到端解析。如果您有许多文档,将它们批量处理可能是更好的方法,甚至可以将解析与处理解析结果分开。

operations = parser.docai_parse([blob])
print([op.operation.name for op in operations])
['projects/543079149601/locations/us/operations/16447136779727347991']

您可以检查操作是否完成:

parser.is_running(operations)
True

当它们完成时,您可以解析结果:

parser.is_running(operations)
False
results = parser.get_results(operations)
print(results[0])
DocAIParsingResults(source_path='gs://vertex-pgt/examples/goog-exhibit-99-1-q1-2023-19.pdf', parsed_path='gs://vertex-pgt/test/run1/16447136779727347991/0')

现在我们可以最终从解析结果生成文档:

docs = list(parser.parse_from_results(results))
print(len(docs))
11

此页面是否有帮助?


您还可以留下详细的反馈 在 GitHub 上