Hugging Face's logo

Transformers documentation

PP-DocLayoutV3

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

该模型于 2026-01-29 贡献至 Hugging Face Transformers。

PP-DocLayoutV3

概述

PP-DocLayoutV3 是一款专为全面版面分析设计的统一且高效的模型。它通过将实例分割和阅读顺序预测整合到一个端到端的框架中，解决了由倾斜、弯曲和不良光照等复杂物理畸变带来的挑战。

模型架构

PP-DocLayoutV3 从传统的基于检测的方法演进为基于 RT-DETR 框架构建的鲁棒实例分割架构。它不再使用简单的边界框，而是利用基于掩码的检测头来预测布局元素的像素级精确分割。

与上一代模型不同，PP-DocLayoutV3 通过直接在 Transformer 解码器层中嵌入全局指针机制（Global Pointer Mechanism），消除了解耦的阶段。这使得模型能够在单次前向传播中同时输出分类标签、精确掩码和逻辑阅读顺序，从而在显著提升复杂文档版面解析精度的同时，大幅降低了延迟。

用法

单输入推理

以下示例演示了如何使用 Pipeline 或 AutoModel 通过 PP-DocLayoutV3 生成文本。

Pipeline
AutoModel
import requests
from PIL import Image

from transformers import pipeline


image = Image.open(requests.get("https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/paddle_layout_demo.jpg", stream=True).raw)
layout_detector = pipeline("object-detection", model="PaddlePaddle/PP-DocLayoutV3_safetensors")
results = layout_detector(image)
for idx, res in enumerate(results):
    print(f"Order {idx + 1}: {res}")

批量推理

PP-DocLayoutV3 也支持批量推理。以下是如何使用 PP-DocLayoutV3 配合 Pipeline 或 AutoModel 来实现：

Pipeline
AutoModel
import requests
from PIL import Image

from transformers import pipeline


image = Image.open(requests.get("https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/paddle_layout_demo.jpg", stream=True).raw)
layout_detector = pipeline("object-detection", model="PaddlePaddle/PP-DocLayoutV3_safetensors")
results = layout_detector([image, image])
for result in results:
    print("result:")
    for idx, res in enumerate(result):
        print(f"Order {idx + 1}: {res}")

PPDocLayoutV3ForObjectDetection

类 transformers.PPDocLayoutV3ForObjectDetection

< >

( config: PPDocLayoutV3Config )

参数

  • config (PPDocLayoutV3Config) — 模型的配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 from_pretrained() 方法以加载模型权重。

PP-DocLayoutV3 模型（由骨干网络和编码器-解码器组成）输出按阅读顺序排序的边界框和 logits，随后将其解码为分数和类别。

该模型继承自 PreTrainedModel。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch torch.nn.Module 的子类。 请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

forward

< >

( pixel_values: FloatTensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.FloatTensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV3ForObjectDetectionOutput or tuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)) — 与输入图像对应的张量。可以使用 image_processor_class 获取像素值。有关详细信息，请参阅 image_processor_class.__call__（processor_class 使用 image_processor_class 来处理图像）。
  • pixel_mask (torch.LongTensor 形状为 (batch_size, height, width), 可选) — 用于避免对填充像素值执行注意力机制的掩码。掩码值取自 [0, 1]:
    • 对于真实的像素（即未被掩码的像素），值为 1，
    • 对于填充像素（即 被屏蔽 的像素），值为 0。

    什么是注意力掩码？

  • encoder_outputs (torch.FloatTensor, 可选) — 元组由 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size), 可选)，是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
  • labels (list[Dict]，长度为 (batch_size,)，可选) — 用于计算二部图匹配损失的标签。一个字典列表，每个字典至少包含以下 2 个键：‘class_labels’ 和 ‘boxes’（分别对应批次中某张图像的分类标签和边界框）。分类标签本身应是一个长度为 (number of bounding boxes in the image,) 的 torch.LongTensor，边界框应是一个形状为 (number of bounding boxes in the image, 4) 的 torch.FloatTensor。

返回值

PPDocLayoutV3ForObjectDetectionOutput 或 tuple(torch.FloatTensor)

PPDocLayoutV3ForObjectDetectionOutput 或 torch.FloatTensor 元组（当传入 return_dict=False 或 config.return_dict=False 时），其包含的元素取决于配置（None）和输入。

PPDocLayoutV3ForObjectDetection 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 Module 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者则会静默地忽略这些步骤。

  • logits（形状为 (batch_size, num_queries, num_classes + 1) 的 torch.FloatTensor）— 所有查询的分类 logits（包含 no-object）。

  • pred_boxes（形状为 (batch_size, num_queries, 4) 的 torch.FloatTensor）— 所有查询的归一化框坐标，表示为 (center_x, center_y, width, height)。这些值在 [0, 1] 范围内进行归一化，相对于批次中每张图片各自的尺寸（忽略可能的填充）。您可以使用 post_process_object_detection() 来获取未归一化（绝对）的边界框。

  • order_logits（形状为 (batch_size, num_queries, num_queries) 的 torch.FloatTensor 的 tuple）— 解码器最后一层的顺序 logits。

  • out_masks（形状为 (batch_size, config.decoder_layers, num_queries, height, width) 的 torch.FloatTensor）— 解码器最后一层的掩码。

  • last_hidden_state（形状为 (batch_size, num_queries, hidden_size) 的 torch.FloatTensor）— 模型解码器最后一层输出的隐藏状态序列。

  • intermediate_hidden_states（形状为 (batch_size, config.decoder_layers, num_queries, hidden_size) 的 torch.FloatTensor）— 堆叠的中间隐藏状态（解码器每一层的输出）。

  • intermediate_logits（形状为 (batch_size, config.decoder_layers, num_queries, config.num_labels) 的 torch.FloatTensor）— 堆叠的中间 logits（解码器每一层的 logits）。

  • intermediate_reference_points（形状为 (batch_size, config.decoder_layers, num_queries, 4) 的 torch.FloatTensor）— 堆叠的中间参考点（解码器每一层的参考点）。

  • intermediate_predicted_corners（形状为 (batch_size, config.decoder_layers, num_queries, 4) 的 torch.FloatTensor）— 堆叠的中间预测角点（解码器每一层预测的角点）。

  • initial_reference_points（形状为 (batch_size, config.decoder_layers, num_queries, 4) 的 torch.FloatTensor）— 堆叠的初始参考点（解码器每一层的初始参考点）。

  • decoder_hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每一层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

    解码器在每一层输出处的隐藏状态，以及初始嵌入输出。

  • decoder_attentions（tuple[torch.FloatTensor]，可选，在传入 output_attentions=True 或 config.output_attentions=True 时返回）—— 一个 torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器在注意力 softmax 之后的注意力权重，用于在自注意力头中计算加权平均值。

  • cross_attentions（tuple[torch.FloatTensor]，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回）—— 一个 torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器交叉注意力层在注意力 softmax 之后的注意力权重，用于在交叉注意力头中计算加权平均值。

  • encoder_last_hidden_state（形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）— 模型编码器最后一层输出的隐藏状态序列。

  • encoder_hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每个层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

    编码器在每一层输出处的隐藏状态，以及初始嵌入输出。

  • encoder_attentions（tuple[torch.FloatTensor]，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回）—— 一个 torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    编码器在注意力 softmax 之后的注意力权重，用于在自注意力头中计算加权平均值。

  • init_reference_points（形状为 (batch_size, num_queries, 4) 的 torch.FloatTensor）— 通过 Transformer 解码器传递的初始参考点。

  • enc_topk_logits（形状为 (batch_size, sequence_length, config.num_labels) 的 torch.FloatTensor，可选，当 config.with_box_refine=True 且 config.two_stage=True 时返回） — 编码器中预测的边界框坐标的 logits。

  • enc_topk_bboxes（形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor，可选，当 config.with_box_refine=True 且 config.two_stage=True 时返回） — 编码器中预测的边界框坐标的 logits。

  • enc_outputs_class (torch.FloatTensor，形状为 (batch_size, sequence_length, config.num_labels)，可选，当 config.with_box_refine=True 且 config.two_stage=True 时返回) — 预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框在第一阶段被选为区域建议。这是边界框二分类（即前景和背景）的输出。

  • enc_outputs_coord_logits（形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor，可选，当 config.with_box_refine=True 且 config.two_stage=True 时返回） — 第一阶段中预测的边界框坐标的 logits。

  • denoising_meta_values (dict，可选) — 用于去噪相关值的额外字典

示例：

>>> from transformers import AutoModelForObjectDetection, AutoImageProcessor
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/paddle_layout_demo.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> model_path = "PaddlePaddle/PP-DocLayoutV3_safetensors"
>>> image_processor = AutoImageProcessor.from_pretrained(model_path)
>>> model = AutoModelForObjectDetection.from_pretrained(model_path)

>>> # prepare image for the model
>>> inputs = image_processor(images=[image], return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]))

>>> # print outputs
>>> for result in results:
...     for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])):
...         score, label = score.item(), label_id.item()
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"Order {idx + 1}: {model.config.id2label[label]}: {score:.2f} {box}")
Order 1: text: 0.99 [334.95, 184.78, 897.25, 654.83]
Order 2: paragraph_title: 0.97 [337.28, 683.92, 869.16, 798.35]
Order 3: text: 0.99 [335.75, 842.82, 892.13, 1454.32]
Order 4: text: 0.99 [920.18, 185.28, 1476.38, 464.49]
Order 5: text: 0.98 [920.47, 483.68, 1480.63, 765.72]
Order 6: text: 0.98 [920.62, 846.8, 1482.09, 1220.67]
Order 7: text: 0.97 [920.92, 1239.41, 1469.55, 1378.02]
Order 8: footnote: 0.86 [335.03, 1614.68, 1483.33, 1731.73]
Order 9: footnote: 0.83 [334.64, 1756.74, 1471.78, 1845.69]
Order 10: text: 0.81 [336.8, 1910.52, 661.64, 1939.92]
Order 11: footnote: 0.96 [336.24, 2114.42, 1450.14, 2172.12]
Order 12: number: 0.88 [106.0, 2257.5, 135.84, 2282.18]
Order 13: footer: 0.93 [338.4, 2255.52, 986.15, 2284.37]

PPDocLayoutV3Model

class transformers.PPDocLayoutV3Model

< >

( config: PPDocLayoutV3Config )

参数

  • config (PPDocLayoutV3Config) — 模型的配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 from_pretrained() 方法以加载模型权重。

PP-DocLayoutV3 模型（由骨干网络和编码器-解码器组成），输出原始隐藏状态，顶部未添加任何分类头。

该模型继承自 PreTrainedModel。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch torch.nn.Module 的子类。 请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

forward

< >

( pixel_values: FloatTensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.FloatTensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV3ModelOutput or tuple(torch.FloatTensor)

参数

  • pixel_values (torch.FloatTensor，形状为 (batch_size, num_channels, image_size, image_size)) — 与输入图像对应的张量。可以使用 image_processor_class 获取像素值。有关详细信息，请参阅 image_processor_class.__call__（processor_class 使用 image_processor_class 来处理图像）。
  • pixel_mask (torch.LongTensor 形状为 (batch_size, height, width), 可选) — 用于避免对填充像素值执行注意力机制的掩码。掩码值取自 [0, 1]:
    • 对于真实的像素（即未被掩码的像素），值为 1，
    • 对于填充像素（即 被屏蔽 的像素），值为 0。

    什么是注意力掩码？

  • encoder_outputs (torch.FloatTensor, 可选) — 元组由 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size), 可选)，是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力。
  • labels (list[Dict]，长度为 (batch_size,)，可选) — 用于计算二部图匹配损失的标签。一个字典列表，每个字典至少包含以下 2 个键：‘class_labels’ 和 ‘boxes’（分别对应批次中某张图像的分类标签和边界框）。分类标签本身应是一个长度为 (number of bounding boxes in the image,) 的 torch.LongTensor，边界框应是一个形状为 (number of bounding boxes in the image, 4) 的 torch.FloatTensor。

返回值

PPDocLayoutV3ModelOutput 或 tuple(torch.FloatTensor)

PPDocLayoutV3ModelOutput 或 torch.FloatTensor 元组（如果传入 return_dict=False 或 config.return_dict=False），其包含的元素取决于配置（None）和输入。

PPDocLayoutV3Model 的 forward 方法重写了 __call__ 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 Module 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者则会静默地忽略这些步骤。

  • last_hidden_state（形状为 (batch_size, num_queries, hidden_size) 的 torch.FloatTensor）— 模型解码器最后一层输出的隐藏状态序列。

  • intermediate_hidden_states（形状为 (batch_size, config.decoder_layers, num_queries, hidden_size) 的 torch.FloatTensor）— 堆叠的中间隐藏状态（解码器每一层的输出）。

  • intermediate_logits（形状为 (batch_size, config.decoder_layers, sequence_length, config.num_labels) 的 torch.FloatTensor）— 堆叠的中间 logits（解码器每一层的 logits）。

  • intermediate_reference_points（形状为 (batch_size, config.decoder_layers, num_queries, 4) 的 torch.FloatTensor）— 堆叠的中间参考点（解码器每一层的参考点）。

  • intermediate_predicted_corners（形状为 (batch_size, config.decoder_layers, num_queries, 4) 的 torch.FloatTensor）— 堆叠的中间预测角点（解码器每一层预测的角点）。

  • initial_reference_points（形状为 (batch_size, num_queries, 4) 的 torch.FloatTensor）— 用于第一个解码器层的初始参考点。

  • decoder_hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每一层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

    解码器在每一层输出处的隐藏状态，以及初始嵌入输出。

  • decoder_attentions（tuple[torch.FloatTensor]，可选，在传入 output_attentions=True 或 config.output_attentions=True 时返回）—— 一个 torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器在注意力 softmax 之后的注意力权重，用于在自注意力头中计算加权平均值。

  • cross_attentions（tuple[torch.FloatTensor]，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回）—— 一个 torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    解码器交叉注意力层在注意力 softmax 之后的注意力权重，用于在交叉注意力头中计算加权平均值。

  • encoder_last_hidden_state（形状为 (batch_size, sequence_length, hidden_size) 的 torch.FloatTensor，可选）— 模型编码器最后一层输出的隐藏状态序列。

  • encoder_hidden_states (tuple[torch.FloatTensor]，可选，在传入 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — 一个 torch.FloatTensor 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每个层输出的一个张量），形状为 (batch_size, sequence_length, hidden_size)。

    编码器在每一层输出处的隐藏状态，以及初始嵌入输出。

  • encoder_attentions（tuple[torch.FloatTensor]，可选，当传入 output_attentions=True 或 config.output_attentions=True 时返回）—— 一个 torch.FloatTensor 元组（每层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

    编码器在注意力 softmax 之后的注意力权重，用于在自注意力头中计算加权平均值。

  • init_reference_points（形状为 (batch_size, num_queries, 4) 的 torch.FloatTensor）— 通过 Transformer 解码器传递的初始参考点。

  • enc_topk_logits (torch.FloatTensor，形状为 (batch_size, sequence_length, config.num_labels)) — 预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框将在编码器阶段被选为区域建议。这是边界框二分类（即前景和背景）的输出。

  • enc_topk_bboxes（形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor）— 编码器阶段预测的边界框坐标的 Logits。

  • enc_outputs_class (torch.FloatTensor，形状为 (batch_size, sequence_length, config.num_labels)，可选，当 config.with_box_refine=True 且 config.two_stage=True 时返回) — 预测的边界框分数，其中得分最高的 config.two_stage_num_proposals 个边界框在第一阶段被选为区域建议。这是边界框二分类（即前景和背景）的输出。

  • enc_outputs_coord_logits（形状为 (batch_size, sequence_length, 4) 的 torch.FloatTensor，可选，当 config.with_box_refine=True 且 config.two_stage=True 时返回） — 第一阶段中预测的边界框坐标的 logits。

  • denoising_meta_values (dict，可选) — 用于去噪相关值的额外字典。

  • out_order_logits（形状为 (batch_size, config.decoder_layers, config.num_queries, config.num_queries) 的 torch.FloatTensor）— 堆叠的顺序 logits（解码器每一层的顺序 logits）。

  • out_masks（形状为 (batch_size, config.decoder_layers, config.num_queries, 200, 200) 的 torch.FloatTensor）— 堆叠的掩码（解码器每一层的掩码）。

示例：

>>> from transformers import AutoImageProcessor, PPDocLayoutV2Model
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/PPDocLayoutV2_r50vd")
>>> model = PPDocLayoutV2Model.from_pretrained("PekingU/PPDocLayoutV2_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

PPDocLayoutV3Config

class transformers.PPDocLayoutV3Config

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Trueinitializer_range: float = 0.01initializer_bias_prior_prob: float | None = Nonelayer_norm_eps: float = 1e-05batch_norm_eps: float = 1e-05tie_word_embeddings: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefreeze_backbone_batch_norms: bool = Trueencoder_hidden_dim: int = 256encoder_in_channels: list[int] | tuple[int, ...] = (512, 1024, 2048)feat_strides: list[int] | tuple[int, ...] = (8, 16, 32)encoder_layers: int = 1encoder_ffn_dim: int = 1024encoder_attention_heads: int = 8dropout: float | int = 0.0activation_dropout: float | int = 0.0encode_proj_layers: list[int] | tuple[int, ...] = (2,)positional_encoding_temperature: int = 10000encoder_activation_function: str = 'gelu'activation_function: str = 'silu'eval_size: int | None = Nonenormalize_before: bool = Falsehidden_expansion: float = 1.0mask_feature_channels: list[int] | tuple[int, ...] = (64, 64)x4_feat_dim: int = 128d_model: int = 256num_prototypes: int = 32label_noise_ratio: float = 0.4box_noise_scale: float = 0.4mask_enhanced: bool = Truenum_queries: int = 300decoder_in_channels: list[int] | tuple[int, ...] = (256, 256, 256)decoder_ffn_dim: int = 1024num_feature_levels: int = 3decoder_n_points: int = 4decoder_layers: int = 6decoder_attention_heads: int = 8decoder_activation_function: str = 'relu'attention_dropout: float | int = 0.0num_denoising: int = 100learn_initial_query: bool = Falseanchor_image_size: int | None = Nonedisable_custom_kernels: bool = Trueglobal_pointer_head_size: int = 64gp_dropout_value: float | int = 0.1 )

参数

  • is_encoder_decoder (bool，可选，默认为 True) — 指示该模型是否用作编码器/解码器。
  • initializer_range (float，可选，默认为 0.01) — 用于初始化所有权重矩阵的 truncated_normal_initializer 的标准差。
  • initializer_bias_prior_prob (float, 可选) — 用于初始化 enc_score_head 和 class_embed 偏置的先验概率。 如果为 None，则在初始化模型权重时，prior_prob 的计算方式为 prior_prob = 1 / (num_labels + 1)。
  • layer_norm_eps (float，可选，默认为 1e-05) — 层归一化层所使用的 epsilon 值。
  • batch_norm_eps (float，可选，默认为 1e-05) — 批归一化层使用的 epsilon 值。
  • tie_word_embeddings (bool，可选，默认为 True) — 是否根据模型的 tied_weights_keys 映射来绑定权重嵌入。
  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig]，可选) — 主干模型的配置。
  • freeze_backbone_batch_norms (bool，可选，默认为 True) — 是否冻结主干网络中的批归一化层。
  • encoder_hidden_dim (int，可选，默认为 256) — 隐藏表示的维度。
  • encoder_in_channels (list，可选，默认为 [512, 1024, 2048]) — 编码器的多级特征输入。
  • feat_strides（list[int]，可选，默认为 [8, 16, 32]）— 每个特征图中使用的步长。
  • encoder_layers (int，可选，默认为 1) — Transformer 编码器中的隐藏层数量。如果未设置，将使用与 num_layers 相同的值。
  • encoder_ffn_dim (int，可选，默认为 1024) — 编码器中“中间”（通常称为前馈）层的维度。
  • encoder_attention_heads (int，可选，默认为 8) — Transformer 编码器中每个注意力层的注意力头数量。
  • dropout (Union[float, int]，可选，默认为 0.0) — 所有 dropout 层的比率。
  • activation_dropout (Union[float, int]，可选，默认为 0.0) — 全连接层中激活值的 dropout 比率。
  • encode_proj_layers (list[int]，可选，默认为 [2]) — 编码器中要使用的投影层的索引。
  • positional_encoding_temperature (int，可选，默认为 10000) — 用于创建位置编码的温度参数。
  • encoder_activation_function (str，可选，默认为 "gelu") — 编码器和池化器中使用的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • activation_function (str，可选，默认为 silu) — 解码器中的非线性激活函数（函数或字符串）。例如，"gelu"、"relu"、"silu" 等。
  • eval_size (tuple[int, int]，可选) — 用于在考虑步长后计算位置嵌入的有效高度和宽度的高度和宽度。
  • normalize_before (bool，可选，默认为 False) — 确定是否在 Transformer 编码器层的自注意力和前馈模块之前应用层归一化。
  • hidden_expansion (float，可选，默认值为 1.0) — 用于扩大 RepVGGBlock 和 CSPRepLayer 维度大小的扩展比例。
  • mask_feature_channels (list[int]，可选，默认为 [64, 64]) — 用于掩码增强的多级特征通道数。
  • x4_feat_dim (int, 可选，默认为 128) — x4 特征图的维度。
  • d_model (int，可选，默认为 256) — 除混合编码器外，各层的维度。
  • num_prototypes (int，可选，默认为 32) — 排除掩码查询头（exclude mask query head）的层维度。
  • label_noise_ratio (float，可选，默认值为 0.4) — 应添加随机噪声的去噪标签比例。
  • box_noise_scale (float，可选，默认为 0.4) — 添加到边界框的噪声的缩放比例或幅度。
  • mask_enhanced (bool，可选，默认为 True) — 是否使用增强型掩码注意力。
  • num_queries (int，可选，默认为 300) — 对象查询的数量。
  • decoder_in_channels (list，可选，默认为 [256, 256, 256]) — 解码器的多级特征维度
  • decoder_ffn_dim (int，可选，默认值为 1024) — 解码器中“中间”（通常称为前馈）层的维度。
  • num_feature_levels (int, 可选，默认为 3) — 输入特征层级的数量。
  • decoder_n_points (int，可选，默认为 4) — 解码器中每个注意力头在每个特征层级上采样的键数量。
  • decoder_layers (int, 可选，默认为 6) — Transformer 解码器中的隐藏层数量。如果未设置，将使用与 num_layers 相同的值。
  • decoder_attention_heads (int，可选，默认为 8) — Transformer 解码器中每个注意力层的注意力头数量。
  • decoder_activation_function (str，可选，默认为 "relu") — 解码器中的非线性激活函数（函数或字符串）。如果为字符串，则支持 "gelu"、"relu"、"silu" 和 "gelu_new"。
  • attention_dropout (Union[float, int]，可选，默认为 0.0) — 注意力概率的 dropout 比率。
  • num_denoising (int，可选，默认为 100) — 用于对比去噪的去噪任务或查询的总数。
  • learn_initial_query (bool，可选，默认为 False) — 指示是否应在训练过程中学习解码器的初始查询嵌入
  • anchor_image_size (tuple[int, int], 可选) — 评估期间用于生成边界框锚点的输入图像的高度和宽度。如果为 None，则应用自动生成的锚点。
  • disable_custom_kernels (bool，可选，默认为 True) — 是否禁用自定义内核。
  • global_pointer_head_size (int，可选，默认为 64) — 全局指针头的大小。
  • gp_dropout_value (float，可选，默认值为 0.1) — 全局指针头中的 dropout 概率。

这是用于存储 PPDocLayoutV3Model 配置的类。它根据指定的参数实例化 Pp Doclayout V3 模型，并定义模型架构。使用默认值实例化配置将得到与 PaddlePaddle/PP-DocLayoutV3_safetensors 类似的配置。

配置对象继承自 PreTrainedConfig，可用于控制模型输出。有关更多信息，请参阅 PreTrainedConfig 的文档。

示例：

>>> from transformers import PPDocLayoutV3Config, PPDocLayoutV3ForObjectDetection

>>> # Initializing a PP-DocLayoutV3 configuration
>>> configuration = PPDocLayoutV3Config()

>>> # Initializing a model (with random weights) from the configuration
>>> model = PPDocLayoutV3ForObjectDetection(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PPDocLayoutV3ImageProcessor

class transformers.PPDocLayoutV3ImageProcessor

< >

( **kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> )

参数

  • do_convert_rgb (bool，kwargs，可选) — 是否将图像转换为 RGB。
  • do_resize (bool，kwargs，可选，默认为 True) — 是否调整图像大小。
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs，默认为 {'height' -- 800, 'width': 800})： 描述输入到模型的最大尺寸。
  • default_to_square (bool，kwargs，可选，默认为 True) — 当 size 为 int 时，是否在调整大小时默认使用正方形图像。
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 应用 center_crop 后输出图像的尺寸。
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs，默认为 3) — 如果调整图像大小，则使用的重采样滤波器。它可以是枚举 PILImageResampling 中的一个值。仅当 do_resize 设置为 True 时才会生效。
  • do_rescale (bool，kwargs，可选，默认为 True) — 是否对图像进行重新缩放。
  • rescale_factor (float，kwargs，可选，默认为 0.00392156862745098) — 当 do_rescale 设置为 True 时，用于对图像进行缩放的缩放因子。
  • do_normalize (bool，kwargs，可选，默认为 True) — 是否对图像进行归一化。
  • image_mean (Union[float, list[float], tuple[float, ...]]，kwargs，可选，默认为 [0, 0, 0]) — 用于归一化的图像均值。仅当 do_normalize 设置为 True 时生效。
  • image_std (Union[float, list[float], tuple[float, ...]]，kwargs，可选，默认为 [1, 1, 1]) — 用于归一化的图像标准差。仅当 do_normalize 设置为 True 时生效。
  • do_pad (bool, kwargs, 可选) — 是否对图像进行填充。填充操作会将图像填充至批次中的最大尺寸，或填充至每张图像的固定正方形尺寸。具体的填充策略取决于模型。
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 用于填充图像的 {"height": int, "width" int} 尺寸。必须大于为预处理提供的任何图像尺寸。如果未提供 pad_size，图像将被填充到批次中最大的高度和宽度。仅在 do_pad=True. 时应用。
  • do_center_crop (bool，kwargs，可选) — 是否对图像进行中心裁剪。
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 可选) — 仅支持 ChannelDimension.FIRST。为兼容旧版处理器而添加。
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：
    • "channels_first" 或 ChannelDimension.FIRST：图像采用 (num_channels, height, width) 格式。
    • "channels_last" 或 ChannelDimension.LAST：图像采用 (height, width, num_channels) 格式。
    • "none" 或 ChannelDimension.NONE：图像为 (height, width) 格式。
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 用于处理视频的设备。如果未设置，则从输入视频中推断设备。
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, 可选, 默认为 256) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中，应将其设置为处理器的属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int，kwargs，可选) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中，应将其设置为处理器的属性。
  • Returns 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。 —

构建一个 PPDocLayoutV3ImageProcessor 图像处理器。

disable_grouping (bool, kwargs, 可选)： 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详情见此处：https://github.com/huggingface/transformers/pull/38157 image_seq_length (int, kwargs, 可选)： 输入中每张图像所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中应将其设置为处理器属性。

预处理

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]*argsimage_like_kwargs: dict[str, typing.Any] | None = None**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> ) → ~image_processing_base.BatchFeature

参数

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 要预处理的图像。期望输入单张图像或一批图像，其像素值范围为 0 到 255。如果传入的图像像素值在 0 到 1 之间，请设置 do_rescale=False。
  • image_like_kwargs (dict[str, Any], 可选) — 用于额外图像类输入的开发者标志，这些输入也将被预处理。仅在以关键字参数传递输入不起作用时使用此标志。例如，preprocess(images, masks=masks) 是首选方式，但对于某些模型会导致参数优先级问题。在这种情况下，可以改用 preprocess(images, image_like_inputs={"masks": masks})。
  • do_convert_rgb (bool，kwargs，可选) — 是否将图像转换为 RGB。
  • do_resize (bool，kwargs，可选) — 是否调整图像大小。
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 描述模型的最大输入维度。
  • default_to_square (bool, kwargs, 可选) — 当 size 为整数时，是否在调整大小时默认使用正方形图像。
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 应用 center_crop 后输出图像的尺寸。
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — 如果调整图像大小，则使用的重采样滤波器。可以是枚举 PILImageResampling 中的一个值。仅当 do_resize 设置为 True 时生效。
  • do_rescale (bool，kwargs，可选) — 是否对图像进行重新缩放。
  • rescale_factor (float, kwargs, 可选) — 如果 do_rescale 设置为 True，则用于对图像进行缩放的缩放因子。
  • do_normalize (bool，kwargs，可选) — 是否对图像进行归一化。
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, 可选) — 用于归一化的图像均值。仅当 do_normalize 设置为 True 时生效。
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, 可选) — 用于归一化的图像标准差。仅当 do_normalize 设置为 True 时生效。
  • do_pad (bool, kwargs, 可选) — 是否对图像进行填充。填充操作会将图像填充至批次中的最大尺寸，或填充至每张图像的固定正方形尺寸。具体的填充策略取决于模型。
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 用于填充图像的 {"height": int, "width" int} 尺寸。必须大于为预处理提供的任何图像尺寸。如果未提供 pad_size，图像将被填充到批次中最大的高度和宽度。仅在 do_pad=True. 时应用。
  • do_center_crop (bool，kwargs，可选) — 是否对图像进行中心裁剪。
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 可选) — 仅支持 ChannelDimension.FIRST。为兼容旧版处理器而添加。
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 可选) — 输入图像的通道维度格式。如果未设置，则从输入图像中推断通道维度格式。可以是以下之一：
    • "channels_first" 或 ChannelDimension.FIRST：图像采用 (num_channels, height, width) 格式。
    • "channels_last" 或 ChannelDimension.LAST：图像采用 (height, width, num_channels) 格式。
    • "none" 或 ChannelDimension.NONE：图像为 (height, width) 格式。
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 用于处理视频的设备。如果未设置，则从输入视频中推断设备。
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 如果设置为 'pt'，则返回堆叠的张量，否则返回张量列表。
  • disable_grouping (bool，kwargs，可选) — 是否禁用按尺寸对图像进行分组，从而逐个处理图像而非批量处理。 如果为 None，则当图像位于 CPU 上时设置为 True，否则设置为 False。此选择基于经验观察，详见此处：https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int，kwargs，可选) — 输入中每张图片所使用的图像 token 数量。 为向后兼容而添加，但在未来的模型中，应将其设置为处理器的属性。

返回值

~image_processing_base.BatchFeature

  • data (dict) — 由 call 方法返回的列表/数组/张量字典（如 ‘pixel_values’ 等）。
  • tensor_type (Union[None, str, TensorType], 可选) — 您可以在此处指定 tensor_type，以便在初始化时将 PyTorch/Numpy 张量中的整数列表进行转换。

预处理一张图像或一批图像。

Update on GitHub

←PP-DocLayoutV2 PP-DocLayoutV4→