Transformers documentation

PP-DocLayoutV3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была добавлена в Hugging Face Transformers 29.01.2026.

PP-DocLayoutV3

Обзор

PP-DocLayoutV3 — это единая высокоэффективная модель, предназначенная для комплексного анализа компоновки. Она решает проблемы сложных физических искажений — таких как наклон, изгиб и неблагоприятное освещение — за счёт интеграции сегментации экземпляров и предсказания порядка чтения в единую сквозную архитектуру.

Архитектура модели

PP-DocLayoutV3 развивается от традиционного подхода на основе детектирования до устойчивой архитектуры сегментации экземпляров, построенной на фреймворке RT-DETR. Вместо простых ограничивающих прямоугольников он использует детекционный модуль на основе масок для предсказания пиксельно-точных сегментов элементов макета.

В отличие от предыдущей версии, PP-DocLayoutV3 устраняет раздельные этапы, встраивая механизм Global Pointer непосредственно в слои декодера Transformer. Это позволяет модели одновременно выдавать метки классификации, точные маски и логический порядок чтения за один прямой проход, что значительно снижает задержку и повышает точность разбора сложных макетов документов.

Использование

Вывод для одного входа

Приведённый ниже пример показывает, как генерировать текст с помощью PP-DocLayoutV3, используя Pipeline или AutoModel.

Пайплайн

AutoModel

Пакетный вывод

PP-DocLayoutV3 также поддерживает пакетный вывод. Вот как это можно сделать с помощью PP-DocLayoutV3, используя Pipeline или AutoModel:

Пайплайн

AutoModel

PPDocLayoutV3ForObjectDetection

класс transformers.PPDocLayoutV3ForObjectDetection

< source >

( config: PPDocLayoutV3Config )

Параметры

config (PPDocLayoutV3Config) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель PP-DocLayoutV3 (состоящая из backbone и encoder-decoder) выдает bounding boxes и logits, отсортированные в соответствии с порядком чтения, которые затем декодируются в scores и classes.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< source >

( pixel_values: FloatTensorpixel_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: typing.Optional[torch.FloatTensor] = Nonelabels: list[dict] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → PPDocLayoutV3ForObjectDetectionOutput or tuple(torch.FloatTensor)

Параметры

pixel_values (torch.FloatTensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью image_processor_class. Подробности см. в image_processor_class.__call__ (processor_class использует image_processor_class для обработки изображений).
pixel_mask (torch.LongTensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей padding из вычислений внимания. Значения маски из диапазона [0, 1]:
- 1 для пикселей, которые являются реальными (т. е. не замаскированы),
- 0 для пикселей, являющихся заполнением (т. е. замаскированных).
Что такое маски внимания?
encoder_outputs (torch.FloatTensor, необязательный) — Кортеж, состоящий из (last_hidden_state, необязательный: hidden_states, необязательный: attentions) last_hidden_state формы (batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера.
labels (list[Dict] длины (batch_size,), необязательный) — Метки для вычисления функции потерь на основе двудольного сопоставления. Список словарей, каждый из которых содержит как минимум следующие два ключа: ‘class_labels’ и ‘boxes’ (метки классов и ограничивающие рамки для изображения в батче соответственно). Сами метки классов должны представлять собой torch.LongTensor длины (number of bounding boxes in the image,), а рамки — torch.FloatTensor формы (number of bounding boxes in the image, 4).

Возвращает

PPDocLayoutV3ForObjectDetectionOutput или tuple(torch.FloatTensor)

PPDocLayoutV3ForObjectDetectionOutput или кортеж из torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (None) и входных данных.

Метод forward класса PPDocLayoutV3ForObjectDetection переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

logits (torch.FloatTensor формы (batch_size, num_queries, num_classes + 1)) — Логиты классификации (включая класс «объект отсутствует») для всех запросов.
pred_boxes (torch.FloatTensor формы (batch_size, num_queries, 4)) — нормализованные координаты границ для всех запросов, представленные в виде (center_x, center_y, width, height). Эти значения нормализованы в диапазоне [0, 1] относительно размера каждого отдельного изображения в батче (без учёта возможного выравнивания). Для получения ненормализованных (абсолютных) границ используйте post_process_object_detection().
order_logits (tuple из torch.FloatTensor формы (batch_size, num_queries, num_queries)) — Логиты порядка последнего слоя декодера.
out_masks (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, height, width)) — Маски последнего слоя декодера.
last_hidden_state (torch.FloatTensor формы (batch_size, num_queries, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя декодера модели.
intermediate_hidden_states (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, hidden_size)) — Стек промежуточных скрытых состояний (выход каждого слоя декодера).
intermediate_logits (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, config.num_labels)) — Стек промежуточных логитов (логиты каждого слоя декодера).
intermediate_reference_points (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, 4)) — Стек промежуточных опорных точек (опорные точки каждого слоя декодера).
intermediate_predicted_corners (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, 4)) — Стек промежуточных предсказанных углов (предсказанные углы каждого слоя декодера).
initial_reference_points (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, 4)) — Стек начальных опорных точек (начальные опорные точки каждого слоя декодера).
decoder_hidden_states (tuple[torch.FloatTensor], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
decoder_attentions (tuple[torch.FloatTensor], необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
cross_attentions (tuple[torch.FloatTensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.
encoder_last_hidden_state (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.
encoder_hidden_states (tuple[torch.FloatTensor], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если у модели есть слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
encoder_attentions (tuple[torch.FloatTensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
init_reference_points (torch.FloatTensor формы (batch_size, num_queries, 4)) — Начальные опорные точки, передаваемые через декодер Transformer.
enc_topk_logits (torch.FloatTensor формы (batch_size, sequence_length, config.num_labels), необязательный, возвращается, если config.with_box_refine=True и config.two_stage=True) — Логиты координат предсказанных ограничивающих прямоугольников в энкодере.
enc_topk_bboxes (torch.FloatTensor формы (batch_size, sequence_length, 4), необязательный, возвращается, если config.with_box_refine=True и config.two_stage=True) — Логиты координат предсказанных ограничивающих прямоугольников в энкодере.
enc_outputs_class (torch.FloatTensor формы (batch_size, sequence_length, config.num_labels), необязательный, возвращается, если config.with_box_refine=True и config.two_stage=True) — Оценки предсказанных ограничивающих прямоугольников, где config.two_stage_num_proposals прямоугольников с наивысшими оценками выбираются в качестве региональных предложений на первом этапе. Результат бинарной классификации ограничивающих прямоугольников (т. е. передний план и фон).
enc_outputs_coord_logits (torch.FloatTensor формы (batch_size, sequence_length, 4), необязательный, возвращается, если config.with_box_refine=True и config.two_stage=True) — Логиты координат предсказанных ограничивающих прямоугольников на первом этапе.
denoising_meta_values (dict, необязательный) — Дополнительный словарь для значений, связанных с процессом денуазинга

Примеры:

>>> from transformers import AutoModelForObjectDetection, AutoImageProcessor
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> url = "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/paddle_layout_demo.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> model_path = "PaddlePaddle/PP-DocLayoutV3_safetensors"
>>> image_processor = AutoImageProcessor.from_pretrained(model_path)
>>> model = AutoModelForObjectDetection.from_pretrained(model_path)

>>> # prepare image for the model
>>> inputs = image_processor(images=[image], return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]))

>>> # print outputs
>>> for result in results:
...     for idx, (score, label_id, box) in enumerate(zip(result["scores"], result["labels"], result["boxes"])):
...         score, label = score.item(), label_id.item()
...         box = [round(i, 2) for i in box.tolist()]
...         print(f"Order {idx + 1}: {model.config.id2label[label]}: {score:.2f} {box}")
Order 1: text: 0.99 [334.95, 184.78, 897.25, 654.83]
Order 2: paragraph_title: 0.97 [337.28, 683.92, 869.16, 798.35]
Order 3: text: 0.99 [335.75, 842.82, 892.13, 1454.32]
Order 4: text: 0.99 [920.18, 185.28, 1476.38, 464.49]
Order 5: text: 0.98 [920.47, 483.68, 1480.63, 765.72]
Order 6: text: 0.98 [920.62, 846.8, 1482.09, 1220.67]
Order 7: text: 0.97 [920.92, 1239.41, 1469.55, 1378.02]
Order 8: footnote: 0.86 [335.03, 1614.68, 1483.33, 1731.73]
Order 9: footnote: 0.83 [334.64, 1756.74, 1471.78, 1845.69]
Order 10: text: 0.81 [336.8, 1910.52, 661.64, 1939.92]
Order 11: footnote: 0.96 [336.24, 2114.42, 1450.14, 2172.12]
Order 12: number: 0.88 [106.0, 2257.5, 135.84, 2282.18]
Order 13: footer: 0.93 [338.4, 2255.52, 986.15, 2284.37]

PPDocLayoutV3Model

класс transformers.PPDocLayoutV3Model

< source >

( config: PPDocLayoutV3Config )

Параметры

config (PPDocLayoutV3Config) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель PP-DocLayoutV3 (состоящая из backbone и encoder-decoder), выводящая необработанные скрытые состояния без какого-либо head сверху.

forward

< source >

Параметры

pixel_values (torch.FloatTensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью image_processor_class. Подробности см. в image_processor_class.__call__ (processor_class использует image_processor_class для обработки изображений).
pixel_mask (torch.LongTensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей padding из вычислений внимания. Значения маски из диапазона [0, 1]:
- 1 для пикселей, которые являются реальными (т. е. не замаскированы),
- 0 для пикселей, являющихся заполнением (т. е. замаскированных).
Что такое маски внимания?
encoder_outputs (torch.FloatTensor, необязательный) — Кортеж, состоящий из (last_hidden_state, необязательный: hidden_states, необязательный: attentions) last_hidden_state формы (batch_size, sequence_length, hidden_size), необязательный) — последовательность скрытых состояний на выходе последнего слоя энкодера. Используется в кросс-внимании декодера.
labels (list[Dict] длины (batch_size,), необязательный) — Метки для вычисления функции потерь на основе двудольного сопоставления. Список словарей, каждый из которых содержит как минимум следующие два ключа: ‘class_labels’ и ‘boxes’ (метки классов и ограничивающие рамки для изображения в батче соответственно). Сами метки классов должны представлять собой torch.LongTensor длины (number of bounding boxes in the image,), а рамки — torch.FloatTensor формы (number of bounding boxes in the image, 4).

Возвращает

PPDocLayoutV3ModelOutput или tuple(torch.FloatTensor)

PPDocLayoutV3ModelOutput или кортеж из torch.FloatTensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (None) и входных данных.

Метод forward модели PPDocLayoutV3Model переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

last_hidden_state (torch.FloatTensor формы (batch_size, num_queries, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя декодера модели.
intermediate_hidden_states (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, hidden_size)) — Стек промежуточных скрытых состояний (выход каждого слоя декодера).
intermediate_logits (torch.FloatTensor формы (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — Стек промежуточных logits (logits каждого слоя декодера).
intermediate_reference_points (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, 4)) — Стек промежуточных опорных точек (опорные точки каждого слоя декодера).
intermediate_predicted_corners (torch.FloatTensor формы (batch_size, config.decoder_layers, num_queries, 4)) — Стек промежуточных предсказанных углов (предсказанные углы каждого слоя декодера).
initial_reference_points (torch.FloatTensor формы (batch_size, num_queries, 4)) — Начальные опорные точки, используемые в первом слое декодера.
decoder_hidden_states (tuple[torch.FloatTensor], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния декодера на выходе каждого слоя, а также выходные значения начального слоя встраивания.
decoder_attentions (tuple[torch.FloatTensor], необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
cross_attentions (tuple[torch.FloatTensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.FloatTensor (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания кросс-внимания декодера после softmax внимания, используемые для вычисления взвешенного среднего в головах кросс-внимания.
encoder_last_hidden_state (torch.FloatTensor формы (batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя энкодера модели.
encoder_hidden_states (tuple[torch.FloatTensor], необязательный, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — Кортеж из torch.FloatTensor (один для вывода слоя встраиваний, если у модели есть слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния кодировщика на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
encoder_attentions (tuple[torch.FloatTensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — кортеж torch.FloatTensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания энкодера после softmax внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
init_reference_points (torch.FloatTensor формы (batch_size, num_queries, 4)) — Начальные опорные точки, передаваемые через декодер Transformer.
enc_topk_logits (torch.FloatTensor формы (batch_size, sequence_length, config.num_labels)) — Оценки предсказанных ограничивающих прямоугольников, где config.two_stage_num_proposals прямоугольников с наивысшими оценками выбираются в качестве региональных предложений на этапе кодировщика. Результат бинарной классификации ограничивающих прямоугольников (т. е. передний и задний план).
enc_topk_bboxes (torch.FloatTensor формы (batch_size, sequence_length, 4)) — Логиты координат предсказанных ограничивающих прямоугольников на этапе кодирования.
enc_outputs_class (torch.FloatTensor формы (batch_size, sequence_length, config.num_labels), необязательный, возвращается, если config.with_box_refine=True и config.two_stage=True) — Оценки предсказанных ограничивающих прямоугольников, где config.two_stage_num_proposals прямоугольников с наивысшими оценками выбираются в качестве региональных предложений на первом этапе. Результат бинарной классификации ограничивающих прямоугольников (т. е. передний план и фон).
enc_outputs_coord_logits (torch.FloatTensor формы (batch_size, sequence_length, 4), необязательный, возвращается, если config.with_box_refine=True и config.two_stage=True) — Логиты координат предсказанных ограничивающих прямоугольников на первом этапе.
denoising_meta_values (dict, необязательный) — Дополнительный словарь для значений, связанных с процессом денойзинга.
out_order_logits (torch.FloatTensor формы (batch_size, config.decoder_layers, config.num_queries, config.num_queries)) — Стек order logits (order logits каждого слоя декодера).
out_masks (torch.FloatTensor формы (batch_size, config.decoder_layers, config.num_queries, 200, 200)) — Стек масок (маски каждого слоя декодера).

Примеры:

>>> from transformers import AutoImageProcessor, PPDocLayoutV2Model
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/PPDocLayoutV2_r50vd")
>>> model = PPDocLayoutV2Model.from_pretrained("PekingU/PPDocLayoutV2_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

PPDocLayoutV3Config

класс transformers.PPDocLayoutV3Config

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Trueinitializer_range: float = 0.01initializer_bias_prior_prob: float | None = Nonelayer_norm_eps: float = 1e-05batch_norm_eps: float = 1e-05tie_word_embeddings: bool = Truebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefreeze_backbone_batch_norms: bool = Trueencoder_hidden_dim: int = 256encoder_in_channels: list[int] | tuple[int, ...] = (512, 1024, 2048)feat_strides: list[int] | tuple[int, ...] = (8, 16, 32)encoder_layers: int = 1encoder_ffn_dim: int = 1024encoder_attention_heads: int = 8dropout: float | int = 0.0activation_dropout: float | int = 0.0encode_proj_layers: list[int] | tuple[int, ...] = (2,)positional_encoding_temperature: int = 10000encoder_activation_function: str = 'gelu'activation_function: str = 'silu'eval_size: int | None = Nonenormalize_before: bool = Falsehidden_expansion: float = 1.0mask_feature_channels: list[int] | tuple[int, ...] = (64, 64)x4_feat_dim: int = 128d_model: int = 256num_prototypes: int = 32label_noise_ratio: float = 0.4box_noise_scale: float = 0.4mask_enhanced: bool = Truenum_queries: int = 300decoder_in_channels: list[int] | tuple[int, ...] = (256, 256, 256)decoder_ffn_dim: int = 1024num_feature_levels: int = 3decoder_n_points: int = 4decoder_layers: int = 6decoder_attention_heads: int = 8decoder_activation_function: str = 'relu'attention_dropout: float | int = 0.0num_denoising: int = 100learn_initial_query: bool = Falseanchor_image_size: int | None = Nonedisable_custom_kernels: bool = Trueglobal_pointer_head_size: int = 64gp_dropout_value: float | int = 0.1 )

Параметры

is_encoder_decoder (bool, необязательный, по умолчанию True) — Указывает, используется ли модель в качестве энкодера/декодера.
initializer_range (float, необязательный, по умолчанию 0.01) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
initializer_bias_prior_prob (float, необязательный) — Априорная вероятность, используемая инициализатором смещения для инициализации смещений в enc_score_head и class_embed. Если None, prior_prob вычисляется как prior_prob = 1 / (num_labels + 1) при инициализации весов модели.
layer_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями нормализации.
batch_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями batch normalization.
tie_word_embeddings (bool, необязательный, по умолчанию True) — Определяет, следует ли связывать веса эмбеддингов согласно маппингу tied_weights_keys модели.
backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Конфигурация модели-бэкбона.
freeze_backbone_batch_norms (bool, необязательный, по умолчанию True) — Определяет, следует ли заморозить слои batch normalization в backbone.
encoder_hidden_dim (int, необязательный, по умолчанию 256) — Размерность скрытых представлений.
encoder_in_channels (list, необязательный, по умолчанию [512, 1024, 2048]) — Многоуровневые входные признаки для энкодера.
feat_strides (list[int], необязательный, по умолчанию [8, 16, 32]) — Шаги, используемые в каждой feature map.
encoder_layers (int, необязательный, по умолчанию 1) — Количество скрытых слоев в кодере Transformer. Если не задано, используется то же значение, что и у num_layers.
encoder_ffn_dim (int, необязательный, по умолчанию 1024) — Размерность «промежуточного» (часто называемого feed-forward) слоя в энкодере.
encoder_attention_heads (int, необязательный, по умолчанию 8) — Количество голок внимания в каждом слое внимания в кодере Transformer.
dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент для всех слоёв dropout.
activation_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для активаций внутри полносвязного слоя.
encode_proj_layers (list[int], необязательный, по умолчанию [2]) — Индексы проецируемых слоёв, используемых в кодировщике.
positional_encoding_temperature (int, необязательный, по умолчанию 10000) — Параметр температуры, используемый для создания позиционных кодировок.
encoder_activation_function (str, необязательный, по умолчанию "gelu") — Нелинейная функция активации (функция или строка) в кодере и пулере. Если передана строка, поддерживаются значения "gelu", "relu", "silu" и "gelu_new".
activation_function (str, необязательный, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
eval_size (tuple[int, int], необязательный) — Высота и ширина, используемые для вычисления эффективной высоты и ширины позиционных эмбеддингов с учётом шага.
normalize_before (bool, необязательный, по умолчанию False) — Определяет, следует ли применять нормализацию слоя в слое кодировщика трансформера перед модулями само-внимания и последовательной обработки.
hidden_expansion (float, необязательный, по умолчанию 1.0) — Коэффициент расширения для увеличения размерности RepVGGBlock и CSPRepLayer.
mask_feature_channels (list[int], необязательный, по умолчанию [64, 64]) — Каналы многоуровневых признаков для улучшения маски.
x4_feat_dim (int, необязательный, по умолчанию 128) — Размерность карты признаков x4.
d_model (int, необязательный, по умолчанию 256) — Размерность слоёв, за исключением гибридного энкодера.
num_prototypes (int, необязательный, по умолчанию 32) — Размерность слоя маски исключения для заголовка запроса.
label_noise_ratio (float, необязательный, по умолчанию 0.4) — Доля меток для денойзинга, к которым следует добавить случайный шум.
box_noise_scale (float, необязательный, по умолчанию 0.4) — Масштаб или величина шума, добавляемого к ограничивающим рамкам.
mask_enhanced (bool, необязательный, по умолчанию True) — Использовать ли улучшенное маскированное внимание.
num_queries (int, необязательный, по умолчанию 300) — Количество запросов объектов.
decoder_in_channels (list, необязательный, по умолчанию [256, 256, 256]) — Размерность многоуровневых признаков для декодера
decoder_ffn_dim (int, необязательный, по умолчанию 1024) — Размерность «промежуточного» (часто называемого feed-forward) слоя в декодере.
num_feature_levels (int, необязательный, по умолчанию 3) — Количество уровней входных признаков.
decoder_n_points (int, необязательный, по умолчанию 4) — Количество выбранных ключей на каждом уровне признаков для каждой головы внимания в декодере.
decoder_layers (int, необязательный, по умолчанию 6) — Количество скрытых слоев в декодере Transformer. Если не задано, будет использовано то же значение, что и у num_layers.
decoder_attention_heads (int, необязательный, по умолчанию 8) — Количество головок внимания в каждом слое внимания декодера Transformer.
decoder_activation_function (str, необязательный, по умолчанию "relu") — Нелинейная функция активации (функция или строка) в декодере. Если передана строка, поддерживаются "gelu", "relu", "silu" и "gelu_new".
attention_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
num_denoising (int, необязательный, по умолчанию 100) — Общее количество задач или запросов денойзинга, используемых для контрастивного денойзинга.
learn_initial_query (bool, необязательный, по умолчанию False) — Указывает, следует ли обучать начальные эмбеддинги запросов для декодера в процессе обучения
anchor_image_size (tuple[int, int], optional) — Высота и ширина входного изображения, используемые при оценке для генерации якорных ограничивающих прямоугольников. Если значение равно None, применяется автоматическая генерация якорей.
disable_custom_kernels (bool, необязательный, по умолчанию True) — Указывает, следует ли отключать кастомные ядра.
global_pointer_head_size (int, необязательный, по умолчанию 64) — Размер глобальной указательной головы.
gp_dropout_value (float, необязательный, по умолчанию 0.1) — Вероятность dropout в глобальной указательной голове.

Это класс конфигурации для хранения конфигурации модели PPDocLayoutV3Model. Он используется для создания модели Pp Doclayout V3 в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации PaddlePaddle/PP-DocLayoutV3_safetensors

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Примеры:

>>> from transformers import PPDocLayoutV3Config, PPDocLayoutV3ForObjectDetection

>>> # Initializing a PP-DocLayoutV3 configuration
>>> configuration = PPDocLayoutV3Config()

>>> # Initializing a model (with random weights) from the configuration
>>> model = PPDocLayoutV3ForObjectDetection(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PPDocLayoutV3ImageProcessor

класс transformers.PPDocLayoutV3ImageProcessor

< source >

( **kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> )

Параметры

do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'height' -- 800, 'width': 800}): Определяет максимальные размеры входных данных для модели.
default_to_square (bool, kwargs, optional, по умолчанию True) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 3) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0, 0, 0]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [1, 1, 1]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
- "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
- "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
- "none" или ChannelDimension.NONE: изображение в формате (height, width).
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional, по умолчанию 256) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в 'pt', возвращает стопку тензоров, иначе — список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
Returns stacked tensors if set to 'pt', otherwise returns a list of tensors. —

Создаёт процессор изображений PPDocLayoutV3ImageProcessor.

disable_grouping (bool, kwargs, optional): Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157 image_seq_length (int, kwargs, optional): Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

preprocess

< source >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]*argsimage_like_kwargs: dict[str, typing.Any] | None = None**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
image_like_kwargs (dict[str, Any], необязательный) — Флаг для разработчиков, позволяющий передать дополнительные входные данные, похожие на изображения, которые также будут предобработаны. Используйте этот параметр только в том случае, если передача входных данных через kwarg не работает. Например, preprocess(images, masks=masks) — предпочтительный вариант, но для некоторых моделей он приводит к проблемам с приоритетом аргументов. В таких случаях можно использовать preprocess(images, image_like_inputs={"masks": masks}).
do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
- "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
- "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
- "none" или ChannelDimension.NONE: изображение в формате (height, width).
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.

Возвращает

~image_processing_base.BatchFeature

data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

Предобработка изображения или пакета изображений.

Update on GitHub

←PP-DocLayoutV2 PP-DocLayoutV4→