Импорт утилит

На этой странице описаны утилиты transformers, обеспечивающие ленивый и быстрый импорт объектов. Хотя мы стремимся к минимальному набору зависимостей, некоторые модели имеют специфические требования к зависимостям, которые невозможно обойти. Мы не хотим, чтобы все пользователи transformers были вынуждены устанавливать эти зависимости для использования других моделей, поэтому мы помечаем их как мягкие, а не жёсткие зависимости.

Набор инструментов transformers не предназначен для того, чтобы вызывать ошибку при импорте модели, требующей определённой зависимости; вместо этого объект, для которого отсутствует зависимость, вызовет ошибку при вызове любого его метода. Например, если torchvision не установлен, быстрые обработчики изображений будут недоступны.

Этот объект по-прежнему импортируется:

>>> from transformers import DetrImageProcessor
>>> print(DetrImageProcessor)
<class 'transformers.models.detr.image_processing_detr.DetrImageProcessor'>

Однако методы этого объекта проверяют свои необязательные зависимости при вызове. Например, если torchvision недоступен, этот вызов приводит к ImportError:

>>> DetrImageProcessor.from_pretrained("facebook/detr-resnet-50")
ImportError:
DetrImageProcessor requires the Torchvision library but it was not found in your environment. Check out the instructions on the
installation page: https://pytorch.org/get-started/locally/ and follow the ones that match your environment.
Please note that you may need to restart your runtime after installation.

Рассмотрим, как указать зависимости конкретных объектов.

Зависимости объектов

На основе имени файла

Все объекты с заданным именем файла имеют автоматическую зависимость от инструмента, связанного с этим именем файла

PyTorch: все файлы, начинающиеся с modeling_, имеют автоматическую зависимость от PyTorch

Токенизаторы: все файлы, начинающиеся с tokenization_ и заканчивающиеся на _fast, имеют автоматическую зависимость от tokenizers

Зрение: все файлы, начинающиеся с image_processing_, автоматически зависят от группы зависимостей vision; на момент написания в неё входит только зависимость pillow.

Vision + Torch + Torchvision: все файлы, начинающиеся с image_processing_ и заканчивающиеся на _fast, автоматически зависят от vision, torch и torchvision.

Все эти автоматические зависимости добавляются поверх явных зависимостей, описанных ниже.

Явные зависимости объектов

Мы добавляем метод requires, который используется для явного указания зависимостей данного объекта. В качестве примера, класс Trainer имеет две обязательные зависимости: torch и accelerate. Вот как мы указываем эти необходимые зависимости:

from .utils.import_utils import requires

@requires(backends=("torch", "accelerate"))
class Trainer:
    ...

Бэкенды, которые можно добавить здесь, — это все бэкенды, доступные в модуле import_utils.py.

Кроме того, в каждом бэкенде можно указать конкретные версии. Например, вот как задать требование torch>=2.6 для класса Trainer:

from .utils.import_utils import requires

@requires(backends=("torch>=2.6", "accelerate"))
class Trainer:
    ...

Вы можете указать следующие операторы: ==, >, >=, <, <=, !=.

Методы

requires_backends(self, ["torch"])