Transformers documentation
Переменные окружения
Переменные окружения
Логические переменные принимают значения 1, on, yes или true в любом регистре. Любое другое значение, включая отсутствие значения, считается ложным.
Большинство этих переменных считывается один раз при импорте Transformers. Задайте их в оболочке перед запуском Python или с помощью os.environ до импорта. Изменение этих переменных после импорта не оказывает никакого эффекта.
TRANSFORMERS_VERBOSITY=info python run.py
Кэширование и доступ к Hub настраиваются переменными HF_*, которыми управляет huggingface_hub, например HF_HOME и HF_HUB_OFFLINE. См. раздел Установка для информации об офлайн-режиме.
Логирование
Transformers ведёт журнал с уровнем warning. Раздел Logging описывает эквивалентный Python API, включая logging.set_verbosity().
| Переменная | Значения | Описание |
|---|---|---|
TRANSFORMERS_VERBOSITY | detail, debug, info, warning, error, critical | Уровень журнала библиотеки. detail соответствует debug и добавляет к каждому сообщению имя файла и номер строки. Нераспознанное значение вызывает предупреждение и приводит к использованию warning. |
TRANSFORMERS_NO_ADVISORY_WARNINGS | boolean | Подавляет предупреждения-рекомендации, то есть советы по лучшим практикам, которые не указывают на проблему. |
Загрузка модели
Шарды контрольных точек загружаются параллельно по умолчанию.
| Переменная | Значения | Описание |
|---|---|---|
HF_DEACTIVATE_ASYNC_LOAD | boolean | Загружает шарды в основном потоке, а не в пуле потоков. Это медленнее, но за пиковым потреблением памяти проще следить. Загрузка и так выполняется последовательно, если device_map выгружает данные на диск или если выполняется квантование на лету, поэтому этот параметр влияет только на те случаи, когда загрузка иначе выполнялась бы параллельно. |
DISABLE_SAFETENSORS_CONVERSION | boolean | Запрещает Transformers запрашивать у Hub-бота конверсии safetensors-версию репозитория, который содержит только веса PyTorch .bin. Полезно настраивать в CI, где такой запрос увеличивает задержку и подвержен сетевым сбоям. |
Ядра и бэкенды
Оптимизированные ядра загружаются с Hub при установке kernels, если оборудование их поддерживает. Отключите их, чтобы изолировать расхождение в численных результатах или сбой.
| Переменная | Значения | Описание |
|---|---|---|
USE_HUB_KERNELS | boolean, включено по умолчанию | Установите значение false, чтобы вернуться к эталонным реализациям. |
TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR | 1 | Принудительно использует fallback на Triton вместо DeepGEMM для линейных слоёв FP8 при тонкозернистой квантизации FP8. |
TRANSFORMERS_DISABLE_TORCH_CHECK | 1 | Пропускает проверку минимальной версии PyTorch при импорте. |
TRANSFORMERS_SDPA_FORCE_GQA | 1 | Принудительно заставляет PyTorch SDPA использовать enable_gqa=True для grouped-query attention. В противном случае Transformers выбирает между установкой enable_gqa=True и повторением ключевых/значимых головок. |
Update on GitHub
TRANSFORMERS_DISABLE_TORCH_CHECKотключает проверку, а не изменяет поведение. При использовании неподдерживаемой версии PyTorch вместо понятного сообщения вы получите ошибки импорта или неверные результаты без предупреждений.