Transformers documentation
LLaVa-NeXT-Video
Эта модель была опубликована в HF papers 31 мая 2024 года и добавлена в Hugging Face Transformers 26 июня 2024 года.
LLaVa-NeXT-Video
Обзор
Модель LLaVa-NeXT-Video была предложена в работе LLaVA-NeXT: A Strong Zero-shot Video Understanding Model авторами Yuanhan Zhang, Bo Li, Haotian Liu, Yong Jae Lee, Liangke Gui, Di Fu, Jiashi Feng, Ziwei Liu, Chunyuan Li. LLaVa-NeXT-Video улучшает LLaVa-NeXT за счёт дообучения на смешанном наборе данных из видео и изображений, что повышает производительность модели на видео.
LLaVA-NeXT неожиданно демонстрирует высокую эффективность в понимании видеоконтента в режиме zero-shot благодаря используемой технике AnyRes. Метод AnyRes естественным образом представляет изображение высокого разрешения в виде нескольких изображений. Эта техника естественно обобщается на представление видео, поскольку видео можно рассматривать как набор кадров (аналогично набору изображений в LLaVa-NeXT). Текущая версия LLaVA-NeXT использует AnyRes и обучается с помощью supervised fine-tuning (SFT) на основе LLaVA-Next на видеоданных, чтобы достичь лучших возможностей понимания видео. Модель является текущим SOTA среди open-source моделей на VideoMME bench.
Введение из блога звучит следующим образом:
30 января 2024 года мы выпустили LLaVA-NeXT — открытую большую мультимодальную модель (LMM), обученную исключительно на текстово-изображенческих данных. Благодаря предложенной технике AnyRes модель повышает свои возможности в области рассуждений, OCR и знаний о мире, демонстрируя выдающиеся результаты на широком спектре задач мультимодального понимания на основе изображений и даже превосходя Gemini-Pro на нескольких бенчмарках изображений, например MMMU и MathVista.
**В сегодняшнем исследовании мы рассматриваем производительность LLaVA-NeXT в области задач понимания видео. Мы показываем, что LLaVA-NeXT неожиданно демонстрирует высокую эффективность в понимании видеоконтента. Текущая версия LLaVA-NeXT для видео включает несколько улучшений:**
- Возможности представления видео в режиме zero-shot с AnyRes: техника AnyRes естественным образом представляет изображение высокого разрешения в виде нескольких изображений, которые предобученный VIT способен обработать, и формирует из них конкатенированную последовательность. Эта техника естественно обобщается на представление видео (состоящих из нескольких кадров), что позволяет модели LLaVA-Next, обученной только на изображениях, неожиданно хорошо справляться с задачами по видео. Примечательно, что это первый случай, когда LMMs демонстрируют сильную способность к переносу модальности в режиме zero-shot.
- Инференс с обобщением по длине показывает лучшие результаты на более длинных видео. Линейная техника масштабирования обеспечивает обобщение по длине, что позволяет LLaVA-NeXT эффективно обрабатывать длинные видео, преодолевая ограничение «max_token_length» LLM.
- Сильные возможности понимания видео. (1) LLaVA-Next-Image, объединяющий две описанные выше техники, обеспечивает превосходные zero-shot результаты по сравнению с open-source LMM, обученными на видео. (2) LLaVA-Next-Video, в котором выполняется дальнейший supervised fine-tuning (SFT) LLaVA-Next-Image на видеоданных, демонстрирует лучшие возможности понимания видео по сравнению с LLaVA-Next-Image. (3) LLaVA-Next-Video-DPO, в котором ответы модели согласуются с обратной связью ИИ с помощью direct preference optimization (DPO), показывает значительное повышение производительности.
- Эффективное развертывание и инференс с SGLang. Он позволяет ускорить инференс на задачах с видео в 5 раз, что обеспечивает более масштабируемое обслуживание, например, переозвучивание миллионов видео. Инструкции см. в нашем репозитории.**
Эта модель была предоставлена RaushanTurganbay. Исходный код можно найти здесь.
Советы по использованию
- Мы рекомендуем пользователям использовать
padding_side="left"при вычислении пакетной генерации, так как это приводит к более точным результатам. Просто убедитесь, что вы вызываетеprocessor.tokenizer.padding_side = "left"перед генерацией.
- Llava-Next использует разное количество патчей для изображений, поэтому ему необходимо дополнять входные данные внутри кода моделирования, помимо дополнения, выполняемого при обработке входов. По умолчанию используется «левое дополнение», если модель находится в режиме
eval(), в противном случае — «правое дополнение».
Модели LLaVA после выпуска v4.46 будут выдавать предупреждения о необходимости добавить
processor.patch_size = {{patch_size}},processor.num_additional_image_tokens = {{num_additional_image_tokens}}иprocessor.vision_feature_select_strategy = {{vision_feature_select_strategy}}. Если вы являетесь владельцем контрольной точки модели, настоятельно рекомендуется добавить эти атрибуты в процессор; если же модель вам не принадлежит, создайте PR. Добавление этих атрибутов означает, что LLaVA будет пытаться определить количество токенов изображения, необходимых на каждое изображение, и расширить текст таким количеством плейсхолдеров<image>, сколько будет токенов. Обычно это около 500 токенов на изображение, поэтому убедитесь, что текст не обрезается, иначе при слиянии эмбеддингов произойдет сбой. Атрибуты можно получить из конфигурации модели, например, какmodel.config.vision_config.patch_sizeилиmodel.config.vision_feature_select_strategy. Значениеnum_additional_image_tokensдолжно быть1, если визуальный бэкбон добавляет CLS-токен, или0, если к визуальным патчам ничего дополнительного не добавляется.
Форматирование промптов с помощью шаблонов чата
Каждый чекпоинт обучен с использованием конкретного формата промпта, который зависит от базовой архитектуры большой языковой модели. Для обеспечения корректного форматирования используйте метод apply_chat_template процессора.
Важно:
- Необходимо сформировать историю диалога — передача обычной строки не сработает.
- Каждое сообщение должно быть словарем с ключами
"role"и"content". "content"должен представлять собой список словарей для различных модальностей, таких как"text"и"image".
Ниже приведён пример структуры входных данных. Мы будем использовать LLaVA-NeXT-Video-7B-hf и историю диалога, содержащую видео и изображения.
from transformers import LlavaNextVideoProcessor
processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
conversation = [
{
"role": "system",
"content": [
{"type": "text", "text": "A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions."},
],
},
{
"role": "user",
"content": [
{"type": "text", "text": "What’s shown in this image?"},
{"type": "image"},
],
},
{
"role": "assistant",
"content": [{"type": "text", "text": "This image shows a red stop sign."},]
},
{
"role": "user",
"content": [
{"type": "text", "text": "Why is this video funny?"},
{"type": "video"},
],
},
]
text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your visuals
print(text_prompt)🚀 Бонус: если вы используете transformers>=4.49.0, вы также можете получить векторизованный вывод из apply_chat_template. Подробнее о том, как это сделать, см. в разделе Примеры использования ниже.
Пример использования
Одиночный режим медиа
Модель может принимать на вход как изображения, так и видео. Ниже приведён пример кода для инференса в половинной точности (torch.float16):
from huggingface_hub import hf_hub_download
from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoProcessor
# Load the model in half-precision
model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", device_map="auto")
processor = LlavaNextVideoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
# Load the video as an np.array, sampling uniformly 8 frames (can sample more for longer videos)
video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
conversation = [
{
"role": "user",
"content": [
{"type": "text", "text": "Why is this video funny?"},
{"type": "video", "path": video_path},
],
},
]
inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=60)
processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True)Режим смешанных медиа
Модель также может генерировать вывод на основе чередующихся входных данных изображения и видео. Однако обратите внимание, что она не обучалась в режиме чередования изображений и видео, что может повлиять на качество работы. Ниже приведён пример использования смешанного мультимедийного ввода; добавьте следующие строки в приведённый выше фрагмент кода:
# Generate from image and video mixed inputs
conversation = [
{
"role": "user",
"content": [
{"type": "text", "text": "How many cats are there in the image?"},
{"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},
],
},
{
"role": "assistant",
"content": [{"type": "text", "text": "There are two cats"}],
},
{
"role": "user",
"content": [
{"type": "text", "text": "Why is this video funny?"},
{"type": "video", "path": video_path},
],
},
]
inputs = processor.apply_chat_template(conversation, num_frames=8, add_generation_prompt=True, tokenize=True, return_dict=True, padding=True, return_tensors="pt").to(model.device)
# Generate
generate_ids = model.generate(**inputs, max_length=50)
processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
Оптимизация модели
Квантование с использованием Bitsandbytes для экономии памяти
Модель можно загрузить в формате с пониженной разрядностью, что значительно снижает нагрузку на память при сохранении производительности исходной модели. Это позволяет эффективно разворачивать модель в условиях ограниченных ресурсов.
Сначала убедитесь, что библиотека bitsandbytes установлена с помощью команды pip install bitsandbytes, и что у вас есть доступ к поддерживаемому библиотекой GPU/ускорителю.
bitsandbytes переписывается для поддержки нескольких бэкендов помимо CUDA. На данный момент реализации для ROCm (GPU AMD) и Intel CPU являются зрелыми, поддержка Intel XPU находится в разработке, а поддержка Apple Silicon ожидается в IV квартале / I квартале. Инструкции по установке и последние обновления бэкендов доступны по этой ссылке.
Мы ценим ваши отзывы, которые помогают выявлять ошибки до полного выпуска! Подробнее и ссылки для обратной связи — в этих документах.
Затем просто загрузите квантованную модель, добавив BitsAndBytesConfig, как показано ниже:
from transformers import LlavaNextVideoForConditionalGeneration
# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16,
)
model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", quantization_config=quantization_config, device_map="auto")Flash-Attention 2 для ускорения генерации
Кроме того, мы можем значительно ускорить инференс модели, используя Flash Attention — более быструю реализацию механизма внимания, применяемого внутри модели.
Сначала убедитесь, что установлена последняя версия Flash Attention 2:
pip install -U flash-attn --no-build-isolation
Также у вас должно быть оборудование, совместимое с Flash-Attention 2. Подробнее об этом можно прочитать в официальной документации репозитория flash attention. FlashAttention-2 можно использовать только тогда, когда модель загружена в формате torch.float16 или torch.bfloat16.
Чтобы загрузить и запустить модель с использованием Flash Attention-2, просто добавьте attn_implementation="flash_attention_2" при загрузке модели, как показано ниже:
from transformers import LlavaNextVideoForConditionalGeneration
model = LlavaNextVideoForConditionalGeneration.from_pretrained(
"llava-hf/LLaVA-NeXT-Video-7B-hf", ,
attn_implementation="flash_attention_2",
).to(0, device_map="auto")LlavaNextVideoConfig
класс transformers.LlavaNextVideoConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneimage_token_index: int = 32001video_token_index: int = 32000projector_hidden_act: str = 'gelu'vision_feature_select_strategy: typing.Literal['default', 'full'] = 'default'vision_feature_layer: int | list[int] = -2multimodal_projector_bias: bool = Truetie_word_embeddings: bool = Falseimage_grid_pinpoints: list | None = Nonespatial_pool_mode: str = 'average'spatial_pool_stride: int = 2image_seq_length: int = 576video_seq_length: int = 288 )
Параметры
- vision_config (
Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации визуального бэкбона. - text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации текстового бэкбона. - image_token_index (
int, необязательный, по умолчанию32001) — Индекс токена изображения, используемый как плейсхолдер для входных изображений. - video_token_index (
int, необязательный, по умолчанию32000) — Индекс токена видео, используемый как плейсхолдер для входных видео. - projector_hidden_act (
str, необязательный, по умолчаниюgelu) — Функция активации, используемая мультимодальным проектором. - vision_feature_select_strategy (
Literal[default, full], необязательный, по умолчаниюdefault) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального базового блока. - vision_feature_layer (
Union[int, list[int]], необязательный, по умолчанию-2) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих слоёв будут склеены в единый набор визуальных признаков. - multimodal_projector_bias (
bool, необязательный, по умолчаниюTrue) — Использовать ли смещение (bias) в мультимодальном проекторе. - tie_word_embeddings (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли связывать веса эмбеддингов согласно маппингуtied_weights_keysмодели. - image_grid_pinpoints (
List, необязательный, по умолчанию[[336, 672], [672, 336], [672, 672], [1008, 336], [336, 1008]]) — Список возможных разрешений для обработки изображений высокого разрешения. Каждый элемент списка должен быть кортежем или списком вида(height, width). - spatial_pool_mode (
str, необязательный, по умолчанию"average") — Режим пулинга для видео. Допустимые значения: “average”, “max” или “conv”. - spatial_pool_stride (
int, необязательный, по умолчанию 2) — Шаг, используемый в слое пулинга для видео. - image_seq_length (
int, необязательный, по умолчанию576) — Длина последовательности для одного эмбеддинга изображения. - video_seq_length (
int, необязательный, по умолчанию288) — Длина последовательности одного видеовстраивания.
Это класс конфигурации для хранения настроек модели LlavaNextVideoModel. Он используется для создания модели Llava Next Video в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели llava-hf/LLaVA-NeXT-Video-7B-hf.
Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.
Пример:
>>> from transformers import LlavaNextVideoForConditionalGeneration, LlavaNextVideoConfig, CLIPVisionConfig, LlamaConfig
>>> # Initializing a CLIP-vision config
>>> vision_config = CLIPVisionConfig()
>>> # Initializing a Llama config
>>> text_config = LlamaConfig()
>>> configuration = LlavaNextVideoConfig(vision_config, text_config)
>>> model = LlavaNextVideoForConditionalGeneration(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configLlavaNextVideoProcessor
класс transformers.LlavaNextVideoProcessor
< source >( video_processor = Noneimage_processor = Nonetokenizer = Nonechat_template = Nonepatch_size = Nonevision_feature_select_strategy = Nonevideo_token = '<video>'image_token = '<image>'num_additional_image_tokens = 0**kwargs )
Параметры
- video_processor (
LlavaNextVideoVideoProcessor) — Обработчик видео является обязательным входным параметром. - image_processor (
LlavaNextImageProcessor) — Обработчик изображений является обязательным входным параметром. - tokenizer (
tokenizer_class) — Токенизатор является обязательным входным параметром. - chat_template (
str) — Jinja-шаблон для преобразования списков сообщений в чате в строку, пригодную для токенизации. - patch_size (
int, необязательный) — Размер патча из визуальной башни. - vision_feature_select_strategy (
str, необязательный) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального базового блока. Должна совпадать со значением в конфигурации модели. - video_token (
str, необязательный, по умолчанию"<video>") — Специальный токен, используемый для обозначения позиции видео. - image_token (
str, необязательный, по умолчанию"<image>") — Специальный токен, используемый для обозначения позиции изображения. - num_additional_image_tokens (
int, необязательный, по умолчанию 0) — Количество дополнительных токенов, добавляемых к эмбеддингам изображения, например CLS (+1). Если у базовой модели нет CLS или других дополнительных токенов, нет необходимости задавать этот аргумент.
Создаёт LlavaNextVideoProcessor, который объединяет видео-процессор, процессор изображений и токенизатор в единый процессор.
LlavaNextVideoProcessor предоставляет все возможности LlavaNextVideoVideoProcessor, LlavaNextImageProcessor и tokenizer_class. Подробнее см. в ~LlavaNextVideoVideoProcessor, ~LlavaNextImageProcessor и ~tokenizer_class.
LlavaNextVideoVideoProcessor
класс transformers.LlavaNextVideoVideoProcessor
< source >( **kwargs: *<class 'transformers.processing_utils.VideosKwargs'> )
Параметры
- do_convert_rgb (
bool, kwargs, optional, по умолчаниюTrue) — Следует ли преобразовать изображение в RGB. - do_resize (
bool, kwargs, optional, по умолчаниюTrue) — Указывает, нужно ли изменять размер изображения. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию{'shortest_edge' -- 224}): Определяет максимальные размеры входных данных для модели. - default_to_square (
bool, kwargs, optional, по умолчаниюFalse) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию3) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисленияPILImageResampling. Влияет только в том случае, еслиdo_resizeустановлено вTrue. - do_rescale (
bool, kwargs, optional, по умолчаниюTrue) — Указывает, следует ли выполнять рескейлинг изображения. - rescale_factor (
float, kwargs, optional, по умолчанию0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, еслиdo_rescaleустановлен вTrue. - do_normalize (
bool, kwargs, optional, по умолчаниюTrue) — Указывает, следует ли нормализовать изображение. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию[0.48145466, 0.4578275, 0.40821073]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, еслиdo_normalizeустановлено вTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию[0.26862954, 0.26130258, 0.27577711]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, еслиdo_normalizeустановлено вTrue. - do_center_crop (
bool, kwargs, optional, по умолчаниюTrue) — Выполнять ли центрированную обрезку изображения. - do_pad (
bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию{'height' -- 224, 'width': 224}): Размер выходного изображения после примененияcenter_crop. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается толькоChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:"channels_first"илиChannelDimension.FIRST: изображение в формате (num_channels, height, width)."channels_last"илиChannelDimension.LAST: изображение в формате (высота, ширина, число каналов)."none"илиChannelDimension.NONE: изображение в формате (height, width).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео. - do_sample_frames (
bool, kwargs, optional, по умолчаниюFalse) — Следует ли извлекать кадры из видео перед обработкой или обрабатывать видео целиком. - video_metadata (
Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None], kwargs) — Метаданные видео, содержащие информацию о общей длительности, fps и общем количестве кадров. Будут использоваться для выборки кадров из видео или вычисления временных меток. Не передавайте метаданные, если не пытаетесь декодировать видео вручную перед обработкой - fps (
Annotated[int | float | None, None], kwargs) — Целевое количество кадров для выборки в секунду приdo_sample_frames=True. - num_frames (
Annotated[int | None, None], kwargs) — Максимальное количество кадров для выборки приdo_sample_frames=True. - return_metadata (
bool, kwargs, optional, по умолчаниюFalse) — Указывает, следует ли возвращать метаданные видео. Метаданные видео — это объект, содержащий информацию о длительности видео, частоте кадров (fps), используемом бэкенде декодирования и т. д. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:'pt': возвращает объектыtorch.TensorPyTorch.'np': возвращает объекты NumPynp.ndarray.
- **kwargs (VideosKwargs, optional) — Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict.
Создает видео-процессор LlavaNextVideoVideoProcessor.
LlavaNextVideoModel
класс transformers.LlavaNextVideoModel
< source >( config: LlavaNextVideoConfig )
Параметры
- config (LlavaNextVideoConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().
Модель Llava-Next, состоящая из визуального бэкбона и языковой модели без заголовка языкового моделирования.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneimage_sizes: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonevision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = Noneuse_cache: bool | None = Nonemm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.modeling_flash_attention_utils.FlashAttentionKwargs'> ) → LlavaNextVideoModelOutputWithPast or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- pixel_values (
torch.Tensorформы(batch_size, num_channels, image_size, image_size), необязательный) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью LlavaNextImageProcessor. Подробности см. в LlavaNextImageProcessor.call() (LlavaNextVideoProcessor использует LlavaNextImageProcessor для обработки изображений). - pixel_values_videos (
torch.Tensorформы(batch_size, num_frames, num_channels, frame_size, frame_size), необязательный) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью LlavaNextVideoVideoProcessor. Подробности см. в LlavaNextVideoVideoProcessor.call() (LlavaNextVideoProcessor использует LlavaNextVideoVideoProcessor для обработки видео). - image_sizes (
torch.LongTensorформы(batch_size, 2), необязательный) — Размеры изображений в батче, представленные как (высота, ширина) для каждого изображения. - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_select_strategy (
str, необязательный, по умолчанию"default") — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального бэкбона. Может принимать значение"default"или"full". Если указано"default", токен CLS удаляется из визуальных признаков. Если указано"full", используются полные визуальные признаки. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values). - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], необязательный) — Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные результаты для соответствующей модальности. Каждый закодированный результат представляет собой кортеж вида (pooler_output, необязательный:last_hidden_states, необязательный:hidden_states, необязательный:attentions)pooler_outputформы(batch_size, sequence_length, hidden_size), необязательный) — последовательность мультимодальных признаков энкодера, объединённых с текстовыми эмбеддингами.
Возвращает
LlavaNextVideoModelOutputWithPast или tuple(torch.Tensor)
LlavaNextVideoModelOutputWithPast или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (LlavaNextVideoConfig) и входных данных.
Метод forward модели LlavaNextVideoModel переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.Если используется
past_key_values, выводится только последнее скрытое состояние последовательностей формы(batch_size, 1, hidden_size).past_key_values (
Cache, необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход
past_key_values) для ускорения последовательного декодирования.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
image_hidden_states (
torch.Tensor, необязательный) —torch.Tensorразмера(batch_size, num_images, sequence_length, hidden_size). image_hidden_states модели, полученные визуальным энкодером после проекции последнего скрытого состояния.video_hidden_states (
torch.Tensor, необязательный) —torch.Tensorразмера(batch_size * num_frames, num_videos, sequence_length, hidden_size). video_hidden_states модели, полученные визуальным энкодером после проекции последнего скрытого состояния.
get_image_features
< source >( pixel_values: Tensorimage_sizes: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Параметры
- pixel_values (
torch.Tensorформы(batch_size, num_patches, channels, height, width)) — Тензоры, соответствующие входным изображениям. - image_sizes (
torch.Tensorформы(num_images, 2)) — Фактический размер каждого изображения (H, W). - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - image_sizes (
torch.Tensorформы(batch_size, 2)) — Размеры изображений в батче, представленные как (высота, ширина) для каждого изображения. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_select_strategy (
str, необязательный) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального бэкбона. Может принимать значение"default"или"full"
Возвращает
BaseModelOutputWithPooling или tuple(torch.Tensor)
Объект BaseModelOutputWithPooling или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (LlavaNextVideoConfig) и входных данных.
Получает последние скрытые состояния изображений из визуальной башни и применяет мультимодальную проекцию.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.pooler_output (
torch.Tensorформы(batch_size, hidden_size)) — Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
get_placeholder_mask
< source >( input_ids: LongTensorinputs_embeds: Tensorimage_features: typing.Optional[torch.Tensor] = Nonevideo_features: typing.Optional[torch.Tensor] = None )
Получает маску мультимодальных плейсхолдеров из input_ids или inputs_embeds и проверяет, что количество токенов-плейсхолдеров равно длине мультимодальных признаков. Если длины различаются, возникает ошибка.
get_video_features
< source >( pixel_values_videos: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Параметры
- pixel_values_videos (
torch.Tensor]формы(batch_size, num_frames, channels, height, width)) — Тензоры, соответствующие входному видео. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_select_strategy (
str, необязательный) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального бэкбона. Может принимать значение"default"или"full"
Возвращает
BaseModelOutputWithPooling или tuple(torch.Tensor)
Объект BaseModelOutputWithPooling или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (LlavaNextVideoConfig) и входных данных.
Получает последние скрытые состояния видео из визуальной башни и применяет мультимодальную проекцию.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.pooler_output (
torch.Tensorформы(batch_size, hidden_size)) — Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
pack_image_features
< source >( image_featuresimage_sizesvision_feature_select_strategyimage_newline = None )
Параметры
- image_features (
list[torch.Tensor]длиной num_images, каждый тензор имеет форму(num_patches, image_length, embed_dim)) — Список тензоров признаков изображений, каждый из которых содержит все визуальные признаки всех патчей. - image_sizes (
torch.Tensorформы(num_images, 2)) — Фактический размер каждого изображения (H, W). - vision_feature_select_strategy (
str) — Стратегия отбора признаков, используемая для выбора визуального признака из визуального базового блока. - image_newline (
torch.Tensorформы(embed_dim)) — Вектор встраивания новой строки.
Измените размер, удалите заполнители, а затем упакуйте каждый image_feature в единый тензор image_features, содержащий все визуальные векторы.
LlavaNextVideoForConditionalGeneration
класс transformers.LlavaNextVideoForConditionalGeneration
< source >( config: LlavaNextVideoConfig )
Параметры
- config (LlavaNextVideoConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().
Модель LLAVA-NeXT, состоящая из визуального бэкбона и языковой модели.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneimage_sizes: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonevision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → LlavaNextVideoCausalLMOutputWithPast or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- pixel_values (
torch.Tensorформы(batch_size, num_channels, image_size, image_size), необязательный) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью LlavaNextImageProcessor. Подробности см. в LlavaNextImageProcessor.call() (LlavaNextVideoProcessor использует LlavaNextImageProcessor для обработки изображений). - pixel_values_videos (
torch.Tensorформы(batch_size, num_frames, num_channels, frame_size, frame_size), необязательный) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью LlavaNextVideoVideoProcessor. Подробности см. в LlavaNextVideoVideoProcessor.call() (LlavaNextVideoProcessor использует LlavaNextVideoVideoProcessor для обработки видео). - image_sizes (
torch.LongTensorформы(batch_size, 2), необязательный) — Размеры изображений в батче, представленные как (высота, ширина) для каждого изображения. - attention_mask (
torch.Tensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- position_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона[0, config.n_positions - 1]. - past_key_values (
~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно этоpast_key_values, возвращённые моделью на предыдущем этапе декодирования, когдаuse_cache=Trueилиconfig.use_cache=True.В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если
past_key_valuesне переданы, по умолчанию будет инициализирован DynamicCache.Модель будет выводить тот же формат кэша, который был передан на вход.
Если используются
past_key_values, ожидается, что пользователь передаст только необработанныеinput_ids(те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы(batch_size, unprocessed_length), а не всеinput_idsформы(batch_size, sequence_length). - inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_select_strategy (
str, необязательный) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального бэкбона. Может принимать значение"default"или"full". - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне[0, ..., config.vocab_size]или быть равны -100 (см. docstringinput_ids). Токены с индексами, установленными в-100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне[0, ..., config.vocab_size]. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаются состояния ключей и значенийpast_key_values, которые можно использовать для ускорения декодирования (см.past_key_values). - logits_to_keep (
Union[int, torch.Tensor], необязательный, по умолчанию0) — Если передано значение типаint, вычисляет logits для последнихlogits_to_keepтокенов. Если указано0, logits вычисляются для всехinput_ids(особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типаtorch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности). - mm_encoder_outputs (
dict[str, ~modeling_outputs.BaseModelOutputWithPooling], необязательный) — Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные результаты для соответствующей модальности. Каждый закодированный результат представляет собой кортеж вида (pooler_output, необязательный:last_hidden_states, необязательный:hidden_states, необязательный:attentions)pooler_outputформы(batch_size, sequence_length, hidden_size), необязательный) — последовательность мультимодальных признаков энкодера, объединённых с текстовыми эмбеддингами.
Возвращает
LlavaNextVideoCausalLMOutputWithPast или tuple(torch.Tensor)
LlavaNextVideoCausalLMOutputWithPast или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (LlavaNextVideoConfig) и входных данных.
Метод forward класса LlavaNextVideoForConditionalGeneration переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери языковой модели (для предсказания следующего токена).logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).past_key_values (
Cache, необязательный, возвращается при передачеuse_cache=Trueили когдаconfig.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход
past_key_values) для ускорения последовательного декодирования.hidden_states (
tuple[torch.Tensor], необязательный, возвращается при передачеoutput_hidden_states=Trueили когдаconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple[torch.Tensor], необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
image_hidden_states (
torch.Tensor, необязательный) —torch.Tensorразмера (batch_size * num_patches, num_images, sequence_length, hidden_size)`. image_hidden_states модели, полученные после проекции последнего скрытого состояния, сгенерированного визуальным энкодером.video_hidden_states (
torch.Tensor, необязательный) —torch.Tensorразмера(batch_size * num_frames, num_videos, sequence_length, hidden_size). video_hidden_states модели, полученные визуальным энкодером после проекции последнего скрытого состояния.
Пример:
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import av
>>> from transformers import AutoProcessor, LlavaNextVideoForConditionalGeneration
>>> def read_video_pyav(container, indices):
... '''
... Decode the video with PyAV decoder.
... Args:
... container (`av.container.input.InputContainer`): PyAV container.
... indices (`list[int]`): List of frame indices to decode.
... Returns:
... result (np.ndarray): np array of decoded frames of shape (num_frames, height, width, 3).
... '''
... frames = []
... container.seek(0)
... start_index = indices[0]
... end_index = indices[-1]
... for i, frame in enumerate(container.decode(video=0)):
... if i > end_index:
... break
... if i >= start_index and i in indices:
... frames.append(frame)
... return np.stack([x.to_ndarray(format="rgb24") for x in frames])
>>> model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf", device_map="auto")
>>> processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> prompt = "USER: <video>\nWhy is this video funny? ASSISTANT:"
>>> video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
>>> container = av.open(video_path)
>>> # sample uniformly 8 frames from the video (model was trained with 32 frames per video, but this video is short)
>>> total_frames = container.streams.video[0].frames
>>> indices = np.arange(0, total_frames, total_frames / 8).astype(int)
>>> clip = read_video_pyav(container, indices)
>>> inputs_video = processor(text=prompt, videos=clip, return_tensors="pt").to(model.device)
>>> # load an image to generate from an image
>>> prompt = "USER:<image>\nWhat is shown in this image? ASSISTANT:"
>>> url = "https://www.ilankelman.org/stopsigns/australia.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> inputs_image = processor(text=prompt, images=image, return_tensors="pt").to(model.device)
>>> # Generate from video
>>> generate_ids = model.generate(**inputs_video, max_length=50)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"USER:\nWhy is this video funny? ASSISTANT: The humor in this video comes from the unexpected and endearing sight of a baby wearing glasses and (...)"
>>> # Generate from image
>>> generate_ids = model.generate(**inputs_image, max_length=30)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"USER: \nWhat's the content of the image? ASSISTANT: The image shows a red stop sign on a pole, with a traditional Chinese archway (...)"get_image_features
< source >( pixel_values: Tensorimage_sizes: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Параметры
- pixel_values (
torch.Tensorформы(batch_size, num_patches, channels, height, width)) — Тензоры, соответствующие входным изображениям. - image_sizes (
torch.Tensorформы(num_images, 2)) — Фактический размер каждого изображения (H, W). - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - image_sizes (
torch.Tensorформы(batch_size, 2)) — Размеры изображений в батче, представленные как (высота, ширина) для каждого изображения. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_select_strategy (
str, необязательный) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального бэкбона. Может принимать значение"default"или"full"
Возвращает
BaseModelOutputWithPooling или tuple(torch.Tensor)
Объект BaseModelOutputWithPooling или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (LlavaNextVideoConfig) и входных данных.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.pooler_output (
torch.Tensorформы(batch_size, hidden_size)) — Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример:
>>> from PIL import Image
>>> from transformers import AutoProcessor, LlavaNextVideoForConditionalGeneration
>>> model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]get_video_features
< source >( pixel_values_videos: Tensorvision_feature_layer: int | list[int] | None = Nonevision_feature_select_strategy: str | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Параметры
- pixel_values_videos (
torch.Tensor]формы(batch_size, num_frames, channels, height, width)) — Тензоры, соответствующие входному видео. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_layer (
Union[int, list[int]], необязательный) — Индекс слоя, из которого извлекаются визуальные признаки. Если указано несколько индексов, визуальные признаки соответствующих индексов будут склеены для формирования визуальных признаков. - vision_feature_select_strategy (
str, необязательный) — Стратегия отбора признаков, используемая для выбора визуальных признаков из визуального бэкбона. Может принимать значение"default"или"full"
Возвращает
BaseModelOutputWithPooling или tuple(torch.Tensor)
Объект BaseModelOutputWithPooling или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (LlavaNextVideoConfig) и входных данных.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.pooler_output (
torch.Tensorформы(batch_size, hidden_size)) — Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.hidden_states (
tuple(torch.Tensor), optional, возвращается, если переданоoutput_hidden_states=Trueили еслиconfig.output_hidden_states=True) — кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple(torch.Tensor), необязательный, возвращается при передачеoutput_attentions=Trueили приconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Пример:
>>> from PIL import Image
>>> from transformers import AutoProcessor, LlavaNextVideoForConditionalGeneration
>>> model = LlavaNextVideoForConditionalGeneration.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> processor = AutoProcessor.from_pretrained("llava-hf/LLaVA-NeXT-Video-7B-hf")
>>> messages = [
... {
... "role": "user", "content": [
... {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
... {"type": "text", "text": "Where is the cat standing?"},
... ]
... },
... ]
>>> inputs = processor.apply_chat_template(
... messages,
... tokenize=True,
... return_dict=True,
... return_tensors="pt",
... add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]