# PE Ses Video

[PE Audio Video](https://huggingface.co/papers/2504.13181), Meta'nın Perception Encoder ailesinin ortak ses–video dalıdır. Ses ve video akışlarını ortak bir metin kulesiyle birlikte kodlayarak, tek bir ileri geçişten ses-metin, video-metin, ses-video ve ses+metin-video olmak üzere her ikili kombinasyon için kontrastif gömme (embedding) üretir.

Model, içsel olarak video özellik dizisini komşu-yan komşu (nearest-neighbor) interpolasyonu yoluyla sesin zamansal çözünürlüğüne hizalar; böylece örnek hızlarından farklı kare hızlarına sahip klipler senkron kalır. Metin kodlayıcı ağırlıkları, ses ve video dalları arasında ortak (tied) olarak kullanılır.

Tüm resmi PE Audio Video checkpoint'lerini [perception-encoder-audio-visual](https://huggingface.co/collections/facebook/perception-encoder-audio-visual) koleksiyonunda bulabilirsiniz.

## Hızlı Başlangıç

```py
import torch
from datasets import load_dataset
from transformers import AutoProcessor, PeAudioVideoModel
from transformers.video_utils import load_video

processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeAudioVideoModel.from_pretrained(
    "facebook/pe-av-large",
    device_map="auto",
)

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio = ds[0]["audio"]["array"]
video, _ = load_video("https://huggingface.co/datasets/hf-internal-testing/fixtures_videos/resolve/main/tennis.mp4")
labels = ["a person playing tennis with background crowd", "a dog barking in a park"]

audio_inputs = processor.feature_extractor(audio, sampling_rate=48_000, return_tensors="pt").to(model.device)
video_inputs = processor.video_processor(video, num_frames=16, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**audio_inputs, **video_inputs, **text_inputs}

with torch.no_grad():
    outputs = model(**inputs)

print("audio-text:", outputs.logits_audio_text.sigmoid().tolist())
print("video-text:", outputs.logits_video_text.sigmoid().tolist())
print("audio-video:", outputs.logits_audio_video.sigmoid().tolist())
```

## Kullanım ipuçları ve notlar

- [PeAudioVideoModel](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoModel), `input_ids`, `input_values` ve `pixel_values_videos` parametrelerinden en az ikisini gerektirir; yalnızca ikisi sağlanırsa istek, yalnızca ses veya yalnızca video alt modeline yönlendirilir. Üçü de sağlandığında ortak ses-video-metin yolu devreye girer ve `PeAudioVideoOutput` içindeki tam logit matrisleri seti üretilir.
- Ses için `padding_mask`, video için ise `padding_mask_videos` eş zamanlı olarak kullanılır. Bunlar bağımsız maskelerdir; metin kulesi için ayrılmış olan `attention_mask` ile karıştırmayın.
- Ses–video hizalaması, `_align_video_hidden_state` içinde parti başına öğe bazında çalıştığından, ses/video uzunlukları çok farklı olan partiler vektörleştirme yerine yineleme yapar. Verimliliği korumak için parti öğelerini kabaca dengeli tutun.
- Metin kulesunun ağırlıkları, `_tied_weights_keys` aracılığıyla dallar arasında bağlanır — ses ve video bölümleri için ayrı metin kodlayıcıları yüklemeye çalışmayın.

## PeAudioVideoConfig[[transformers.PeAudioVideoConfig]]

#### transformers.PeAudioVideoConfig[[transformers.PeAudioVideoConfig]]

```python
transformers.PeAudioVideoConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, audio_video_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, tie_word_embeddings: bool = True)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/configuration_pe_audio_video.py#L78)

**Parametreler:**

text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *isteğe bağlı*) : Metin omurgasının yapılandırma nesnesi veya sözlüğü.

audio_video_config (`dict` veya `PreTrainedConfig`, *isteğe bağlı*) : Ses-video kodlayıcı bileşeni için yapılandırma.

tie_word_embeddings (`bool`, *isteğe bağlı*, varsayılan `True`) : Ağırlık gömme bağlamalarının, modelin `tied_weights_keys` eşlemesine göre yapılıp yapılmayacağını belirtir.

Bu, bir PeAudioVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pe Audio Video modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, [facebook/pe-av-large](https://huggingface.co/facebook/pe-av-large) yapılandırmasına benzer bir yapılandırma elde edilmesini sağlar.

Yapılandırma nesneleri [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) sınıfından türetilir ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) belgesini okuyun.

```python
>>> from transformers import PeAudioVideoModel, PeAudioVideoConfig

>>> # Initializing a PeAudioVideoModel style configuration
>>> configuration = PeAudioVideoConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## PeAudioVideoEncoderConfig[[transformers.PeAudioVideoEncoderConfig]]

#### transformers.PeAudioVideoEncoderConfig[[transformers.PeAudioVideoEncoderConfig]]

```python
transformers.PeAudioVideoEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, video_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, hidden_size: int = 1792, intermediate_size: int = 4800, num_hidden_layers: int = 6, num_attention_heads: int = 14, num_key_value_heads: int | None = None, head_dim: int = 128, hidden_act: str = 'silu', max_position_embeddings: int = 10000, initializer_range: float = 0.02, rms_norm_eps: float = 1e-05, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: float | int = 0.0)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/configuration_pe_audio_video.py#L26)

**Parametreler:**

audio_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *isteğe bağlı*) : Ses omurgasının yapılandırma nesnesi veya sözlüğü.

video_config (`Union[PreTrainedConfig, dict]`, *isteğe bağlı*) : Video kodlayıcı yapılandırması. Bir sözlük sağlanırsa, [PeVideoEncoderConfig](/docs/transformers/main/tr/model_doc/pe_video#transformers.PeVideoEncoderConfig) örneğini oluşturmak için kullanılır.

hidden_size (`int`, *isteğe bağlı*, varsayılan `1792`) : Gizli temsillerin boyutu.

intermediate_size (`int`, *isteğe bağlı*, varsayılan `4800`) : MLP temsil boyutu.

num_hidden_layers (`int`, *isteğe bağlı*, varsayılan `6`) : Transformer decoder'ındaki gizli katman sayısı.

num_attention_heads (`int`, *isteğe bağlı*, varsayılan `14`) : Transformer decoder'ındaki her dikkat katmanı için dikkat başı sayısı.

num_key_value_heads (`int`, *isteğe bağlı*) : Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır. `num_key_value_heads=num_attention_heads` ise model Multi Head Attention (MHA) kullanır, `num_key_value_heads=1` ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için [bu makaleye](https://huggingface.co/papers/2305.13245) göz atın. Belirtilmezse, varsayılan olarak `num_attention_heads` kullanılır.

head_dim (`int`, *isteğe bağlı*, varsayılan `128`) : Dikkat başı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır

hidden_act (`str`, *isteğe bağlı*, varsayılan `silu`) : Dekoderdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, `"gelu"`, `"relu"`, `"silu"` vb.

max_position_embeddings (`int`, *isteğe bağlı*, varsayılan `10000`) : Bu modelin kullanılabileceği maksimum dizi uzunluğu.

initializer_range (`float`, *opsiyonel*, varsayılan `0.02`) : Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.

rms_norm_eps (`float`, *opsiyonel*, varsayılan `1e-05`) : rms normalizasyon katmanları tarafından kullanılan epsilon.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *isteğe bağlı*) : RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, `rope_theta` için bir değer içermeli ve daha uzun `max_position_embeddings` ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan parametreleri isteğe bağlı olarak içermelidir.

attention_bias (`bool`, *isteğe bağlı*, varsayılan `False`) : Kendi kendine dikkat (self-attention) sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında sapma (bias) kullanılıp kullanılmayacağı.

attention_dropout (`Union[float, int]`, *isteğe bağlı*, varsayılan `0.0`) : Dikkat olasılıkları için dropout oranı.

Bu, bir PeAudioVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pe Audio Video modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılanlarla bir yapılandırma örneği oluşturmak, [facebook/pe-av-large](https://huggingface.co/facebook/pe-av-large) yapılandırmasına benzer bir yapılandırma elde edilmesini sağlar.

Yapılandırma nesneleri [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) sınıfından türetilir ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için [PreTrainedConfig](/docs/transformers/main/tr/main_classes/configuration#transformers.PreTrainedConfig) belgesini okuyun.

```python
>>> from transformers import PeAudioVideoEncoder, PeAudioVideoEncoderConfig

>>> # Initializing a PeAudioVideoEncoder style configuration
>>> configuration = PeAudioVideoEncoderConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioVideoEncoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## PeAudioVideoProcessor[[transformers.PeAudioVideoProcessor]]

#### transformers.PeAudioVideoProcessor[[transformers.PeAudioVideoProcessor]]

```python
transformers.PeAudioVideoProcessor(feature_extractor = None, video_processor = None, tokenizer = None, **kwargs)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/processing_pe_audio_video.py#L17)

## PeAudioVideoEncoder[[transformers.PeAudioVideoEncoder]]

#### transformers.PeAudioVideoEncoder[[transformers.PeAudioVideoEncoder]]

```python
transformers.PeAudioVideoEncoder(config: PeAudioVideoEncoderConfig)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L554)

**Parametreler:**

config ([PeAudioVideoEncoderConfig](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoEncoderConfig)) : Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) yöntemine göz atın.

PeAudioVideo Encoder modeli.

Bu model [PreTrainedModel](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel) sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden ayarlama, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

#### forward[[transformers.PeAudioVideoEncoder.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, padding_mask: typing.Optional[torch.Tensor] = None, padding_mask_videos: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L573)

**Parametreler:**

input_values (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Girdi ham ses dalgasının float değerleri. Değerler, bir `.flac` veya `.wav` ses dosyasını `list[float]` tipinde bir diziye, `numpy.ndarray` veya `torch.Tensor` içine yükleyerek elde edilebilir; *örneğin* torchcodec kütüphanesi (`pip install torchcodec`) veya soundfile kütüphanesi (`pip install soundfile`) aracılığıyla. Diziyi `input_values` için hazırlamak için, `torch.Tensor` tipinde bir tensöre dolgu ve dönüştürme amacıyla [AutoProcessor](/docs/transformers/main/tr/model_doc/auto#transformers.AutoProcessor) kullanılmalıdır. Ayrıntılar için [PeAudioVideoProcessor.__call__()](/docs/transformers/main/tr/main_classes/processors#transformers.ProcessorMixin.__call__) bölümüne bakın.

pixel_values_videos (`torch.Tensor`, şekli `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *isteğe bağlı*) : Girdi videosuna karşılık gelen tensörler. Videolar için piksel değerleri [PeVideoVideoProcessor](/docs/transformers/main/tr/model_doc/pe_video#transformers.PeVideoVideoProcessor) kullanılarak elde edilebilir. Ayrıntılar için [PeVideoVideoProcessor.__call__()](/docs/transformers/main/tr/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) adresine bakın ([PeAudioVideoProcessor](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoProcessor), videoları işlemek için [PeVideoVideoProcessor](/docs/transformers/main/tr/model_doc/pe_video#transformers.PeVideoVideoProcessor) kullanır).

padding_mask (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : `input_values`'in dolgu örneklerinde dikkat işleminin uygulanmasını önlemek için maske. `[0, 1]` aralığında seçilen maske değerleri: - **maske uygulanmamış** örnekler için 1, - **maske uygulanmış** örnekler için 0.

padding_mask_videos (`torch.Tensor`, şekli `(batch_size, num_frames)`, *isteğe bağlı*) : Dolgu video karelerinde dikkat işleminin uygulanmamasını sağlayan maske. `[0, 1]` aralığında seçilen maske değerleri:  - **maske uygulanmamış** kareler için 1, - **maske uygulanmış** kareler için 0.

**Dönüş:** `PeAudioVideoEncoderOutput` veya `tuple(torch.Tensor)`

`PeAudioVideoEncoderOutput` veya bir `torch.Tensor` demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırmaya ([PeAudioVideoConfig](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

[PeAudioVideoEncoder](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoEncoder) forward metodu, `__call__` özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

- **last_hidden_state** (`torch.Tensor`, şekli `(batch_size, sequence_length, hidden_size)`) -- Modelin son katmanının çıktısındaki gizli durumlar dizisi.
- **pooler_output** (`torch.Tensor`, şekli `(batch_size, hidden_size)`) -- Sıralamanın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlardan geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonundan geçirildikten sonraki halini döndürür. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.
- **hidden_states** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_hidden_states=True` geçirildiğinde veya `config.output_hidden_states=True` olduğunda döndürülür) -- `torch.Tensor` (gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için bir tane) içeren, `(batch_size, sequence_length, hidden_size)` biçiminde bir demet.

  Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
- **attentions** (`tuple(torch.Tensor)`, *isteğe bağlı*, `output_attentions=True` geçirildiğinde veya `config.output_attentions=True` olduğunda döndürülür) -- `torch.Tensor` (her katman için bir tane) içeren bir tuple, şekli `(batch_size, num_heads, sequence_length, sequence_length)`.

  Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat kafalarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
- **audio_model_output** (`BaseModelOutputWithPooling`, *isteğe bağlı*) -- Ses kodlayıcısının çıktısı; son gizli durumu, havuzlanmış çıktıyı ve isteğe bağlı gizli durumları ile dikkatleri içerir. Ayrıntılar için [BaseModelOutputWithPooling](/docs/transformers/main/tr/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) bölümüne bakın.
- **video_model_output** (`BaseModelOutputWithPooling`, *isteğe bağlı*) -- Video kodlayıcısının çıktısı; son gizli durumu, havuzlanmış çıktıyı ve isteğe bağlı gizli durumları ile dikkatleri içerir. Ayrıntılar için [BaseModelOutputWithPooling](/docs/transformers/main/tr/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) bölümüne bakın.

## PeAudioVideoModel[[transformers.PeAudioVideoModel]]

#### transformers.PeAudioVideoModel[[transformers.PeAudioVideoModel]]

```python
transformers.PeAudioVideoModel(config: PeAudioVideoConfig)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L738)

#### forward[[transformers.PeAudioVideoModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, padding_mask_videos: typing.Optional[torch.Tensor] = None, padding_mask: typing.Optional[torch.Tensor] = None, return_loss = False, **kwargs)
```

[Kaynak](https://github.com/huggingface/transformers/blob/main/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L879)

**Parametreler:**

input_ids (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Sözlükteki girdi dizisi token'larının indeksleri. Dolgu (padding) varsayılan olarak yok sayılır. İndeksler [AutoTokenizer](/docs/transformers/main/tr/model_doc/auto#transformers.AutoTokenizer) kullanılarak elde edilebilir. Ayrıntılar için [PreTrainedTokenizer.encode()](/docs/transformers/main/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) ve [PreTrainedTokenizer.__call__()](/docs/transformers/main/tr/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) yöntemlerine bakın. [Girdi ID'leri nelerdir?](../glossary#input-ids)

pixel_values_videos (`torch.Tensor`, şekli `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *isteğe bağlı*) : Girdi videosuna karşılık gelen tensörler. Videolar için piksel değerleri [PeVideoVideoProcessor](/docs/transformers/main/tr/model_doc/pe_video#transformers.PeVideoVideoProcessor) kullanılarak elde edilebilir. Ayrıntılar için [PeVideoVideoProcessor.__call__()](/docs/transformers/main/tr/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) adresine bakın ([PeAudioVideoProcessor](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoProcessor), videoları işlemek için [PeVideoVideoProcessor](/docs/transformers/main/tr/model_doc/pe_video#transformers.PeVideoVideoProcessor) kullanır).

input_values (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Girdi ham ses dalgasının float değerleri. Değerler, bir `.flac` veya `.wav` ses dosyasını `list[float]` tipinde bir diziye, `numpy.ndarray` veya `torch.Tensor` içine yükleyerek elde edilebilir; *örneğin* torchcodec kütüphanesi (`pip install torchcodec`) veya soundfile kütüphanesi (`pip install soundfile`) aracılığıyla. Diziyi `input_values` için hazırlamak için, `torch.Tensor` tipinde bir tensöre dolgu ve dönüştürme amacıyla [AutoProcessor](/docs/transformers/main/tr/model_doc/auto#transformers.AutoProcessor) kullanılmalıdır. Ayrıntılar için [PeAudioVideoProcessor.__call__()](/docs/transformers/main/tr/main_classes/processors#transformers.ProcessorMixin.__call__) bölümüne bakın.

attention_mask (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : Dolgu (padding) token indekslerinde dikkat (attention) işleminin uygulanmamasını sağlayan maske. `[0, 1]` aralığında seçilen maske değerleri:  - **maske uygulanmayan** tokenlar için 1, - **maske uygulanan** tokenlar için 0.  [Dikkat maskeleri nelerdir?](../glossary#attention-mask)

padding_mask_videos (`torch.Tensor`, şekli `(batch_size, num_frames)`, *isteğe bağlı*) : Dolgu video karelerinde dikkat işleminin uygulanmamasını sağlayan maske. `[0, 1]` aralığında seçilen maske değerleri:  - **maske uygulanmamış** kareler için 1, - **maske uygulanmış** kareler için 0.

padding_mask (`torch.Tensor`, şekli `(batch_size, sequence_length)`, *isteğe bağlı*) : `input_values`'in dolgu örneklerinde dikkat işleminin uygulanmasını önlemek için maske. `[0, 1]` aralığında seçilen maske değerleri: - **maske uygulanmamış** örnekler için 1, - **maske uygulanmış** örnekler için 0.

return_loss (`bool`, *isteğe bağlı*) : Kaybın (loss) döndürülüp döndürülmeyeceği.

**Dönüş:** `PeAudioVideoOutput` veya `tuple(torch.Tensor)`

`PeAudioVideoOutput` veya `torch.Tensor` bir demeti (eğer `return_dict=False` geçirildiyse veya `config.return_dict=False` ise), yapılandırmaya ([PeAudioVideoConfig](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoConfig)) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

[PeAudioVideoModel](/docs/transformers/main/tr/model_doc/pe_audio_video#transformers.PeAudioVideoModel) forward metodu, `__call__` özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine `Module` örneğini çağırmak gerekir; çünkü ilki ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

- **audio_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Ses modallığı gömme değerleri. Şekil `(batch_size, sequence_length, hidden_size)`.
- **video_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Video modu gömme değerleri. Şekil `(batch_size, sequence_length, hidden_size)`.
- **audio_video_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Füzyon modülü tarafından üretilen ortak ses-video gömümleri. Biçim `(batch_size, sequence_length, hidden_size)`.
- **text_audio_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Birleşik metin-ses gömlemeleri. Biçim `(batch_size, sequence_length, hidden_size)`.
- **text_video_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Ortak metin-video gömme değerleri. Biçim `(batch_size, sequence_length, hidden_size)`.
- **text_audio_video_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Üç modu birleştiren ortak metin-ses-video gömme vektörleri. Şekil `(batch_size, sequence_length, hidden_size)`.
- **audio_plus_text_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Birleştirilmiş ses ve metin gömme değerleri (ör. birleştirme veya toplamsal füzyon). Biçim `(batch_size, sequence_length, hidden_size)`.
- **video_plus_text_embeds** (`torch.Tensor`, *isteğe bağlı*) -- Birleşik video ve metin gömme değerleri. Biçim `(batch_size, sequence_length, hidden_size)`.
- **text_outputs** (`MaskedLMOutput`, *isteğe bağlı*) -- Metin kodlayıcısının model çıktıları. Gizli durumları, dikkatleri ve isteğe bağlı olarak kaybı içerir.
- **audio_outputs** (`BaseModelOutputWithPooling`, *isteğe bağlı*) -- Ses kodlayıcısının model çıktıları, son gizli durumu ve havuzlanmış çıktıyı içerir.
- **video_outputs** (`BaseModelOutputWithPooling`, *isteğe bağlı*) -- Son gizli durumu ve havuzlanmış çıktıyı içeren video kodlayıcısının model çıktıları.
- **audio_video_outputs** (`BaseModelOutputWithPooling`, *isteğe bağlı*) -- Ortak ses-video kodlayıcısının model çıktıları.
- **logits_audio_text** (`torch.Tensor`, *isteğe bağlı*) -- Ses ve metin gömlemleri arasındaki benzerlik logitleri. Biçim `(batch_size, batch_size)`.
- **logits_video_text** (`torch.Tensor`, *isteğe bağlı*) -- Video ve metin gömme vektörleri arasındaki benzerlik logitleri. Şekil `(batch_size, batch_size)`.
- **logits_audio_video** (`torch.Tensor`, *isteğe bağlı*) -- Ses ve video gömme vektörleri arasındaki benzerlik logitleri. Şekil `(batch_size, batch_size)`.
- **logits_audio_video_text** (`torch.Tensor`, *isteğe bağlı*) -- Ses, video ve metin modaliteleri arasındaki benzerlik logitleri.
- **logits_audio_plus_text_video** (`torch.Tensor`, *isteğe bağlı*) -- Füzyon (ses + metin) gömlemleri ile video gömlemleri arasındaki benzerlik logitleri.
- **logits_video_plus_text_audio** (`torch.Tensor`, *isteğe bağlı*) -- Füzyon (video + metin) gömlemleri ile ses gömlemleri arasındaki benzerlik logitleri.
- **audio_text_loss** (`torch.Tensor`, *isteğe bağlı*) -- Ses ve metin temsilleri arasında hesaplanan kontrastif kayıp.
- **video_text_loss** (`torch.Tensor`, *isteğe bağlı*) -- Video ve metin temsilleri arasında hesaplanan kontrastif kayıp.
- **audio_video_loss** (`torch.Tensor`, *isteğe bağlı*) -- Ses ve video temsilleri arasında hesaplanan kontrastif kayıp.
- **audio_video_text_loss** (`torch.Tensor`, *isteğe bağlı*) -- Ses, video ve metin modaliteleri üzerindeki ortak kayıp.
- **audio_plus_text_video_loss** (`torch.Tensor`, *isteğe bağlı*) -- Füzyonlanmış (ses + metin) temsilleri ile video arasındaki kayıp.
- **video_plus_text_audio_loss** (`torch.Tensor`, *isteğe bağlı*) -- Füzyonlanmış (video + metin) temsilleri ile ses arasındaki kayıp.
- **loss** (`torch.Tensor`, *isteğe bağlı*) -- Tüm modallara özgü kayıpların birleşik kaybı.