Transformers documentation
PE Ses Video
Bu model 2025-04-17 tarihinde HF papers'ta yayımlandı ve 2025-12-16 tarihinde Hugging Face Transformers'a katkıda bulunuldu. Bu model 2025-04-17 tarihinde yayınlandı ve 2025-12-16 tarihinde Hugging Face Transformers'a eklendi.
PE Ses Video
PE Audio Video, Meta'nın Perception Encoder ailesinin ortak ses–video dalıdır. Ses ve video akışlarını ortak bir metin kulesiyle birlikte kodlayarak, tek bir ileri geçişten ses-metin, video-metin, ses-video ve ses+metin-video olmak üzere her ikili kombinasyon için kontrastif gömümler üretir.
Model, içsel olarak video özellik dizisini en yakın komşu interpolasyonu yoluyla sesin zamansal çözünürlüğüne hizalar; bu sayede örnek hızlarından farklı kare hızlarına sahip klipler senkron kalır. Metin kodlayıcı ağırlıkları, ses ve video dalları arasında ortak kullanılır.
Tüm resmi PE Audio Video checkpoint'lerini perception-encoder-audio-visual koleksiyonunda bulabilirsiniz.
Hızlı Başlangıç
import torch
from datasets import load_dataset
from transformers import AutoProcessor, PeAudioVideoModel
from transformers.video_utils import load_video
processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeAudioVideoModel.from_pretrained(
"facebook/pe-av-large",
device_map="auto",
)
ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio = ds[0]["audio"]["array"]
video, _ = load_video("https://huggingface.co/datasets/hf-internal-testing/fixtures_videos/resolve/main/tennis.mp4")
labels = ["a person playing tennis with background crowd", "a dog barking in a park"]
audio_inputs = processor.feature_extractor(audio, sampling_rate=48_000, return_tensors="pt").to(model.device)
video_inputs = processor.video_processor(video, num_frames=16, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**audio_inputs, **video_inputs, **text_inputs}
with torch.no_grad():
outputs = model(**inputs)
print("audio-text:", outputs.logits_audio_text.sigmoid().tolist())
print("video-text:", outputs.logits_video_text.sigmoid().tolist())
print("audio-video:", outputs.logits_audio_video.sigmoid().tolist())Kullanım ipuçları ve notlar
- PeAudioVideoModel,
input_ids,input_valuesvepixel_values_videosparametrelerinden en az ikisini gerektirir; yalnızca ikisi sağlanırsa istek, yalnızca ses veya yalnızca video alt modeline yönlendirilir. Üçü de sağlandığında ortak ses-video-metin yolu devreye girer vePeAudioVideoOutputiçindeki tam logit matrisleri seti üretilir. - Ses için
padding_mask, video için isepadding_mask_videoseş zamanlı olarak kullanılır. Bunlar bağımsız maskelerdir; metin kulesi için ayrılmış olanattention_maskile karıştırmayın. - Ses–video hizalaması,
_align_video_hidden_stateiçinde parti başına öğe bazında çalıştığından, ses/video uzunlukları çok farklı olan partiler vektörleştirme yerine yineleme yapar. Verimliliği korumak için parti öğelerini kabaca dengeli tutun. - Metin kulesunun ağırlıkları,
_tied_weights_keysüzerinden dallar arasında paylaşılmaktadır — ses ve video bölümleri için ayrı metin kodlayıcıları yüklemeye çalışmayın.
PeAudioVideoConfig
sınıf transformers.PeAudioVideoConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_video_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetie_word_embeddings: bool = True )
Parametreler
- text_config (
Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Metin omurgasının yapılandırma nesnesi veya sözlüğü. - audio_video_config (
dictveyaPreTrainedConfig, isteğe bağlı) — Ses-video kodlayıcı bileşeni için yapılandırma. - tie_word_embeddings (
bool, isteğe bağlı, varsayılanTrue) — Modelintied_weights_keyseşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.
Bu, bir PeAudioVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pe Audio Video modelinin örneklenmesinde, model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/pe-av-large ile benzer bir yapılandırma elde edilir.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
>>> from transformers import PeAudioVideoModel, PeAudioVideoConfig
>>> # Initializing a PeAudioVideoModel style configuration
>>> configuration = PeAudioVideoConfig()
>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configPeAudioVideoEncoderConfig
sınıf transformers.PeAudioVideoEncoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevideo_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_size: int = 1792intermediate_size: int = 4800num_hidden_layers: int = 6num_attention_heads: int = 14num_key_value_heads: int | None = Nonehead_dim: int = 128hidden_act: str = 'silu'max_position_embeddings: int = 10000initializer_range: float = 0.02rms_norm_eps: float = 1e-05rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0 )
Parametreler
- audio_config (
Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Ses omurgasının yapılandırma nesnesi veya sözlüğü. - video_config (
Union[PreTrainedConfig, dict], isteğe bağlı) — Video kodlayıcı için yapılandırma. Bir sözlük sağlanırsa, PeVideoEncoderConfig örneğini oluşturmak için kullanılır. - hidden_size (
int, isteğe bağlı, varsayılan1792) — Gizli temsillerin boyutu. - intermediate_size (
int, isteğe bağlı, varsayılan4800) — MLP temsillerinin boyutu. - num_hidden_layers (
int, isteğe bağlı, varsayılan6) — Transformer çözücüdeki gizli katman sayısı. - num_attention_heads (
int, isteğe bağlı, varsayılan14) — Transformer decoder'ındaki her dikkat katmanı için dikkat başlığı sayısı. - num_key_value_heads (
int, isteğe bağlı) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır.num_key_value_heads=num_attention_headsise model Multi Head Attention (MHA) kullanır,num_key_value_heads=1ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olaraknum_attention_headskullanılır. - head_dim (
int, isteğe bağlı, varsayılan128) — Dikkat başlığı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır. - hidden_act (
str, isteğe bağlı, varsayılansilu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin,"gelu","relu","silu"vb. - max_position_embeddings (
int, isteğe bağlı, varsayılan10000) — Bu modelin kullanılabileceği maksimum dizi uzunluğu. - initializer_range (
float, isteğe bağlı, varsayılan0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. - rms_norm_eps (
float, isteğe bağlı, varsayılan1e-05) — rms normalizasyon katmanları tarafından kullanılan epsilon. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük,rope_thetaiçin bir değer ve daha uzunmax_position_embeddingsile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir. - attention_bias (
bool, isteğe bağlı, varsayılanFalse) — Öz-dikkat sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında önyargı (bias) kullanılıp kullanılmayacağı. - attention_dropout (
Union[float, int], isteğe bağlı, varsayılan0.0) — Dikkat olasılıkları için dropout oranı.
Bu, bir PeAudioVideoModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pe Audio Video modelinin örneklenmesinde, model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/pe-av-large ile benzer bir yapılandırma elde edilir.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
>>> from transformers import PeAudioVideoEncoder, PeAudioVideoEncoderConfig
>>> # Initializing a PeAudioVideoEncoder style configuration
>>> configuration = PeAudioVideoEncoderConfig()
>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioVideoEncoder(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configPeAudioVideoProcessor
sınıf transformers.PeAudioVideoProcessor
< source >( feature_extractor = Nonevideo_processor = Nonetokenizer = None**kwargs )
PeAudioVideoEncoder
sınıf transformers.PeAudioVideoEncoder
< source >( config: PeAudioVideoEncoderConfig )
Parametreler
- config (PeAudioVideoEncoderConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
PeAudioVideo Encoder modeli.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_values: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonepadding_mask_videos: typing.Optional[torch.Tensor] = None**kwargs ) → PeAudioVideoEncoderOutput or tuple(torch.Tensor)
Parametreler
- input_values (
torch.Tensorof shape(batch_size, sequence_length), optional) — Float values of input raw speech waveform. Values can be obtained by loading a.flacor.wavaudio file into an array of typelist[float], anumpy.ndarrayor atorch.Tensor, e.g. via the torchcodec library (pip install torchcodec) or the soundfile library (pip install soundfile). To prepare the array intoinput_values, the AutoProcessor should be used for padding and conversion into a tensor of typetorch.Tensor. See PeAudioVideoProcessor.call() for details. - pixel_values_videos (
torch.Tensor, şekli(batch_size, num_frames, num_channels, frame_size, frame_size), isteğe bağlı) — Girdi videosuna karşılık gelen tensörler. Videolar için piksel değerleri PeVideoVideoProcessor kullanılarak elde edilebilir. Ayrıntılar için PeVideoVideoProcessor.call() bölümüne bakın (PeAudioVideoProcessor, video işleme için PeVideoVideoProcessor kullanır). - padding_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — input_values içindeki dolgu örneklerinde dikkat işleminin uygulanmaması için maskeinput_values. değerleri [0, 1] aralığından seçilir: maskelenmemiş örnekler için 1, maskelenmiş örnekler için 0.[0, 1]:- 1 maskelenmemiş örnekler için,
- maskelenmiş örnekler için 0.
- padding_mask_videos (
torch.Tensorşeklinde(batch_size, num_frames), isteğe bağlı) — Doldurma video karelerinde dikkat işleminin uygulanmaması için maske. Maske değerleri[0, 1]:- maskelenmemiş kareler için 1,
- maskelenmiş kareler için 0.
Dönüş değeri
PeAudioVideoEncoderOutput veya tuple(torch.Tensor)
PeAudioVideoEncoderOutput veya bir torch.Tensor demeti (return_dict=False geçirildiğinde veya config.return_dict=False olduğunda), yapılandırmaya (PeAudioVideoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
PeAudioVideoEncoder forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
last_hidden_state (
torch.Tensor, şekli(batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.pooler_output (
torch.Tensor, şekli(batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.hidden_states (
tuple(torch.Tensor), isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.Tensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren,(batch_size, sequence_length, hidden_size)biçiminde bir demet.Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
attentions (
tuple(torch.Tensor), isteğe bağlı,output_attentions=Truegeçirildiğinde veyaconfig.output_attentions=Trueolduğunda döndürülür) —torch.Tensor(katman başına bir tane) içeren bir tuple, şekli(batch_size, num_heads, sequence_length, sequence_length).Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.
audio_model_output (
BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının çıktısı; son gizli durumu, havuzlanmış çıktıyı ve isteğe bağlı gizli durumları ile dikkatleri içerir. Ayrıntılar için BaseModelOutputWithPooling bölümüne bakın.video_model_output (
BaseModelOutputWithPooling, isteğe bağlı) — Video kodlayıcısının çıktısı; son gizli durumu, havuzlanmış çıktıyı ve isteğe bağlı gizli durumları ile dikkatleri içerir. Ayrıntılar için BaseModelOutputWithPooling bölümüne bakın.
PeAudioVideoModel
forward
< source >( input_ids: typing.Optional[torch.Tensor] = Nonepixel_values_videos: typing.Optional[torch.Tensor] = Noneinput_values: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask_videos: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonereturn_loss = False**kwargs ) → PeAudioVideoOutput or tuple(torch.Tensor)
Parametreler
- input_ids (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- pixel_values_videos (
torch.Tensor, şekli(batch_size, num_frames, num_channels, frame_size, frame_size), isteğe bağlı) — Girdi videosuna karşılık gelen tensörler. Videolar için piksel değerleri PeVideoVideoProcessor kullanılarak elde edilebilir. Ayrıntılar için PeVideoVideoProcessor.call() bölümüne bakın (PeAudioVideoProcessor, video işleme için PeVideoVideoProcessor kullanır). - input_values (
torch.Tensorof shape(batch_size, sequence_length), optional) — Float values of input raw speech waveform. Values can be obtained by loading a.flacor.wavaudio file into an array of typelist[float], anumpy.ndarrayor atorch.Tensor, e.g. via the torchcodec library (pip install torchcodec) or the soundfile library (pip install soundfile). To prepare the array intoinput_values, the AutoProcessor should be used for padding and conversion into a tensor of typetorch.Tensor. See PeAudioVideoProcessor.call() for details. - attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
- padding_mask_videos (
torch.Tensorşeklinde(batch_size, num_frames), isteğe bağlı) — Doldurma video karelerinde dikkat işleminin uygulanmaması için maske. Maske değerleri[0, 1]:- maskelenmemiş kareler için 1,
- maskelenmiş kareler için 0.
- padding_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — input_values içindeki dolgu örneklerinde dikkat işleminin uygulanmaması için maskeinput_values. değerleri [0, 1] aralığından seçilir: maskelenmemiş örnekler için 1, maskelenmiş örnekler için 0.[0, 1]:- 1 maskelenmemiş örnekler için,
- maskelenmiş örnekler için 0.
- return_loss (
bool, isteğe bağlı) — Kaybın (loss) döndürülüp döndürülmeyeceği.
Dönüş değeri
PeAudioVideoOutput veya tuple(torch.Tensor)
PeAudioVideoOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (PeAudioVideoConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
PeAudioVideoModel forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
- audio_embeds (
torch.Tensor, isteğe bağlı) — Ses modallığı gömme değerleri. Şekil(batch_size, sequence_length, hidden_size). - video_embeds (
torch.Tensor, isteğe bağlı) — Video modu gömme değerleri. Şekil(batch_size, sequence_length, hidden_size). - audio_video_embeds (
torch.Tensor, isteğe bağlı) — Füzyon modülü tarafından üretilen ortak ses-video gömümleri. Biçim(batch_size, sequence_length, hidden_size). - text_audio_embeds (
torch.Tensor, isteğe bağlı) — Birleşik metin-ses gömlemeleri. Biçim(batch_size, sequence_length, hidden_size). - text_video_embeds (
torch.Tensor, isteğe bağlı) — Ortak metin-video gömme değerleri. Biçim(batch_size, sequence_length, hidden_size). - text_audio_video_embeds (
torch.Tensor, isteğe bağlı) — Üç modu birleştiren ortak metin-ses-video gömme vektörleri. Şekil(batch_size, sequence_length, hidden_size). - audio_plus_text_embeds (
torch.Tensor, isteğe bağlı) — Birleştirilmiş ses ve metin gömme değerleri (ör. birleştirme veya toplamsal füzyon). Biçim(batch_size, sequence_length, hidden_size). - video_plus_text_embeds (
torch.Tensor, isteğe bağlı) — Birleşik video ve metin gömlemeleri. Biçim(batch_size, sequence_length, hidden_size). - text_outputs (
MaskedLMOutput, isteğe bağlı) — Metin kodlayıcısının model çıktıları. Gizli durumları, dikkatleri ve isteğe bağlı olarak kaybı içerir. - audio_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının model çıktıları; son gizli durumu ve havuzlanmış çıktıyı içerir. - video_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Son gizli durumu ve havuzlanmış çıktıyı içeren video kodlayıcısının model çıktıları. - audio_video_outputs (
BaseModelOutputWithPooling, isteğe bağlı) — Ortak ses-video kodlayıcısının model çıktıları. - logits_audio_text (
torch.Tensor, isteğe bağlı) — Ses ve metin gömlemleri arasındaki benzerlik logitleri. Şekil(batch_size, batch_size). - logits_video_text (
torch.Tensor, isteğe bağlı) — Video ve metin gömme vektörleri arasındaki benzerlik logitleri. Şekil(batch_size, batch_size). - logits_audio_video (
torch.Tensor, isteğe bağlı) — Ses ve video gömme vektörleri arasındaki benzerlik logitleri. Şekil(batch_size, batch_size). - logits_audio_video_text (
torch.Tensor, isteğe bağlı) — Ses, video ve metin modaliteleri arasındaki benzerlik logitleri. - logits_audio_plus_text_video (
torch.Tensor, isteğe bağlı) — Füzyon (ses + metin) gömlemleri ile video gömlemleri arasındaki benzerlik logitleri. - logits_video_plus_text_audio (
torch.Tensor, isteğe bağlı) — Füzyon (video + metin) gömlemleri ile ses gömlemleri arasındaki benzerlik logitleri. - audio_text_loss (
torch.Tensor, isteğe bağlı) — Ses ve metin temsilleri arasında hesaplanan kontrastif kayıp. - video_text_loss (
torch.Tensor, isteğe bağlı) — Video ve metin temsilleri arasında hesaplanan kontrastif kayıp. - audio_video_loss (
torch.Tensor, isteğe bağlı) — Ses ve video temsilleri arasında hesaplanan kontrastif kayıp. - audio_video_text_loss (
torch.Tensor, isteğe bağlı) — Ses, video ve metin modaliteleri üzerindeki ortak kayıp. - audio_plus_text_video_loss (
torch.Tensor, isteğe bağlı) — Füzyonlanmış (ses + metin) temsiller ile video arasındaki kayıp. - video_plus_text_audio_loss (
torch.Tensor, isteğe bağlı) — Füzyonlanmış (video + metin) temsiller ile ses arasındaki kayıp. - loss (
torch.Tensor, isteğe bağlı) — Tüm modallara özgü kayıpların birleşik kaybı.