Transformers documentation

WavTokenizer

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

نُشر هذا النموذج في أوراق HF في 2024-08-29 وسُهم به في Hugging Face Transformers في 2026-11-16.

WavTokenizer

نظرة عامة

يقوم WavTokenizer بتشفير الصوت أحادي القناة بمعدل 24 كيلو هرتز إلى رموز منفصلة باستخدام كتاب رموز واحد، بمعدل 40 أو 75 رمزًا في الثانية اعتمادًا على نقطة الفحص. كما يمكنه إعادة بناء الصوت من تلك الرموز.

تدعم هذه النسخة الاستدلال باستخدام WavTokenizerModel للتشفير وفك التشفير، أو WavTokenizerEncoderModel للتشفير فقط. يوفر المتغير الذي يحتوي على 40 رمزًا في الثانية مرمّز الصوت لـ Apertus 1.5. لا يُدعم تدريب المرمّز.

تمت مساهمة هذا النموذج من قبل المبادرة السويسرية للذكاء الاصطناعي. التنفيذ الأصلي متاح على GitHub.

نقاط التفتيش المتاحة

هذه النقاط الفاصلة جاهزة للتحميل باستخدام from_pretrained:

نقطة التفتيشالمجالرموز في الثانية
صغير، 40 رمزًا/ثانيةالخطاب40
صغير، 75 رمزًا/ثانيةالخطاب75
متوسطالخطاب75
متوسط v2الخطاب75
متوسطالموسيقى/الصوت75
متوسط v2الموسيقى/الصوت75
موحّد كبيرمُوحَّد40
Large v2الخطاب75

مثال على الاستخدام

حمّل مقطعًا صوتيًا، وأعدّ عيّنته إلى معدل العينة الخاص بالنقطة المرجعية، ثم شفّره وأعدّ بناءه:

import torch
from transformers import AutoFeatureExtractor, WavTokenizerModel
from transformers.audio_utils import load_audio

model_id = "swiss-ai/wavtokenizer-large-unify-40token"
model = WavTokenizerModel.from_pretrained(model_id)
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

audio = load_audio(
    "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/belinda.wav",
    sampling_rate=feature_extractor.sampling_rate,
)
inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt")
with torch.no_grad():
    audio_codes = model.encode(**inputs).audio_codes
    reconstruction = model.decode(audio_codes).audio_values[..., : len(audio)]

ملاحظات الاستخدام

  • مدخلات الصوت: يتوقع مستخرج الميزات صوتاً أحادي القناة (Mono) بمعدل العينة المُعدّ مسبقاً؛ فهو لا يعيد أخذ العينات ولا يقلل عدد القنوات. يستخدم المثال load_audio للتعامل مع كلا الأمرين. قد يؤدي فك الترميز إلى إضافة عينات في النهاية بسبب الحشو الداخلي، لذا يقوم المثال بقص إعادة البناء إلى الطول الأصلي.
  • التجميع (Batching): قد يؤدي ملء المقاطع ذات الأطوال المختلفة إلى تغيير رموزها. قم بتشفير المقاطع بشكل منفصل عندما تحتاج إلى نفس الرموز كما لو كنت تعالج كل مقطع على حدة.
  • الدقة: حمّل شيفر الرموز وشغّله بدقة float32 (الافتراضي). قد تؤدي الدقة المنخفضة إلى تغيير إسنادات الرموز.

WavTokenizerConfig

فئة transformers.WavTokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1num_filters: int = 32upsampling_ratios: list[int] | tuple[int, ...] = (6, 5, 5, 4)num_residual_layers: int = 1dilation_growth_rate: int = 2compress: int = 2use_conv_shortcut: bool = Trueuse_causal_conv: bool = Falsepad_mode: str = 'reflect'norm_type: str = 'weight_norm'kernel_size: int = 7last_kernel_size: int = 7residual_kernel_size: int = 3num_lstm_layers: int = 2hidden_size: int = 512codebook_size: int = 4096codebook_dim: int = 512decoder_hidden_size: int = 768decoder_intermediate_size: int = 2304decoder_num_layers: int = 12adanorm_num_embeddings: int = 4decoder_attention_num_groups: int = 32norm_eps: float = 1e-06 )

المعاملات

  • sampling_rate (int, اختياري، القيمة الافتراضية 24000) — معدل أخذ العينات الذي يجب أن تُرقَم به ملفات الصوت، ويُعبَّر عنه بالهرتز (Hz).
  • audio_channels (int، اختياري، القيمة الافتراضية 1) — عدد القنوات في بيانات الصوت. لا يُدعم سوى الصوت الأحادي (1).
  • num_filters (int، اختياري، القيمة الافتراضية 32) — عدد نوى الالتفاف في طبقة تقليل العينة الأولى WavTokenizerConv1d.
  • upsampling_ratios (list[int]، اختياري، القيمة الافتراضية [6, 5, 5, 4]) — نسب حجم النواة والخطوة. يستخدم المُشفِّر نسب التصغير بدلاً من نسب التكبير، لذا سيستخدم النسب بالترتيب المعاكس لتلك المحددة هنا، والتي يجب أن تتطابق مع ترتيب المُفكِّك. الجداء (600 افتراضياً) هو طول القفزة: عدد عينات الصوت التي تمثّلها شفرة واحدة.
  • num_residual_layers (int، اختياري، القيمة الافتراضية 1) — عدد طبقات الباقي في كل مرحلة من مراحل المُشفِّر.
  • dilation_growth_rate (int، اختياري، القيمة الافتراضية 2) — مدى زيادة التمدد (dilation) مع كل طبقة متبقية (residual layer) في المُشفِّر (encoder).
  • compress (int، اختياري، القيمة الافتراضية 2) — تقليل الأبعاد في الفروع المتبقية.
  • use_conv_shortcut (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم استخدام طبقة تلافيفية كاختصار (تخطي) في الكتل المتبقية. إذا كانت القيمة False، فسيتم استخدام دالة هوية، مما يوفر اتصالًا متبقياً عامًا.
  • use_causal_conv (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام الالتفاف السببي الكامل.
  • pad_mode (str، اختياري، القيمة الافتراضية "reflect") — وضع الحشو للعمليات التلافيفية.
  • norm_type (str، اختياري، القيمة الافتراضية "weight_norm") — طريقة التطبيع للتموجات في المُشفِّر. يجب أن تكون ضمن ["weight_norm", "time_group_norm"].
  • kernel_size (int، اختياري، القيمة الافتراضية 7) — حجم النواة للتمرير الأولي في المُشفِّر.
  • last_kernel_size (int، اختياري، القيمة الافتراضية 7) — حجم النواة لعمليّة الالتفاف الأخيرة في المُشفِّر.
  • residual_kernel_size (int، اختياري، القيمة الافتراضية 3) — حجم النواة للطبقات المتبقية في المُشفِّر.
  • num_lstm_layers (int، اختياري، القيمة الافتراضية 2) — عدد طبقات LSTM في نهاية المُشفِّر.
  • hidden_size (int، اختياري، القيمة الافتراضية 512) — أبعاد مخرج المُشفِّر (فضاء الكمون الخاص بمُكمِّم).
  • codebook_size (int، اختياري، القيمة الافتراضية 4096) — عدد الأكواد المنفصلة التي تتكون منها كود بوك VQ الواحد.
  • codebook_dim (int، اختياري، القيمة الافتراضية 512) — بعد متجهات دفتر الرموز. يجب أن يتطابق مع hidden_size (لا تُستخدم إسقاطات).
  • decoder_hidden_size (int, اختياري، القيمة الافتراضية 768) — أبعاد العمود الفقري لفك الترميز بنمط Vocos.
  • decoder_intermediate_size (int، اختياري، القيمة الافتراضية 2304) — أبعاد التحويلات التجميعية (pointwise convolutions) داخل كتل ConvNeXt في المُفكِّك (decoder).
  • decoder_num_layers (int, اختياري، القيمة الافتراضية 12) — عدد كتل ConvNeXt في العمود الفقري لفك الترميز.
  • adanorm_num_embeddings (int, اختياري، القيمة الافتراضية 4) — عدد تضمينات الشرط لطبقات التطبيع التكيّفي في المُفكِّك. يُعدّ التكييف ميزةً أثناء التدريب (تضمين واحد لكل نطاق عرض)؛ أما أثناء الاستدلال فيُستخدم التضمين 0 دائمًا.
  • decoder_attention_num_groups (int, اختياري، القيمة الافتراضية 32) — عدد مجموعات طبقات GroupNorm في المُفكِّك.
  • norm_eps (float، اختياري، القيمة الافتراضية 1e-06) — قيمة إبسيلون لطبقات تطبيع المُفكِّك.

هذه فئة الإعدادات (configuration class) لتخزين إعدادات نموذج WavTokenizerModel. تُستخدم لاستحداث نموذج Wavtokenizer وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ swiss-ai/wavtokenizer-large-unify-40token

ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.

مثال:

>>> from transformers import WavTokenizerConfig, WavTokenizerModel

>>> # Initializing configuration
>>> configuration = WavTokenizerConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = WavTokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

WavTokenizerEncoderConfig

فئة transformers.WavTokenizerEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1num_filters: int = 32upsampling_ratios: list[int] | tuple[int, ...] = (6, 5, 5, 4)num_residual_layers: int = 1dilation_growth_rate: int = 2compress: int = 2use_conv_shortcut: bool = Trueuse_causal_conv: bool = Falsepad_mode: str = 'reflect'norm_type: str = 'weight_norm'kernel_size: int = 7last_kernel_size: int = 7residual_kernel_size: int = 3num_lstm_layers: int = 2hidden_size: int = 512codebook_size: int = 4096codebook_dim: int = 512decoder_hidden_size: int = 768decoder_intermediate_size: int = 2304decoder_num_layers: int = 12adanorm_num_embeddings: int = 4decoder_attention_num_groups: int = 32norm_eps: float = 1e-06 )

إعداد WavTokenizerEncoderModel، وهو المُشفِّر والمُكمِّم الخاص بـ WavTokenizer. يتشارك جميع الحقول مع WavTokenizerConfig (راجع توثيقه لمعرفة الحُجج)، لذا يمكن تحميله من نقطة تحقق WavTokenizer كاملة. الحقول الخاصة بالمُفكِّك غير مستخدمة في نموذج المُشفِّر.

WavTokenizerFeatureExtractor

فئة transformers.WavTokenizerFeatureExtractor

< >

( feature_size: int = 1sampling_rate: int = 24000padding_value: float = 0.0hop_length: int = 600normalize_audio: bool = Falsetarget_peak_dB_FS: float = -3.0**kwargs )

المعاملات

  • feature_size (int، اختياري، القيمة الافتراضية 1) — بعد الميزة للميزات المستخرجة. يتم دعم أحادي (1) فقط.
  • sampling_rate (int, اختياري، القيمة الافتراضية 24000) — معدل أخذ العينات الذي يجب أن تُرقَم به الموجة الصوتية، ويُعبَّر عنه بالهرتز (Hz).
  • padding_value (float، اختياري، القيمة الافتراضية 0.0) — القيمة المستخدمة للتعبئة.
  • hop_length (int، اختياري، القيمة الافتراضية 600) — عدد عينات الصوت التي يمثلها رمز صوتي واحد.
  • normalize_audio (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب تطبيع كل مقطع إلى target_peak_dB_FS قبل إضافة الحشو. لا يقوم WavTokenizer الأصلي بالتطبيع؛ بينما تمكينه في Apertus 1.5.
  • target_peak_dB_FS (float، اختياري، القيمة الافتراضية -3.0) — المستوى الأقصى المستهدف بوحدة dB FS المستخدم عندما تكون normalize_audio هي True.

ينشئ مستخرج ميزات WavTokenizer لتسجيل صوتي أحادي القناة بمعدل العينة المُعدّ. لا يتم إعادة أخذ عينات الصوت أو خلطه.

__call__

< >

( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]padding: bool | str | transformers.utils.generic.PaddingStrategy | None = Nonetruncation: bool | None = Falsemax_length: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = None ) → BatchFeature

المعاملات

  • audio (np.ndarray، torch.Tensor، list[float]، list[np.ndarray]، list[torch.Tensor]، list[list[float]]) — التسلسل أو الدفعة من التسلسلات التي سيتم معالجتها. يجب أن يكون كل تسلسل صوت أحادي القناة (mono) بشكل (num_samples,)، وقد تم أخذ عيناته مسبقًا بمعدل sampling_rate الخاص بمستخرج الميزات هذا. لا يتم إعادة أخذ عينات الصوت أو خلطه (downmix).
  • padding (bool أو str أو PaddingStrategy، اختياري، القيمة الافتراضية True) — استراتيجية الحشو: True أو 'longest' تحشو الدفعة حتى أطول تسلسل فيها (تبقى المدخلات المفردة دون حشو)، و'max_length' تحشو حتى max_length، وFalse أو 'do_not_pad' تعطّل الحشو.
  • truncation (bool، اختياري، الافتراضي False) — ما إذا كان سيتم تقصير التسلسلات الأطول من max_length إلى max_length.
  • max_length (int، اختياري) — الطول المستهدف لحشو 'max_length' ولـtruncation.
  • return_tensors (str أو TensorType، اختياري) — إذا تم تعيينه، تُعاد المصفوفات (tensors) بدلاً من قائمة مصفوفات numpy: 'pt' لـ PyTorch torch.Tensor، 'np' لـ NumPy np.ndarray.
  • sampling_rate (int, اختياري) — معدل أخذ العينات لإدخال audio؛ قم بتزويده حتى يثير عدم التطابق مع sampling_rate المُعدّ خطأً بدلاً من الفشل بصمت.

يعيد

BatchFeature

BatchFeature يحتوي على الحقول التالية:

  • input_values — موجات صوتية تُغذّى بها النموذج، على شكل قائمة من المصفوفات ذات الشكل (1, num_samples)، أو متجه (tensor) ذو الشكل (batch_size, 1, num_samples) عند تعيين return_tensors.
  • padding_mask — قناع يُظهر العينات الصوتية الصالحة (1) مقابل الحشو (0)، على شكل (batch_size, num_samples).

قم بتحويل وتجهيز تسلسل صوتي واحد أو عدة تسلسلات صوتية للنموذج.

WavTokenizerEncoderModel

فئة transformers.WavTokenizerEncoderModel

< >

( config: WavTokenizerEncoderConfig )

المعاملات

  • config (WavTokenizerEncoderConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

المُشفِّر والمُكمِّم الخاص بـ WavTokenizer لتحويل الموجات الصوتية إلى رموز منفصلة.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

encode

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, 1, sequence_length)) — موجة الصوت المدخلة. يتم دعم الأطوال غير الصفرية بشكل تعسفي؛ حيث يقوم المُشفِّر بإضافة الحشو داخلياً وإصدار ceil(sequence_length / hop_length) رمزاً.
  • padding_mask (torch.Tensor من الشكل (batch_size, sequence_length) أو (batch_size, 1, sequence_length)، اختياري) — قناع يصف الحشو في input_values؛ يُستخدم لحساب audio_codes_mask.

يعيد

WavTokenizerEncoderOutput أو tuple(torch.Tensor)

WavTokenizerEncoderOutput أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

  • audio_codes (torch.LongTensor من الشكل (batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدام model.encode. تمثل هذه الرموز الشكل المضغوط والمكمَّم للإشارة الصوتية المدخلة (دفتر رموز واحد، ceil(num_samples / hop_length) رمز).
  • audio_codes_mask (torch.Tensor من الشكل (batch_size, 1, codes_length)، اختياري) — padding_mask مُصغَّر الحجم يُشير إلى رموز الصوت الصالحة في audio_codes.

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, 1, sequence_length)) — موجة الصوت المدخلة.
  • padding_mask (torch.Tensor من الشكل (batch_size, sequence_length) أو (batch_size, 1, sequence_length)، اختياري) — قناع الحشو المستخدم لحساب audio_codes_mask.

يعيد

WavTokenizerEncoderOutput أو tuple(torch.Tensor)

WavTokenizerEncoderOutput أو مجموعة (tuple) من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (WavTokenizerConfig) والمدخلات.

تتجاوز طريقة WavTokenizerEncoderModel الخاصة بالتقديم (forward) الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • audio_codes (torch.LongTensor من الشكل (batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدام model.encode. تمثل هذه الرموز الشكل المضغوط والمكمَّم للإشارة الصوتية المدخلة (دفتر رموز واحد، ceil(num_samples / hop_length) رمز).
  • audio_codes_mask (torch.Tensor من الشكل (batch_size, 1, codes_length)، اختياري) — padding_mask مُصغَّر الحجم يُشير إلى رموز الصوت الصالحة في audio_codes.

WavTokenizerModel

فئة transformers.WavTokenizerModel

< >

( config: WavTokenizerConfig )

المعاملات

  • config (WavTokenizerConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.

رمز صوتي عصبي WavTokenizer بكتاب رمز واحد مخصص للاستدلال فقط.

يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

decode

< >

( audio_codes: Tensorbandwidth_id: int = 0**kwargs ) → WavTokenizerDecoderOutput or tuple(torch.Tensor)

المعاملات

  • audio_codes (torch.LongTensor من الشكل (batch_size, 1, codes_length)) — فهارس رموز منفصلة محسوبة باستخدام model.encode. يدعم رمزًا واحدًا أو أكثر؛ يُفكّك كل رمز إلى hop_length من عينات الصوت.
  • bandwidth_id (int، اختياري، القيمة الافتراضية 0) — معرّف تضمين الشرط لطبقات تطبيع المعايير التكيفية في المُفكِّك. يكون دائمًا 0 أثناء الاستدلال.

يعيد

WavTokenizerDecoderOutput أو tuple(torch.Tensor)

WavTokenizerDecoderOutput أو مجموعة (tuple) من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

  • audio_values (torch.Tensor من الشكل (batch_size, 1, sequence_length)، اختياري) — قيم موجة الصوت المُفكّكة في مجال الزمن (codes_length * hop_length عينة).

encode

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, 1, sequence_length)) — موجة الصوت المدخلة. يتم دعم الأطوال غير الصفرية بشكل تعسفي؛ حيث يقوم المُشفِّر بإضافة الحشو داخلياً وإصدار ceil(sequence_length / hop_length) رمزاً.
  • padding_mask (torch.Tensor من الشكل (batch_size, sequence_length) أو (batch_size, 1, sequence_length)، اختياري) — قناع يصف الحشو في input_values؛ يُستخدم لحساب audio_codes_mask.

يعيد

WavTokenizerEncoderOutput أو tuple(torch.Tensor)

WavTokenizerEncoderOutput أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

  • audio_codes (torch.LongTensor من الشكل (batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدام model.encode. تمثل هذه الرموز الشكل المضغوط والمكمَّم للإشارة الصوتية المدخلة (دفتر رموز واحد، ceil(num_samples / hop_length) رمز).
  • audio_codes_mask (torch.Tensor من الشكل (batch_size, 1, codes_length)، اختياري) — padding_mask مُصغَّر الحجم يُشير إلى رموز الصوت الصالحة في audio_codes.

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerOutput or tuple(torch.Tensor)

المعاملات

  • input_values (torch.Tensor من الشكل (batch_size, 1, sequence_length)) — موجة الصوت المدخلة.
  • padding_mask (torch.Tensor من الشكل (batch_size, sequence_length) أو (batch_size, 1, sequence_length)، اختياري) — قناع يُظهر العينات الصوتية الصالحة (1) مقابل الحشو (0)، ويُستخدم لحساب audio_codes_mask.

يعيد

WavTokenizerOutput أو tuple(torch.Tensor)

WavTokenizerOutput أو مجموعة مرتبة من torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة تعتمد على الإعداد (None) والمدخلات.

تتجاوز طريقة WavTokenizerModel الأمامية الطريقة الخاصة __call__.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن Module بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

  • audio_values (torch.Tensor من الشكل (batch_size, 1, sequence_length)، اختياري) — قيم موجة الصوت المُفكّكة في مجال الزمن، والمُستخرجة باستخدام جزء المُفكّك في WavTokenizer.
  • audio_codes (torch.LongTensor من الشكل (batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدام model.encode.
  • audio_codes_mask (torch.Tensor من الشكل (batch_size, 1, codes_length)، اختياري) — padding_mask مُصغَّر الحجم يُشير إلى رموز الصوت الصالحة في audio_codes.
Update on GitHub