Transformers documentation
WavTokenizer
نُشر هذا النموذج في أوراق HF في 2024-08-29 وسُهم به في Hugging Face Transformers في 2026-11-16.
WavTokenizer
نظرة عامة
يقوم WavTokenizer بتشفير الصوت أحادي القناة بمعدل 24 كيلو هرتز إلى رموز منفصلة باستخدام كتاب رموز واحد، بمعدل 40 أو 75 رمزًا في الثانية اعتمادًا على نقطة الفحص. كما يمكنه إعادة بناء الصوت من تلك الرموز.
تدعم هذه النسخة الاستدلال باستخدام WavTokenizerModel للتشفير وفك التشفير، أو WavTokenizerEncoderModel للتشفير فقط. يوفر المتغير الذي يحتوي على 40 رمزًا في الثانية مرمّز الصوت لـ Apertus 1.5. لا يُدعم تدريب المرمّز.
تمت مساهمة هذا النموذج من قبل المبادرة السويسرية للذكاء الاصطناعي. التنفيذ الأصلي متاح على GitHub.
نقاط التفتيش المتاحة
هذه النقاط الفاصلة جاهزة للتحميل باستخدام from_pretrained:
| نقطة التفتيش | المجال | رموز في الثانية |
|---|---|---|
| صغير، 40 رمزًا/ثانية | الخطاب | 40 |
| صغير، 75 رمزًا/ثانية | الخطاب | 75 |
| متوسط | الخطاب | 75 |
| متوسط v2 | الخطاب | 75 |
| متوسط | الموسيقى/الصوت | 75 |
| متوسط v2 | الموسيقى/الصوت | 75 |
| موحّد كبير | مُوحَّد | 40 |
| Large v2 | الخطاب | 75 |
مثال على الاستخدام
حمّل مقطعًا صوتيًا، وأعدّ عيّنته إلى معدل العينة الخاص بالنقطة المرجعية، ثم شفّره وأعدّ بناءه:
import torch
from transformers import AutoFeatureExtractor, WavTokenizerModel
from transformers.audio_utils import load_audio
model_id = "swiss-ai/wavtokenizer-large-unify-40token"
model = WavTokenizerModel.from_pretrained(model_id)
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
audio = load_audio(
"https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/belinda.wav",
sampling_rate=feature_extractor.sampling_rate,
)
inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt")
with torch.no_grad():
audio_codes = model.encode(**inputs).audio_codes
reconstruction = model.decode(audio_codes).audio_values[..., : len(audio)]ملاحظات الاستخدام
- مدخلات الصوت: يتوقع مستخرج الميزات صوتاً أحادي القناة (Mono) بمعدل العينة المُعدّ مسبقاً؛ فهو لا يعيد أخذ العينات ولا يقلل عدد القنوات. يستخدم المثال
load_audioللتعامل مع كلا الأمرين. قد يؤدي فك الترميز إلى إضافة عينات في النهاية بسبب الحشو الداخلي، لذا يقوم المثال بقص إعادة البناء إلى الطول الأصلي. - التجميع (Batching): قد يؤدي ملء المقاطع ذات الأطوال المختلفة إلى تغيير رموزها. قم بتشفير المقاطع بشكل منفصل عندما تحتاج إلى نفس الرموز كما لو كنت تعالج كل مقطع على حدة.
- الدقة: حمّل شيفر الرموز وشغّله بدقة
float32(الافتراضي). قد تؤدي الدقة المنخفضة إلى تغيير إسنادات الرموز.
WavTokenizerConfig
فئة transformers.WavTokenizerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1num_filters: int = 32upsampling_ratios: list[int] | tuple[int, ...] = (6, 5, 5, 4)num_residual_layers: int = 1dilation_growth_rate: int = 2compress: int = 2use_conv_shortcut: bool = Trueuse_causal_conv: bool = Falsepad_mode: str = 'reflect'norm_type: str = 'weight_norm'kernel_size: int = 7last_kernel_size: int = 7residual_kernel_size: int = 3num_lstm_layers: int = 2hidden_size: int = 512codebook_size: int = 4096codebook_dim: int = 512decoder_hidden_size: int = 768decoder_intermediate_size: int = 2304decoder_num_layers: int = 12adanorm_num_embeddings: int = 4decoder_attention_num_groups: int = 32norm_eps: float = 1e-06 )
المعاملات
- sampling_rate (
int, اختياري، القيمة الافتراضية24000) — معدل أخذ العينات الذي يجب أن تُرقَم به ملفات الصوت، ويُعبَّر عنه بالهرتز (Hz). - audio_channels (
int، اختياري، القيمة الافتراضية 1) — عدد القنوات في بيانات الصوت. لا يُدعم سوى الصوت الأحادي (1). - num_filters (
int، اختياري، القيمة الافتراضية 32) — عدد نوى الالتفاف في طبقة تقليل العينة الأولىWavTokenizerConv1d. - upsampling_ratios (
list[int]، اختياري، القيمة الافتراضية[6, 5, 5, 4]) — نسب حجم النواة والخطوة. يستخدم المُشفِّر نسب التصغير بدلاً من نسب التكبير، لذا سيستخدم النسب بالترتيب المعاكس لتلك المحددة هنا، والتي يجب أن تتطابق مع ترتيب المُفكِّك. الجداء (600 افتراضياً) هو طول القفزة: عدد عينات الصوت التي تمثّلها شفرة واحدة. - num_residual_layers (
int، اختياري، القيمة الافتراضية 1) — عدد طبقات الباقي في كل مرحلة من مراحل المُشفِّر. - dilation_growth_rate (
int، اختياري، القيمة الافتراضية 2) — مدى زيادة التمدد (dilation) مع كل طبقة متبقية (residual layer) في المُشفِّر (encoder). - compress (
int، اختياري، القيمة الافتراضية 2) — تقليل الأبعاد في الفروع المتبقية. - use_conv_shortcut (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم استخدام طبقة تلافيفية كاختصار (تخطي) في الكتل المتبقية. إذا كانت القيمة False، فسيتم استخدام دالة هوية، مما يوفر اتصالًا متبقياً عامًا. - use_causal_conv (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام الالتفاف السببي الكامل. - pad_mode (
str، اختياري، القيمة الافتراضية"reflect") — وضع الحشو للعمليات التلافيفية. - norm_type (
str، اختياري، القيمة الافتراضية"weight_norm") — طريقة التطبيع للتموجات في المُشفِّر. يجب أن تكون ضمن["weight_norm", "time_group_norm"]. - kernel_size (
int، اختياري، القيمة الافتراضية 7) — حجم النواة للتمرير الأولي في المُشفِّر. - last_kernel_size (
int، اختياري، القيمة الافتراضية 7) — حجم النواة لعمليّة الالتفاف الأخيرة في المُشفِّر. - residual_kernel_size (
int، اختياري، القيمة الافتراضية 3) — حجم النواة للطبقات المتبقية في المُشفِّر. - num_lstm_layers (
int، اختياري، القيمة الافتراضية 2) — عدد طبقات LSTM في نهاية المُشفِّر. - hidden_size (
int، اختياري، القيمة الافتراضية 512) — أبعاد مخرج المُشفِّر (فضاء الكمون الخاص بمُكمِّم). - codebook_size (
int، اختياري، القيمة الافتراضية 4096) — عدد الأكواد المنفصلة التي تتكون منها كود بوك VQ الواحد. - codebook_dim (
int، اختياري، القيمة الافتراضية 512) — بعد متجهات دفتر الرموز. يجب أن يتطابق معhidden_size(لا تُستخدم إسقاطات). - decoder_hidden_size (
int, اختياري، القيمة الافتراضية 768) — أبعاد العمود الفقري لفك الترميز بنمط Vocos. - decoder_intermediate_size (
int، اختياري، القيمة الافتراضية 2304) — أبعاد التحويلات التجميعية (pointwise convolutions) داخل كتل ConvNeXt في المُفكِّك (decoder). - decoder_num_layers (
int, اختياري، القيمة الافتراضية 12) — عدد كتل ConvNeXt في العمود الفقري لفك الترميز. - adanorm_num_embeddings (
int, اختياري، القيمة الافتراضية 4) — عدد تضمينات الشرط لطبقات التطبيع التكيّفي في المُفكِّك. يُعدّ التكييف ميزةً أثناء التدريب (تضمين واحد لكل نطاق عرض)؛ أما أثناء الاستدلال فيُستخدم التضمين 0 دائمًا. - decoder_attention_num_groups (
int, اختياري، القيمة الافتراضية 32) — عدد مجموعات طبقات GroupNorm في المُفكِّك. - norm_eps (
float، اختياري، القيمة الافتراضية 1e-06) — قيمة إبسيلون لطبقات تطبيع المُفكِّك.
هذه فئة الإعدادات (configuration class) لتخزين إعدادات نموذج WavTokenizerModel. تُستخدم لاستحداث نموذج Wavtokenizer وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ swiss-ai/wavtokenizer-large-unify-40token
ترث كائنات التهيئة من PreTrainedConfig ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ PreTrainedConfig لمزيد من المعلومات.
مثال:
>>> from transformers import WavTokenizerConfig, WavTokenizerModel
>>> # Initializing configuration
>>> configuration = WavTokenizerConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = WavTokenizerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configWavTokenizerEncoderConfig
فئة transformers.WavTokenizerEncoderConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonesampling_rate: int = 24000audio_channels: int = 1num_filters: int = 32upsampling_ratios: list[int] | tuple[int, ...] = (6, 5, 5, 4)num_residual_layers: int = 1dilation_growth_rate: int = 2compress: int = 2use_conv_shortcut: bool = Trueuse_causal_conv: bool = Falsepad_mode: str = 'reflect'norm_type: str = 'weight_norm'kernel_size: int = 7last_kernel_size: int = 7residual_kernel_size: int = 3num_lstm_layers: int = 2hidden_size: int = 512codebook_size: int = 4096codebook_dim: int = 512decoder_hidden_size: int = 768decoder_intermediate_size: int = 2304decoder_num_layers: int = 12adanorm_num_embeddings: int = 4decoder_attention_num_groups: int = 32norm_eps: float = 1e-06 )
إعداد WavTokenizerEncoderModel، وهو المُشفِّر والمُكمِّم الخاص بـ WavTokenizer. يتشارك جميع الحقول مع WavTokenizerConfig (راجع توثيقه لمعرفة الحُجج)، لذا يمكن تحميله من نقطة تحقق WavTokenizer كاملة. الحقول الخاصة بالمُفكِّك غير مستخدمة في نموذج المُشفِّر.
WavTokenizerFeatureExtractor
فئة transformers.WavTokenizerFeatureExtractor
< source >( feature_size: int = 1sampling_rate: int = 24000padding_value: float = 0.0hop_length: int = 600normalize_audio: bool = Falsetarget_peak_dB_FS: float = -3.0**kwargs )
المعاملات
- feature_size (
int، اختياري، القيمة الافتراضية 1) — بعد الميزة للميزات المستخرجة. يتم دعم أحادي (1) فقط. - sampling_rate (
int, اختياري، القيمة الافتراضية 24000) — معدل أخذ العينات الذي يجب أن تُرقَم به الموجة الصوتية، ويُعبَّر عنه بالهرتز (Hz). - padding_value (
float، اختياري، القيمة الافتراضية 0.0) — القيمة المستخدمة للتعبئة. - hop_length (
int، اختياري، القيمة الافتراضية 600) — عدد عينات الصوت التي يمثلها رمز صوتي واحد. - normalize_audio (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان يجب تطبيع كل مقطع إلىtarget_peak_dB_FSقبل إضافة الحشو. لا يقوم WavTokenizer الأصلي بالتطبيع؛ بينما تمكينه في Apertus 1.5. - target_peak_dB_FS (
float، اختياري، القيمة الافتراضية -3.0) — المستوى الأقصى المستهدف بوحدة dB FS المستخدم عندما تكونnormalize_audioهيTrue.
ينشئ مستخرج ميزات WavTokenizer لتسجيل صوتي أحادي القناة بمعدل العينة المُعدّ. لا يتم إعادة أخذ عينات الصوت أو خلطه.
__call__
< source >( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]padding: bool | str | transformers.utils.generic.PaddingStrategy | None = Nonetruncation: bool | None = Falsemax_length: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = None ) → BatchFeature
المعاملات
- audio (
np.ndarray،torch.Tensor،list[float]،list[np.ndarray]،list[torch.Tensor]،list[list[float]]) — التسلسل أو الدفعة من التسلسلات التي سيتم معالجتها. يجب أن يكون كل تسلسل صوت أحادي القناة (mono) بشكل(num_samples,)، وقد تم أخذ عيناته مسبقًا بمعدلsampling_rateالخاص بمستخرج الميزات هذا. لا يتم إعادة أخذ عينات الصوت أو خلطه (downmix). - padding (
boolأوstrأو PaddingStrategy، اختياري، القيمة الافتراضيةTrue) — استراتيجية الحشو:Trueأو'longest'تحشو الدفعة حتى أطول تسلسل فيها (تبقى المدخلات المفردة دون حشو)، و'max_length'تحشو حتىmax_length، وFalseأو'do_not_pad'تعطّل الحشو. - truncation (
bool، اختياري، الافتراضيFalse) — ما إذا كان سيتم تقصير التسلسلات الأطول منmax_lengthإلىmax_length. - max_length (
int، اختياري) — الطول المستهدف لحشو'max_length'ولـtruncation. - return_tensors (
strأو TensorType، اختياري) — إذا تم تعيينه، تُعاد المصفوفات (tensors) بدلاً من قائمة مصفوفات numpy:'pt'لـ PyTorchtorch.Tensor،'np'لـ NumPynp.ndarray. - sampling_rate (
int, اختياري) — معدل أخذ العينات لإدخالaudio؛ قم بتزويده حتى يثير عدم التطابق معsampling_rateالمُعدّ خطأً بدلاً من الفشل بصمت.
يعيد
BatchFeature يحتوي على الحقول التالية:
- input_values — موجات صوتية تُغذّى بها النموذج، على شكل قائمة من المصفوفات ذات الشكل
(1, num_samples)، أو متجه (tensor) ذو الشكل(batch_size, 1, num_samples)عند تعيينreturn_tensors. - padding_mask — قناع يُظهر العينات الصوتية الصالحة (1) مقابل الحشو (0)، على شكل
(batch_size, num_samples).
قم بتحويل وتجهيز تسلسل صوتي واحد أو عدة تسلسلات صوتية للنموذج.
WavTokenizerEncoderModel
فئة transformers.WavTokenizerEncoderModel
< source >( config: WavTokenizerEncoderConfig )
المعاملات
- config (WavTokenizerEncoderConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
المُشفِّر والمُكمِّم الخاص بـ WavTokenizer لتحويل الموجات الصوتية إلى رموز منفصلة.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
encode
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)
المعاملات
- input_values (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)) — موجة الصوت المدخلة. يتم دعم الأطوال غير الصفرية بشكل تعسفي؛ حيث يقوم المُشفِّر بإضافة الحشو داخلياً وإصدارceil(sequence_length / hop_length)رمزاً. - padding_mask (
torch.Tensorمن الشكل(batch_size, sequence_length)أو(batch_size, 1, sequence_length)، اختياري) — قناع يصف الحشو فيinput_values؛ يُستخدم لحسابaudio_codes_mask.
يعيد
WavTokenizerEncoderOutput أو tuple(torch.Tensor)
WavTokenizerEncoderOutput أو مجموعة مرتبة من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (None) والمدخلات.
- audio_codes (
torch.LongTensorمن الشكل(batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدامmodel.encode. تمثل هذه الرموز الشكل المضغوط والمكمَّم للإشارة الصوتية المدخلة (دفتر رموز واحد،ceil(num_samples / hop_length)رمز). - audio_codes_mask (
torch.Tensorمن الشكل(batch_size, 1, codes_length)، اختياري) —padding_maskمُصغَّر الحجم يُشير إلى رموز الصوت الصالحة فيaudio_codes.
forward
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)
المعاملات
- input_values (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)) — موجة الصوت المدخلة. - padding_mask (
torch.Tensorمن الشكل(batch_size, sequence_length)أو(batch_size, 1, sequence_length)، اختياري) — قناع الحشو المستخدم لحسابaudio_codes_mask.
يعيد
WavTokenizerEncoderOutput أو tuple(torch.Tensor)
WavTokenizerEncoderOutput أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (WavTokenizerConfig) والمدخلات.
تتجاوز طريقة WavTokenizerEncoderModel الخاصة بالتقديم (forward) الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
- audio_codes (
torch.LongTensorمن الشكل(batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدامmodel.encode. تمثل هذه الرموز الشكل المضغوط والمكمَّم للإشارة الصوتية المدخلة (دفتر رموز واحد،ceil(num_samples / hop_length)رمز). - audio_codes_mask (
torch.Tensorمن الشكل(batch_size, 1, codes_length)، اختياري) —padding_maskمُصغَّر الحجم يُشير إلى رموز الصوت الصالحة فيaudio_codes.
WavTokenizerModel
فئة transformers.WavTokenizerModel
< source >( config: WavTokenizerConfig )
المعاملات
- config (WavTokenizerConfig) — فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. لا يؤدي التهيئة باستخدام ملف الإعداد إلى تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة from_pretrained() لتحميل أوزان النموذج.
رمز صوتي عصبي WavTokenizer بكتاب رمز واحد مخصص للاستدلال فقط.
يرث هذا النموذج من PreTrainedModel. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التحميل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).
هذا النموذج هو أيضًا فئة فرعية من torch.nn.Module في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.
decode
< source >( audio_codes: Tensorbandwidth_id: int = 0**kwargs ) → WavTokenizerDecoderOutput or tuple(torch.Tensor)
المعاملات
- audio_codes (
torch.LongTensorمن الشكل(batch_size, 1, codes_length)) — فهارس رموز منفصلة محسوبة باستخدامmodel.encode. يدعم رمزًا واحدًا أو أكثر؛ يُفكّك كل رمز إلىhop_lengthمن عينات الصوت. - bandwidth_id (
int، اختياري، القيمة الافتراضية 0) — معرّف تضمين الشرط لطبقات تطبيع المعايير التكيفية في المُفكِّك. يكون دائمًا 0 أثناء الاستدلال.
يعيد
WavTokenizerDecoderOutput أو tuple(torch.Tensor)
WavTokenizerDecoderOutput أو مجموعة (tuple) من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (None) والمدخلات.
- audio_values (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)، اختياري) — قيم موجة الصوت المُفكّكة في مجال الزمن (codes_length * hop_lengthعينة).
encode
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerEncoderOutput or tuple(torch.Tensor)
المعاملات
- input_values (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)) — موجة الصوت المدخلة. يتم دعم الأطوال غير الصفرية بشكل تعسفي؛ حيث يقوم المُشفِّر بإضافة الحشو داخلياً وإصدارceil(sequence_length / hop_length)رمزاً. - padding_mask (
torch.Tensorمن الشكل(batch_size, sequence_length)أو(batch_size, 1, sequence_length)، اختياري) — قناع يصف الحشو فيinput_values؛ يُستخدم لحسابaudio_codes_mask.
يعيد
WavTokenizerEncoderOutput أو tuple(torch.Tensor)
WavTokenizerEncoderOutput أو مجموعة مرتبة من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (None) والمدخلات.
- audio_codes (
torch.LongTensorمن الشكل(batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدامmodel.encode. تمثل هذه الرموز الشكل المضغوط والمكمَّم للإشارة الصوتية المدخلة (دفتر رموز واحد،ceil(num_samples / hop_length)رمز). - audio_codes_mask (
torch.Tensorمن الشكل(batch_size, 1, codes_length)، اختياري) —padding_maskمُصغَّر الحجم يُشير إلى رموز الصوت الصالحة فيaudio_codes.
forward
< source >( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → WavTokenizerOutput or tuple(torch.Tensor)
المعاملات
- input_values (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)) — موجة الصوت المدخلة. - padding_mask (
torch.Tensorمن الشكل(batch_size, sequence_length)أو(batch_size, 1, sequence_length)، اختياري) — قناع يُظهر العينات الصوتية الصالحة (1) مقابل الحشو (0)، ويُستخدم لحسابaudio_codes_mask.
يعيد
WavTokenizerOutput أو tuple(torch.Tensor)
WavTokenizerOutput أو مجموعة مرتبة من
torch.Tensor (إذا تم تمرير return_dict=False أو عندما يكون config.return_dict=False) وتتضمن عناصر مختلفة
تعتمد على الإعداد (None) والمدخلات.
تتجاوز طريقة WavTokenizerModel الأمامية الطريقة الخاصة __call__.
على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن
Moduleبدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.
- audio_values (
torch.Tensorمن الشكل(batch_size, 1, sequence_length)، اختياري) — قيم موجة الصوت المُفكّكة في مجال الزمن، والمُستخرجة باستخدام جزء المُفكّك في WavTokenizer. - audio_codes (
torch.LongTensorمن الشكل(batch_size, 1, codes_length)، اختياري) — فهارس رموز منفصلة محسوبة باستخدامmodel.encode. - audio_codes_mask (
torch.Tensorمن الشكل(batch_size, 1, codes_length)، اختياري) —padding_maskمُصغَّر الحجم يُشير إلى رموز الصوت الصالحة فيaudio_codes.