Transformers documentation

Tambahkan komponen pemrosesan audio

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Tambahkan komponen pemrosesan audio

Model audio memerlukan feature extractor yang dapat diakses melalui titik masuk AutoFeatureExtractor.

Untuk langkah model dan konfigurasi, ikuti panduan modular terlebih dahulu.

Ekstraktor fitur

Tambahkan feature extractor ketika model mengonsumsi audio mentah atau fitur yang diturunkan dari audio.

Buat feature_extraction_<model_name>.py di direktori model. Turunkan dari SequenceFeatureExtractor agar kelas baru mendapatkan perilaku padding bersama, truncation, penyimpanan, dan pemuatan.

from ...feature_extraction_sequence_utils import SequenceFeatureExtractor


class MyModelFeatureExtractor(SequenceFeatureExtractor):
    model_input_names = ["input_features", "attention_mask"]

    def __init__(self, feature_size=80, sampling_rate=16000, padding_value=0.0, **kwargs):
        super().__init__(feature_size=feature_size, sampling_rate=sampling_rate, padding_value=padding_value, **kwargs)

    def __call__(self, raw_speech, sampling_rate=None, **kwargs):
        if sampling_rate is not None and sampling_rate != self.sampling_rate:
            raise ValueError(f"`sampling_rate` must be {self.sampling_rate}, but got {sampling_rate}.")

        # Convert raw_speech to model features here.
        ...

Jaga agar konstruktor tetap kecil dan dapat diserialisasi. Simpan setiap nilai yang diperlukan untuk mereproduksi pra-pemrosesan sebagai atribut instans, dan hindari menyimpan nilai yang hanya digunakan saat runtime seperti file yang terbuka, perangkat, atau array audio yang telah didekode.

Metode __call__ harus memvalidasi laju sampling input ketika pengguna meneruskan sampling_rate. Jika laju input berbeda dari laju yang diharapkan oleh model, lempar error alih-alih melakukan resampling secara diam-diam.

Simpan feature extractor bersama checkpoint dengan menginstansiasikannya di skrip konversi dan memanggil save_pretrained(). Jangan membuat atau mengedit file konfigurasi pra-pemrosesan secara manual.

Lihat Gemma4AudioFeatureExtractor untuk referensi.

Daftarkan kelas

Tambahkan kelas baru ke __all__ di bagian bawah file, lalu buat ulang __init__.py dengan:

python utils/check_inits.py --fix_and_overwrite

Petakan kelas baru ke konfigurasi model agar AutoFeatureExtractor dapat memuatnya. Tambahkan entri ke FEATURE_EXTRACTOR_MAPPING_NAMES di src/transformers/models/auto/feature_extraction_auto.py, mengikuti pola entri di sekitarnya. Kemudian verifikasi bahwa tipe model muncul di sana di bawah FEATURE_EXTRACTOR_MAPPING_NAMES untuk AutoFeatureExtractor.

Pengujian

Tambahkan tes untuk setiap komponen pemrosesan audio di direktori tes model. Tes feature extractor biasanya berada di tests/models/<model_name>/test_feature_extraction_<model_name>.py.

Untuk feature extractor yang mewarisi dari SequenceFeatureExtractor, warisi dari SequenceFeatureExtractionTestMixin. Mixin ini mencakup perilaku simpan dan muat, padding, truncation, konversi tensor, serta properti feature extractor yang umum. Sediakan objek tester dengan prepare_feat_extract_dict() dan prepare_inputs_for_common() agar mixin dapat menginstansiasi feature extractor dan membangun input audio dummy yang pendek.

from ...test_sequence_feature_extraction_common import SequenceFeatureExtractionTestMixin

class MyModelFeatureExtractionTest(SequenceFeatureExtractionTestMixin, unittest.TestCase):
    feature_extraction_class = MyModelFeatureExtractor

    def setUp(self):
        self.feat_extract_tester = MyModelFeatureExtractionTester(self)

Tambahkan pengujian yang berfokus pada perilaku spesifik model yang tidak diketahui oleh mixin. Untuk ekstraktor fitur audio, hal itu biasanya berarti memeriksa bentuk fitur yang dikembalikan oleh __call__, memvalidasi bahwa sampling_rate yang salah memicu error, dan memeriksa normalisasi atau perhitungan fitur khusus apa pun.

Jika model juga memiliki ProcessorMixin yang membungkus feature extractor, tambahkan tests/models/<model_name>/test_processing_<model_name>.py dan warisi dari ProcessorTesterMixin. Atur processor_class dan timpa metode kelas _setup_<component>() untuk komponen yang tidak dapat dikonstruksi tanpa argumen. Gunakan _setup_test_attributes() untuk mengekspos token placeholder yang digunakan oleh tes pemroses umum.

from ...test_processing_common import ProcessorTesterMixin

class MyModelProcessorTest(ProcessorTesterMixin, unittest.TestCase):
    processor_class = MyModelProcessor

    @classmethod
    def _setup_feature_extractor(cls):
        return cls._get_component_class_from_processor("feature_extractor")(sampling_rate=16000)

    @classmethod
    def _setup_test_attributes(cls, processor):
        cls.audio_token = getattr(processor, "audio_token", "")

Langkah selanjutnya

Update on GitHub