Transformers documentation

SarvamMLA

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.24.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Model ini disumbangkan ke Hugging Face Transformers pada 2026-11-19.

SarvamMLA

Ikhtisar

SarvamMLA adalah model bahasa Mixture of Experts (MoE) dengan 105 miliar parameter yang dikembangkan oleh Sarvam AI. Model ini menggunakan Multi-head Latent Attention (MLA) yang dikombinasikan dengan routing MoE sparse, dengan arsitektur yang identik dengan DeepSeek-V3.

Fitur arsitektur utama:

  • Multi-head Latent Attention (MLA): Kompresi KV ber-rank rendah dengan RoPE yang dipisahkan, mengurangi memori cache KV sambil mempertahankan kinerja.
  • Sparse Mixture of Experts: 128 pakar yang dirutekan dengan 8 aktif per token, ditambah 1 pakar bersama. Lapisan pertama menggunakan MLP padat.
  • DeepSeek YaRN RoPE: Dukungan konteks diperluas hingga 131K token melalui YaRN rotary position embeddings.
  • Perutean sigmoid dengan top-k berbasis grup: Perutean pilihan token menggunakan skor sigmoid dengan koreksi bias ahli dan seleksi yang sadar grup.

Model ini menggunakan arsitektur DeepSeek-V3 dengan konfigurasi khusus. Lihat dokumentasi DeepSeek-V3 untuk referensi model dan forward.

Penggunaan

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sarvamai/sarvam-105b",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")

inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

SarvamMLAConfig

kelas transformers.SarvamMLAConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )

Parameter

  • vocab_size (int, opsional, default 262144) — Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan oleh input_ids.
  • hidden_size (int, opsional, default 4096) — Dimensi dari representasi tersembunyi.
  • intermediate_size (int, opsional, default 16384) — Dimensi representasi MLP.
  • moe_intermediate_size (int, opsional, default 2048) — Ukuran intermediate dari MLP expert yang di-rutekan.
  • num_hidden_layers (int, opsional, default 32) — Jumlah lapisan tersembunyi dalam decoder Transformer.
  • num_attention_heads (int, opsional, default 64) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer.
  • num_key_value_heads (int, opsional) — Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jika num_key_value_heads=num_attention_heads, model akan menggunakan Multi Head Attention (MHA), jika num_key_value_heads=1 model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengkonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam grup tersebut. Untuk detail lebih lanjut, lihat paper ini. Jika tidak ditentukan, akan default ke num_attention_heads.
  • n_shared_experts (int, opsional, defaultnya 1) — Jumlah expert yang dibagikan.
  • n_routed_experts (int, opsional, default 128) — Jumlah expert yang dirutekan.
  • output_router_logits (bool, opsional, default False) — Apakah logits router harus dikembalikan oleh model. Mengaktifkan ini juga akan memungkinkan model untuk mengoutput loss tambahan, termasuk load balancing loss dan router z-loss.
  • routed_scaling_factor (float, opsional, defaultnya 2.5) — Faktor penskalaan untuk pakar yang di-rutekan.
  • kv_lora_rank (int, opsional, default 512) — Rank dari matriks LoRA untuk proyeksi key dan value.
  • q_lora_rank (int, opsional) — Rank dari matriks LoRA untuk proyeksi query.
  • qk_rope_head_dim (int, opsional, default 64) — Dimensi dari head query/key yang menggunakan rotary position embeddings.
  • v_head_dim (int, opsional, default 128) — Dimensi dari kepala nilai.
  • qk_nope_head_dim (int, opsional, default 128) — Dimensi dari head query/key yang tidak menggunakan rotary position embeddings.
  • n_group (int, opsional, default 1) — Jumlah grup untuk pakar yang dirutekan. Checkpoint yang dirilis merutekan ke semua pakar sekaligus.
  • topk_group (int, opsional, default 1) — Jumlah grup yang dipilih untuk setiap token.
  • num_experts_per_tok (int, opsional, default 8) — Jumlah expert yang akan menerima setiap token. Ini adalah nilai top-k untuk routing pemilihan token.
  • first_k_dense_replace (int, opsional, default 1) — Jumlah lapisan dense pada lapisan dangkal (embed->dense->moe->moe…->lm_head). --k lapisan dense—/
  • norm_topk_prob (bool, opsional, default True) — Apakah akan menormalisasi bobot dari para ahli yang dirutekan.
  • hidden_act (str, opsional, defaultnya silu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, "gelu", "relu", "silu", dan sebagainya.
  • max_position_embeddings (int, opsional, default 4096) — Panjang maksimum urutan yang mungkin digunakan dengan model ini.
  • initializer_range (float, opsional, defaultnya 0.006) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.
  • rms_norm_eps (float, opsional, defaultnya 1e-06) — Epsilon yang digunakan oleh lapisan normalisasi rms.
  • use_cache (bool, opsional, defaultnya True) — Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jika config.is_decoder=True atau ketika model adalah model generatif yang hanya decoder.
  • pad_token_id (int, opsional) — ID token yang digunakan untuk padding dalam kosakata.
  • bos_token_id (int, opsional, default 0) — ID token yang digunakan untuk awal aliran (beginning-of-stream) dalam kosakata.
  • eos_token_id (Union[int, list[int]], opsional, default 1) — ID token yang digunakan untuk end-of-stream dalam kosakata.
  • pretraining_tp (int, opsional, default 1) — Fitur eksperimental. Rank tensor parallelism yang digunakan selama pretraining. Silakan lihat dokumen ini untuk memahaminya lebih lanjut. Nilai ini diperlukan untuk memastikan reproduktibilitas hasil pretraining secara persis. Silakan lihat isu ini.
  • tie_word_embeddings (bool, opsional, default False) — Apakah akan mengikat bobot embedding sesuai dengan pemetaan tied_weights_keys model.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], opsional) — Kamus yang berisi parameter konfigurasi untuk embedding RoPE. Kamus tersebut harus berisi nilai untuk rope_theta dan secara opsional parameter yang digunakan untuk penskalaan jika Anda ingin menggunakan RoPE dengan max_position_embeddings yang lebih panjang.
  • rope_interleave (bool, opsional, default True) — Apakah akan menginterleavingkan embedding posisi rotasi.
  • attention_bias (bool, opsional, default False) — Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention.
  • attention_dropout (Union[float, int], opsional, default 0.0) — Rasio dropout untuk probabilitas perhatian.
  • num_mtp_layers (int, opsional, default 0) — Jumlah modul Multi-Token Prediction (MTP) yang tersedia untuk ditambahkan setelah model transformer dasar. Checkpoint yang dirilis tidak mencakup bobot MTP.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari DeepseekV3Model. Kelas ini digunakan untuk menginstansiasi model Sarvam Mla sesuai dengan argumen yang ditentukan, yang mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari sarvamai/sarvam-105b

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

Contoh:

>>> from transformers import SarvamMLAConfig

>>> # Initializing a SarvamMLA style configuration
>>> configuration = SarvamMLAConfig()

>>> # Accessing the model configuration
>>> configuration = model.config
Update on GitHub