Transformers documentation
SarvamMLA
Model ini disumbangkan ke Hugging Face Transformers pada 2026-11-19.
SarvamMLA
Ikhtisar
SarvamMLA adalah model bahasa Mixture of Experts (MoE) dengan 105 miliar parameter yang dikembangkan oleh Sarvam AI. Model ini menggunakan Multi-head Latent Attention (MLA) yang dikombinasikan dengan routing MoE sparse, dengan arsitektur yang identik dengan DeepSeek-V3.
Fitur arsitektur utama:
- Multi-head Latent Attention (MLA): Kompresi KV ber-rank rendah dengan RoPE yang dipisahkan, mengurangi memori cache KV sambil mempertahankan kinerja.
- Sparse Mixture of Experts: 128 pakar yang dirutekan dengan 8 aktif per token, ditambah 1 pakar bersama. Lapisan pertama menggunakan MLP padat.
- DeepSeek YaRN RoPE: Dukungan konteks diperluas hingga 131K token melalui YaRN rotary position embeddings.
- Perutean sigmoid dengan top-k berbasis grup: Perutean pilihan token menggunakan skor sigmoid dengan koreksi bias ahli dan seleksi yang sadar grup.
Model ini menggunakan arsitektur DeepSeek-V3 dengan konfigurasi khusus. Lihat dokumentasi DeepSeek-V3 untuk referensi model dan forward.
Penggunaan
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"sarvamai/sarvam-105b",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")
inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))SarvamMLAConfig
kelas transformers.SarvamMLAConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 16384moe_intermediate_size: int = 2048num_hidden_layers: int = 32num_attention_heads: int = 64num_key_value_heads: int | None = Nonen_shared_experts: int = 1n_routed_experts: int = 128output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int | None = Noneqk_rope_head_dim: int = 64v_head_dim: int | None = 128qk_nope_head_dim: int = 128n_group: int | None = 1topk_group: int | None = 1num_experts_per_tok: int | None = 8first_k_dense_replace: int | None = 1norm_topk_prob: bool | None = Truehidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1pretraining_tp: int | None = 1tie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Nonerope_interleave: bool | None = Trueattention_bias: bool = Falseattention_dropout: float | int | None = 0.0num_mtp_layers: int = 0 )
Parameter
- vocab_size (
int, opsional, default262144) — Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan olehinput_ids. - hidden_size (
int, opsional, default4096) — Dimensi dari representasi tersembunyi. - intermediate_size (
int, opsional, default16384) — Dimensi representasi MLP. - moe_intermediate_size (
int, opsional, default2048) — Ukuran intermediate dari MLP expert yang di-rutekan. - num_hidden_layers (
int, opsional, default32) — Jumlah lapisan tersembunyi dalam decoder Transformer. - num_attention_heads (
int, opsional, default64) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer. - num_key_value_heads (
int, opsional) — Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jikanum_key_value_heads=num_attention_heads, model akan menggunakan Multi Head Attention (MHA), jikanum_key_value_heads=1model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengkonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam grup tersebut. Untuk detail lebih lanjut, lihat paper ini. Jika tidak ditentukan, akan default kenum_attention_heads. - n_shared_experts (
int, opsional, defaultnya1) — Jumlah expert yang dibagikan. - n_routed_experts (
int, opsional, default128) — Jumlah expert yang dirutekan. - output_router_logits (
bool, opsional, defaultFalse) — Apakah logits router harus dikembalikan oleh model. Mengaktifkan ini juga akan memungkinkan model untuk mengoutput loss tambahan, termasuk load balancing loss dan router z-loss. - routed_scaling_factor (
float, opsional, defaultnya2.5) — Faktor penskalaan untuk pakar yang di-rutekan. - kv_lora_rank (
int, opsional, default512) — Rank dari matriks LoRA untuk proyeksi key dan value. - q_lora_rank (
int, opsional) — Rank dari matriks LoRA untuk proyeksi query. - qk_rope_head_dim (
int, opsional, default64) — Dimensi dari head query/key yang menggunakan rotary position embeddings. - v_head_dim (
int, opsional, default128) — Dimensi dari kepala nilai. - qk_nope_head_dim (
int, opsional, default128) — Dimensi dari head query/key yang tidak menggunakan rotary position embeddings. - n_group (
int, opsional, default 1) — Jumlah grup untuk pakar yang dirutekan. Checkpoint yang dirilis merutekan ke semua pakar sekaligus. - topk_group (
int, opsional, default 1) — Jumlah grup yang dipilih untuk setiap token. - num_experts_per_tok (
int, opsional, default8) — Jumlah expert yang akan menerima setiap token. Ini adalah nilai top-k untuk routing pemilihan token. - first_k_dense_replace (
int, opsional, default 1) — Jumlah lapisan dense pada lapisan dangkal (embed->dense->moe->moe…->lm_head). --k lapisan dense—/ - norm_topk_prob (
bool, opsional, defaultTrue) — Apakah akan menormalisasi bobot dari para ahli yang dirutekan. - hidden_act (
str, opsional, defaultnyasilu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya,"gelu","relu","silu", dan sebagainya. - max_position_embeddings (
int, opsional, default4096) — Panjang maksimum urutan yang mungkin digunakan dengan model ini. - initializer_range (
float, opsional, defaultnya0.006) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot. - rms_norm_eps (
float, opsional, defaultnya1e-06) — Epsilon yang digunakan oleh lapisan normalisasi rms. - use_cache (
bool, opsional, defaultnyaTrue) — Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jikaconfig.is_decoder=Trueatau ketika model adalah model generatif yang hanya decoder. - pad_token_id (
int, opsional) — ID token yang digunakan untuk padding dalam kosakata. - bos_token_id (
int, opsional, default0) — ID token yang digunakan untuk awal aliran (beginning-of-stream) dalam kosakata. - eos_token_id (
Union[int, list[int]], opsional, default1) — ID token yang digunakan untuk end-of-stream dalam kosakata. - pretraining_tp (
int, opsional, default1) — Fitur eksperimental. Rank tensor parallelism yang digunakan selama pretraining. Silakan lihat dokumen ini untuk memahaminya lebih lanjut. Nilai ini diperlukan untuk memastikan reproduktibilitas hasil pretraining secara persis. Silakan lihat isu ini. - tie_word_embeddings (
bool, opsional, defaultFalse) — Apakah akan mengikat bobot embedding sesuai dengan pemetaantied_weights_keysmodel. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], opsional) — Kamus yang berisi parameter konfigurasi untuk embedding RoPE. Kamus tersebut harus berisi nilai untukrope_thetadan secara opsional parameter yang digunakan untuk penskalaan jika Anda ingin menggunakan RoPE denganmax_position_embeddingsyang lebih panjang. - rope_interleave (
bool, opsional, defaultTrue) — Apakah akan menginterleavingkan embedding posisi rotasi. - attention_bias (
bool, opsional, defaultFalse) — Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention. - attention_dropout (
Union[float, int], opsional, default0.0) — Rasio dropout untuk probabilitas perhatian. - num_mtp_layers (
int, opsional, default 0) — Jumlah modul Multi-Token Prediction (MTP) yang tersedia untuk ditambahkan setelah model transformer dasar. Checkpoint yang dirilis tidak mencakup bobot MTP.
Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari DeepseekV3Model. Kelas ini digunakan untuk menginstansiasi model Sarvam Mla sesuai dengan argumen yang ditentukan, yang mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari sarvamai/sarvam-105b
Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.