# SarvamMLA

## Ikhtisar

SarvamMLA adalah model bahasa Mixture of Experts (MoE) dengan 105 miliar parameter yang dikembangkan oleh [Sarvam AI](https://www.sarvam.ai/). Model ini menggunakan Multi-head Latent Attention (MLA) yang dikombinasikan dengan routing MoE sparse, dengan arsitektur yang identik dengan DeepSeek-V3.

Fitur arsitektur utama:

- **Multi-head Latent Attention (MLA)**: Kompresi KV ber-rank rendah dengan RoPE yang dipisahkan, mengurangi memori cache KV sambil mempertahankan kinerja.
- **Sparse Mixture of Experts**: 128 pakar yang dirutekan dengan 8 aktif per token, ditambah 1 pakar bersama. Lapisan pertama menggunakan MLP padat.
- **DeepSeek YaRN RoPE**: Dukungan konteks diperluas hingga 131K token melalui YaRN rotary position embeddings.
- **Perutean sigmoid dengan top-k berbasis grup**: Perutean pilihan token menggunakan skor sigmoid dengan koreksi bias ahli dan seleksi yang sadar grup.

Model ini menggunakan arsitektur DeepSeek-V3 dengan konfigurasi khusus. Lihat [dokumentasi DeepSeek-V3](deepseek_v3) untuk referensi model dan forward.

## Penggunaan

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sarvamai/sarvam-105b",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-105b")

inputs = tokenizer("Hello, how are you?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

## SarvamMLAConfig[[transformers.SarvamMLAConfig]]

#### transformers.SarvamMLAConfig[[transformers.SarvamMLAConfig]]

```python
transformers.SarvamMLAConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 262144, hidden_size: int = 4096, intermediate_size: int = 16384, moe_intermediate_size: int = 2048, num_hidden_layers: int = 32, num_attention_heads: int = 64, num_key_value_heads: int | None = None, n_shared_experts: int = 1, n_routed_experts: int = 128, output_router_logits: bool = False, routed_scaling_factor: float = 2.5, kv_lora_rank: int = 512, q_lora_rank: int | None = None, qk_rope_head_dim: int = 64, v_head_dim: int | None = 128, qk_nope_head_dim: int = 128, n_group: int | None = 1, topk_group: int | None = 1, num_experts_per_tok: int | None = 8, first_k_dense_replace: int | None = 1, norm_topk_prob: bool | None = True, hidden_act: str = 'silu', max_position_embeddings: int = 4096, initializer_range: float = 0.006, rms_norm_eps: float = 1e-06, use_cache: bool = True, pad_token_id: int | None = None, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 1, pretraining_tp: int | None = 1, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, rope_interleave: bool | None = True, attention_bias: bool = False, attention_dropout: float | int | None = 0.0, num_mtp_layers: int = 0)
```

[Sumber](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sarvam_mla/configuration_sarvam_mla.py#L33)

**Parameter:**

vocab_size (`int`, *opsional*, defaultnya `262144`) : Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan oleh `input_ids`.

hidden_size (`int`, *opsional*, defaultnya `4096`) : Dimensi dari representasi tersembunyi.

intermediate_size (`int`, *opsional*, defaultnya `16384`) : Dimensi dari representasi MLP.

moe_intermediate_size (`int`, *opsional*, defaultnya `2048`) : Ukuran perantara dari MLP pakar yang dirutekan.

num_hidden_layers (`int`, *opsional*, defaultnya `32`) : Jumlah lapisan tersembunyi dalam decoder Transformer.

num_attention_heads (`int`, *opsional*, defaultnya `64`) : Jumlah attention heads untuk setiap lapisan attention dalam decoder Transformer.

num_key_value_heads (`int`, *opsional*) : Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jika `num_key_value_heads=num_attention_heads`, model akan menggunakan Multi Head Attention (MHA), jika `num_key_value_heads=1` model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam grup tersebut. Untuk detail lebih lanjut, lihat [paper ini](https://huggingface.co/papers/2305.13245). Jika tidak ditentukan, akan default ke `num_attention_heads`.

n_shared_experts (`int`, *opsional*, defaultnya `1`) : Jumlah pakar bersama.

n_routed_experts (`int`, *opsional*, defaultnya `128`) : Jumlah pakar yang dirutekan.

output_router_logits (`bool`, *opsional*, defaultnya `False`) : Apakah logits router harus dikembalikan oleh model. Mengaktifkan ini juga akan memungkinkan model untuk mengoutputkan loss tambahan, termasuk load balancing loss dan router z-loss.

routed_scaling_factor (`float`, *opsional*, defaultnya `2.5`) : Faktor penskalaan atau pakar yang dialihkan.

kv_lora_rank (`int`, *opsional*, defaultnya `512`) : Rank dari matriks LoRA untuk proyeksi key dan value.

q_lora_rank (`int`, *opsional*) : Rank dari matriks LoRA untuk proyeksi query.

qk_rope_head_dim (`int`, *opsional*, defaultnya `64`) : Dimensi dari kepala query/key yang menggunakan penyematan posisi rotasi.

v_head_dim (`int`, *opsional*, defaultnya `128`) : Dimensi dari kepala nilai.

qk_nope_head_dim (`int`, *opsional*, defaultnya `128`) : Dimensi dari kepala query/key yang tidak menggunakan penyematan posisi rotasi.

n_group (`int`, *opsional*, default 1) : Jumlah grup untuk pakar yang dirutekan. Checkpoint yang dirilis merutekan ke semua pakar sekaligus.

topk_group (`int`, *opsional*, default 1) : Jumlah grup yang dipilih untuk setiap token.

num_experts_per_tok (`int`, *opsional*, defaultnya `8`) : Jumlah pakar untuk merutekan setiap token. Ini adalah nilai top-k untuk perutekan pilihan token.

first_k_dense_replace (`int`, *opsional*, default 1) : Jumlah lapisan dense di lapisan dangkal (embed->dense->moe->moe...->lm_head). \--k lapisan dense--/

norm_topk_prob (`bool`, *opsional*, defaultnya `True`) : Apakah akan menormalisasi bobot dari para ahli yang dirutekan.

hidden_act (`str`, *opsional*, defaultnya `silu`) : Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, `"gelu"`, `"relu"`, `"silu"`, dan sebagainya.

max_position_embeddings (`int`, *opsional*, defaultnya `4096`) : Panjang urutan maksimum yang mungkin digunakan oleh model ini.

initializer_range (`float`, *opsional*, defaultnya `0.006`) : Deviasi standar dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.

rms_norm_eps (`float`, *opsional*, defaultnya `1e-06`) : Epsilon yang digunakan oleh lapisan normalisasi rms.

use_cache (`bool`, *opsional*, defaultnya `True`) : Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jika `config.is_decoder=True` atau ketika model adalah model generatif yang hanya decoder.

pad_token_id (`int`, *opsional*) : ID token yang digunakan untuk padding dalam kosakata.

bos_token_id (`int`, *opsional*, defaultnya `0`) : Token id yang digunakan untuk awal-stream dalam kosakata.

eos_token_id (`Union[int, list[int]]`, *opsional*, defaultnya `1`) : Token id yang digunakan untuk end-of-stream dalam kosakata.

pretraining_tp (`int`, *opsional*, defaultnya `1`) : Fitur eksperimental. Rank parallelism tensor yang digunakan selama pretraining. Silakan lihat [dokumen ini](https://huggingface.co/docs/transformers/main/perf_train_gpu_many#tensor-parallelism) untuk memahami lebih lanjut tentang hal ini. Nilai ini diperlukan untuk memastikan reproduktibilitas hasil pretraining yang persis. Silakan lihat [isu ini](https://github.com/pytorch/pytorch/issues/76232).

tie_word_embeddings (`bool`, *opsional*, defaultnya `False`) : Apakah mengikat embedding bobot sesuai dengan pemetaan `tied_weights_keys` model.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *opsional*) : Dictionary yang berisi parameter konfigurasi untuk embedding RoPE. Dictionary harus berisi nilai untuk `rope_theta` dan secara opsional parameter yang digunakan untuk scaling jika Anda ingin menggunakan RoPE dengan `max_position_embeddings` yang lebih panjang.

rope_interleave (`bool`, *opsional*, defaultnya `True`) : Apakah akan menginterleavingkan embedding posisi rotasi.

attention_bias (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention.

attention_dropout (`Union[float, int]`, *opsional*, defaultnya `0.0`) : Rasio dropout untuk probabilitas perhatian.

num_mtp_layers (`int`, *opsional*, default 0) : Jumlah modul Multi-Token Prediction (MTP) yang tersedia untuk ditambahkan setelah model transformer dasar. Checkpoint yang dirilis tidak mencakup bobot MTP.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari DeepseekV3Model. Kelas ini digunakan untuk menginstansiasi model Sarvam Mla sesuai dengan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Menginstansiasi konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari [sarvamai/sarvam-105b](https://huggingface.co/sarvamai/sarvam-105b)

Objek konfigurasi mewarisi dari [PreTrainedConfig](/docs/transformers/main/id/main_classes/configuration#transformers.PreTrainedConfig) dan dapat digunakan untuk mengontrol keluaran model. Baca dokumentasi dari [PreTrainedConfig](/docs/transformers/main/id/main_classes/configuration#transformers.PreTrainedConfig) untuk informasi lebih lanjut.

Contoh:

```python
>>> from transformers import SarvamMLAConfig

>>> # Initializing a SarvamMLA style configuration
>>> configuration = SarvamMLAConfig()

>>> # Accessing the model configuration
>>> configuration = model.config
```

