Huggingface.js documentation
Arayüz: MlxQuantizationConfig
Arayüz: MlxQuantizationConfig
Hiyerarşi
-
↳
MlxQuantizationConfig
Dizinlenebilir
▪ [anahtar: string]: unknown
Özellikler
bits
• Optional bits: number
Şuradan devralınır
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ grupları
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Şuradan devralınır
QuantizationConfig.config_groups
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Ana kuantizörden farklı olduğunda yönlendirilmiş uzman hassasiyeti (ör. FP8 dikkat ile FP4 uzmanlar).
Şuradan devralınır
QuantizationConfig.expert_dtype
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:920
biçim
• Optional format: string
Şuradan devralınır
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:934
grup _ boyutu
• Optional group_size: number
Şuradan devralınır
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:928
yoksay
• Optional yoksay: string[]
compressed-tensors, hariç tutma listesini modules_to_not_convert yerine ignore olarak adlandırır ve config_groups[].targets ile aynı re: önekli hedef sözdizimini kullanır.
Şuradan devralınır
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
Şuradan devralınır
QuantizationConfig.load_in_4bit
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
Şuradan devralınır
QuantizationConfig.load_in_8bit
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode: string
MLX kuantizasyon modu (ör. affine); MLX yapılandırmaları quant_method belirtmez.
Şuradan devralınır
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
Şuradan devralınır
QuantizationConfig.modules_to_not_convert
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
NVIDIA ModelOpt (quant_method: "modelopt") algoritması, örn. "NVFP4", "W4A16_NVFP4", "FP8" veya "MIXED_PRECISION" — bu durumda modül başına algoritma quantized_layers içindedir.
Şuradan devralınır
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant_method
• Optional quant_method: string
Şuradan devralınır
QuantizationConfig.quant_method
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:918
kuantize _ katmanlar
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt karma hassasiyet: modül adı (veya üst modül, örn. …mlp.experts) -> algoritması.
Şuradan devralınır
QuantizationConfig.quantized_layers
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
expert_dtype'nin başka bir adla aynı rolü: MiMo-V2.6, yoğun katmanları için quant_method: "fp8" kullanırken yönlendirilmiş uzmanları store_dtype: "mxfp4" olarak saklar, her U8 içinde ikisi paketlenmiş şekilde.
Şuradan devralınır
QuantizationConfig.store_dtype
Tanımlandığı yer
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub