# Giao diện: MlxQuantizationConfig ## Hệ thống phân cấp - [`QuantizationConfig`](QuantizationConfig) ↳ **`MlxQuantizationConfig`** ## Có thể lập chỉ mục ▪ [key: `string`]: `unknown` ## Thuộc tính ### bits • `Optional` **bits**: `number` #### Kế thừa từ[[bits.inherited-from]] [QuantizationConfig](QuantizationConfig).[bits](QuantizationConfig#bits) #### Được định nghĩa trong[[bits.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:930](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L930) ___ ### config\_groups • **config\_groups** `Optional`: `Record`\<`string`, \{ `format?`: `string` ; `targets?`: `string`[] ; `weights?`: \{ `num_bits?`: `number` } }\> #### Kế thừa từ[[configgroups.inherited-from]] [QuantizationConfig](QuantizationConfig).[config_groups](QuantizationConfig#config_groups) #### Được định nghĩa trong[[configgroups.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:935](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L935) ___ ### expert\_dtype • **expert\_dtype** `Optional`: `string` Độ chính xác của chuyên gia được định tuyến khi khác với bộ lượng tử hóa chính (ví dụ: chuyên gia FP4 với chú ý FP8). #### Kế thừa từ[[expertdtype.inherited-from]] [QuantizationConfig](QuantizationConfig).[expert_dtype](QuantizationConfig#expert_dtype) #### Được định nghĩa trong[[expertdtype.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:920](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L920) ___ ### format • **format** `Optional`: `string` #### Kế thừa từ[[format.inherited-from]] [QuantizationConfig](QuantizationConfig).[format](QuantizationConfig#format) #### Được định nghĩa trong[[format.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:934](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L934) ___ ### group\_size • **group\_size** `Optional`: `number` #### Kế thừa từ[[groupsize.inherited-from]] [QuantizationConfig](QuantizationConfig).[group_size](QuantizationConfig#group_size) #### Được định nghĩa trong[[groupsize.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:928](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L928) ___ ### ignore • `Optional` **bỏ qua**: `string`[] compressed-tensors đặt tên cho danh sách loại trừ của nó là `ignore` thay vì `modules_to_not_convert`, sử dụng cùng cú pháp đích có tiền tố `re:` như `config_groups[].targets`. #### Kế thừa từ[[ignore.inherited-from]] [QuantizationConfig](QuantizationConfig).[bỏ qua](QuantizationConfig#ignore) #### Được định nghĩa trong[[ignore.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:940](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L940) ___ ### load\_in\_4bit • **load\_in\_4bit** `Optional`: `boolean` #### Kế thừa từ[[loadin4bit.inherited-from]] [QuantizationConfig](QuantizationConfig).[load_in_4bit](QuantizationConfig#load_in_4bit) #### Được định nghĩa trong[[loadin4bit.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:931](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L931) ___ ### load\_in\_8bit • **load\_in\_8bit** `Optional`: `boolean` #### Kế thừa từ[[loadin8bit.inherited-from]] [QuantizationConfig](QuantizationConfig).[load_in_8bit](QuantizationConfig#load_in_8bit) #### Được định nghĩa trong[[loadin8bit.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:932](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L932) ___ ### mode • **mode** `Optional`: `string` Chế độ lượng tử hóa MLX (ví dụ: `affine`); các cấu hình MLX không khai báo `quant_method`. #### Kế thừa từ[[mode.inherited-from]] [QuantizationConfig](QuantizationConfig).[mode](QuantizationConfig#mode) #### Được định nghĩa trong[[mode.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:927](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L927) ___ ### modules\_to\_not\_convert • **modules\_to\_not\_convert** `Optional`: `string`[] #### Kế thừa từ[[modulestonotconvert.inherited-from]] [QuantizationConfig](QuantizationConfig).[modules_to_not_convert](QuantizationConfig#modules_to_not_convert) #### Được định nghĩa trong[[modulestonotconvert.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:929](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L929) ___ ### quant\_algo • **quant\_algo** `Optional`: `string` Thuật toán NVIDIA ModelOpt (`quant_method: "modelopt"`), ví dụ `"NVFP4"`, `"W4A16_NVFP4"`, `"FP8"`, hoặc `"MIXED_PRECISION"` — trong trường hợp đó, thuật toán cho từng module nằm trong `quantized_layers`. #### Kế thừa từ[[quantalgo.inherited-from]] [QuantizationConfig](QuantizationConfig).[quant_algo](QuantizationConfig#quant_algo) #### Được định nghĩa trong[[quantalgo.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:945](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L945) ___ ### quant\_method • **quant\_method** `Optional`: `string` #### Kế thừa từ[[quantmethod.inherited-from]] [QuantizationConfig](QuantizationConfig).[quant_method](QuantizationConfig#quant_method) #### Được định nghĩa trong[[quantmethod.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:918](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L918) ___ ### quantized\_layers • **quantized\_layers** `Optional`: `Record`\<`string`, \{ `quant_algo?`: `string` }\> ModelOpt mixed-precision: tên module (hoặc module cha, ví dụ `…mlp.experts`) -> thuật toán của nó. #### Kế thừa từ[[quantizedlayers.inherited-from]] [QuantizationConfig](QuantizationConfig).[quantized_layers](QuantizationConfig#quantized_layers) #### Được định nghĩa trong[[quantizedlayers.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:947](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L947) ___ ### store\_dtype • **store\_dtype** `Optional`: `string` Đóng vai trò tương tự như `expert_dtype` nhưng dưới một tên khác: MiMo-V2.6 sử dụng `quant_method: "fp8"` cho các lớp dense của nó nhưng lưu các chuyên gia được định tuyến dưới dạng `store_dtype: "mxfp4"`, đóng gói hai mỗi `U8`. #### Kế thừa từ[[storedtype.inherited-from]] [QuantizationConfig](QuantizationConfig).[store_dtype](QuantizationConfig#store_dtype) #### Được định nghĩa trong[[storedtype.defined-in]] [packages/hub/src/lib/parse-safetensors-metadata.ts:925](https://github.com/huggingface/huggingface.js/blob/main/packages/hub/src/lib/parse-safetensors-metadata.ts#L925)