Huggingface.js documentation
Giao diện: MlxQuantizationConfig
Giao diện: MlxQuantizationConfig
Hệ thống phân cấp
-
↳
MlxQuantizationConfig
Có thể lập chỉ mục
▪ [key: string]: unknown
Thuộc tính
bits
• Optional bits: number
Kế thừa từ
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groups
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Kế thừa từ
QuantizationConfig.config_groups
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
Độ chính xác của chuyên gia được định tuyến khi khác với bộ lượng tử hóa chính (ví dụ: chuyên gia FP4 với chú ý FP8).
Kế thừa từ
QuantizationConfig.expert_dtype
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:920
format
• format Optional: string
Kế thừa từ
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:934
cỡ nhóm
• group_size Optional: number
Kế thừa từ
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional bỏ qua: string[]
compressed-tensors đặt tên cho danh sách loại trừ của nó là ignore thay vì modules_to_not_convert,
sử dụng cùng cú pháp đích có tiền tố re: như config_groups[].targets.
Kế thừa từ
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ trong _ 4bit
• load_in_4bit Optional: boolean
Kế thừa từ
QuantizationConfig.load_in_4bit
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• load_in_8bit Optional: boolean
Kế thừa từ
QuantizationConfig.load_in_8bit
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• mode Optional: string
Chế độ lượng tử hóa MLX (ví dụ: affine); các cấu hình MLX không khai báo quant_method.
Kế thừa từ
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
Kế thừa từ
QuantizationConfig.modules_to_not_convert
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
Thuật toán NVIDIA ModelOpt (quant_method: "modelopt"), ví dụ "NVFP4", "W4A16_NVFP4", "FP8",
hoặc "MIXED_PRECISION" — trong trường hợp đó, thuật toán cho từng module nằm trong quantized_layers.
Kế thừa từ
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
Kế thừa từ
QuantizationConfig.quant_method
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:918
tầng đã lượng tử hóa
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt mixed-precision: tên module (hoặc module cha, ví dụ …mlp.experts) -> thuật toán của nó.
Kế thừa từ
QuantizationConfig.quantized_layers
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:947
lưu trữ _ dtype
• Optional store_dtype: string
Đóng vai trò tương tự như expert_dtype nhưng dưới một tên khác: MiMo-V2.6 sử dụng quant_method: "fp8" cho các lớp dense của nó nhưng lưu các chuyên gia được định tuyến dưới dạng store_dtype: "mxfp4", đóng gói hai mỗi U8.
Kế thừa từ
QuantizationConfig.store_dtype
Được định nghĩa trong
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub