Huggingface.js documentation
الواجهة: QuantizationConfig
الواجهة: QuantizationConfig
التسلسل الهرمي
QuantizationConfig
الخصائص
بت
• Optional bits: number
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groups
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:935
dtype
• Optional expert_dtype: string
دقة الخبراء الموجَّهين عندما تختلف عن مُكمِّم الأساس (مثل خبراء FP4 مع انتباه FP8).
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:920
تنسيق
• format Optional: string
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:934
group _ size
• Optional group_size: number
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:928
تجاهل
• Optional تجاهل: string[]
يُسمّي compressed-tensors قائمة الاستثناءات الخاصة به ignore بدلاً من modules_to_not_convert،
باستخدام نفس صيغة الأهداف المُسبقة ببادئة re: كما في config_groups[].targets.
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:932
الوضع
• mode Optional: string
وضع تكميم MLX (مثل affine); لا تُعلن إعدادات MLX عن quant_method.
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
خوارزمية NVIDIA ModelOpt (quant_method: "modelopt")، مثل "NVFP4"، "W4A16_NVFP4"، "FP8"، أو "MIXED_PRECISION" — وفي هذه الحالة تكون خوارزمية كل وحدة في quantized_layers.
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:918
الطبقات المُكمّاة
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt الدقة المختلطة: اسم الوحدة (أو وحدة أب، مثل …mlp.experts) -> خوارزميتها.
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
نفس دور expert_dtype لكن باسم آخر: طبقات MiMo-V2.6 الكثيفة هي quant_method: "fp8" بينما تُخزَّن الخبراء الموجَّهون كـ store_dtype: "mxfp4"، بواقع اثنين لكل U8.
معرّف في
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub