Huggingface.js documentation
인터페이스: MlxQuantizationConfig
인터페이스: MlxQuantizationConfig
계층 구조
-
↳
MlxQuantizationConfig
인덱싱 가능
▪ [키: string]: unknown
속성
bits
• Optional bits: number
다음에서 상속
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groups
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
다음에서 상속
QuantizationConfig.config_groups
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
주 양자화기와 다른 경우의 라우팅된 전문가 정밀도(예: FP8 어텐션과 함께 FP4 전문가).
다음에서 상속
QuantizationConfig.expert_dtype
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:920
형식
• Optional 형식: string
다음에서 상속
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:934
group_size
• Optional group_size: number
다음에서 상속
QuantizationConfig의 group_size
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore: string[]
compressed-tensors는 제외 목록을 modules_to_not_convert 대신 ignore라고 명명하며, config_groups[].targets와 동일한 re: 접두사 대상 구문을 사용합니다.
다음에서 상속
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
다음에서 상속
QuantizationConfig.load_in_4bit
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
다음에서 상속
QuantizationConfig.load_in_8bit
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode: string
MLX 양자화 모드(예: affine); MLX 설정은 quant_method를 선언하지 않습니다.
다음에서 상속
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
다음에서 상속
QuantizationConfig.modules_to_not_convert
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
NVIDIA ModelOpt(quant_method: "modelopt") 알고리즘, 예: "NVFP4", "W4A16_NVFP4", "FP8", 또는 "MIXED_PRECISION" — 이 경우 모듈별 알고리즘은 quantized_layers에 있습니다.
다음에서 상속
QuantizationConfig의 quant_algo
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
다음에서 상속
QuantizationConfig의 quant_method
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:918
양자화된 _ 레이어
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOpt 혼합 정밀도: 모듈 이름(또는 상위 모듈, 예: …mlp.experts) -> 해당 알고리즘.
다음에서 상속
QuantizationConfig.quantized_layers
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store_dtype
• Optional store_dtype: string
expert_dtype와 동일한 역할을 다른 이름으로 수행합니다: MiMo-V2.6은 dense 레이어에 대해 quant_method: "fp8"를 사용하지만, 라우팅된 전문가(experts)는 store_dtype: "mxfp4"로 저장하며, U8 하나당 두 개씩 패킹합니다.
다음에서 상속
QuantizationConfig의 store_dtype
정의 위치
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub