Was ist Quantisierung bei Sprachmodellen und wann verwende ich INT8 oder FP16?

quantisierung #Sprachmodelle #Quantization #INT #FP #shorts.