当网络模型全部int8量化或者uint8量化时效果不好时,可以使用rknn-toolkit2对模型进行混合量化,但是官方给的文档写的太模糊了,所以这里补充一些tip
1.在python step1.py
后会生成几个文件,其中一个为xxx.cfg,主要用来修改混合精度的,以rk3588为例(rk3588支持float16 ,rk356x支持float32),custom_quantize_layers
就是修改混合精度的地方,比如要改这3层为混合量化,修改的结果见图2
时间:2020-06-14 11:19:51
当网络模型全部int8量化或者uint8量化时效果不好时,可以使用rknn-toolkit2对模型进行混合量化,但是官方给的文档写的太模糊了,所以这里补充一些tip
1.在python step1.py
后会生成几个文件,其中一个为xxx.cfg,主要用来修改混合精度的,以rk3588为例(rk3588支持float16 ,rk356x支持float32),custom_quantize_layers
就是修改混合精度的地方,比如要改这3层为混合量化,修改的结果见图2
广西桂林市中考满分作文-为了地球的明天1200字作文素材大全
2024-07-30