TensorFlow Blog· TensorFlow Blog·· 2024-04-10AI 评分49
XNNPack 支持动态范围量化,加速 TensorFlow Lite CPU 推理
Faster Dynamically Quantized Inference with XNNPack
AI 导读
XNNPack 为 TensorFlow Lite 的 Fully Connected 和 Convolution 2D 算子加入动态范围量化支持,CPU 推理性能较 fp32 基线提升 4 倍。
来源:TensorFlow Blog · blog.tensorflow.org