跳到正文
原文
TensorFlow Blog· TensorFlow Blog·· 2024-04-10AI 评分49

XNNPack 支持动态范围量化,加速 TensorFlow Lite CPU 推理

Faster Dynamically Quantized Inference with XNNPack

AI 导读

XNNPack 为 TensorFlow Lite 的 Fully Connected 和 Convolution 2D 算子加入动态范围量化支持,CPU 推理性能较 fp32 基线提升 4 倍。

来源:TensorFlow Blog · blog.tensorflow.org