TensorFlow 模型优化工具包可最大限度地降低优化机器学习推断的复杂性。
在部署机器学习模型时,推断效率是一个关键考虑因素,因为延迟时间和内存利用率会受到影响,并且在很多情况下还会影响耗电量。尤其是在边缘设备(例如移动设备和物联网 (IoT) 设备)上,由于资源受到进一步限制,因此模型大小和计算效率成为一个主要考虑因素。
随着在不同架构上训练的模型数量不断增多,训练作业的计算需求也会不断提高;而推断作业的计算需求的增长速度与用户数量成比例。
模型优化具有很多优势,例如:
模型优化领域涉及多种技术:
我们的工具包支持训练后量化、量化感知训练、剪枝和聚类。该工具包还为协作优化提供实验性支持,以便结合使用不同技术。
量化模型是指以更低的精度(例如 8 位整数而非 32 位浮点数)表示模型。必须降低精度,才能利用某些硬件。
在稀疏模型中,各运算符(即神经网络层)之间的连接已被剪枝,并在参数张量中引入了零。
在聚类模型中,原始模型的参数被替换为较少数量的唯一值。
该工具包为协作优化提供实验性支持。这样您可以利用结合多种模型压缩技术带来的好处,同时通过量化感知训练提高准确率。