AI 常用概念

精度对模型的影响

浮点数据类型主要分为双精度（FP64）、单精度（FP32）、半精度（FP16）。

深度学习模型训练好之后，其权重参数在一定程度上是冗余的，在很多任务上，我们可以采用低精度

好处

减少内存，显存，存储占用：FP16的位宽是FP32的一半，因此权重等参数所占用的内存也是原来的一半，节省下来的内存可以放更大的网络模型或者使用更多的数据进行训练。
加快通讯效率：针对分布式训练，特别是在大模型训练的过程中，通讯的开销制约了网络模型训练的整体性能，通讯的位宽少了意味着可以提升通讯性能，减少等待时间，加快数据的流通。
计算效率更高：使用FP16的执行运算性能比FP32更加快
降低功耗
支持微处理器，有些微处理器属于8位的，低功耗运行浮点运算速度慢，需要进行8bit量化

可以让模型在边缘集群或终端机器运行。

坏处

精度损失，推理精度确实下降

https://docs.qq.com/doc/DSXRta1hoTmdieHRK

LLM全参微调，模型评测，从0到1落地，紧跟社区