[性能问题] 1.13.0 版本训练 LoHa 时 GPU 占用率无法跑满，低于 1.12.0 版本

[zhongyumo001]

在使用 1.13.0 版本进行 LoHa 训练时，发现 GPU 占用率相比 1.12.0 版本有明显下降。
在 1.12.0 版本中，显卡可以稳定保持在 99% 的满载状态；
更新到 1.13.0 版本后，使用相同的参数和数据集，GPU 占用率出现波动（锯齿状），平均只有 90% 左右（甚至更低），无法跑满。