梦到遍地是雪：表示你最近会有喜事，或是让人开心快乐的事会一件一件跟着来。

梦见火山爆发遍地宝石遍地宝石

经验谈不上，教训有很多，先想到这么几个： 用成熟的分布式训练框架：多用 DeepSpeed，少用 Pytorch 原生的 torchrun。在节点数量较少的情况下，使用哪种训练框架并不是特别重要；然而，一旦涉及到数百个节点，DeepSpeed的优点就显得很明显，其简便的启动和便于性能分析的特点使其成为理想之选。 弹性容错和自动重启机制：大模型训练不是以往那种单机训个几小时就结束的任务，往往需要训练好几周甚至好几个月，这时候你就知道能…