这张卡片笔记我写了两天，花费超过2个小时，虽然现在貌似完成了，但我依然觉得写得很不好。所以，今天在刚开始写的时候，我就和自己说：不管怎样今天一定要写出来，先不管好不好，先完成再完善，不然老是卡在这里。 主要是卡在写个人体验的部分，我实际上是想写“很多人知道阅读很重要却总是不愿意行动”这个方向的，因为我知道这张卡在我未来写关于阅读主题的书时，是一定能用得到的，但是尝试了好几次都表达不出来，于是选择了…

经验谈不上，教训有很多，先想到这么几个： 用成熟的分布式训练框架：多用 DeepSpeed，少用 Pytorch 原生的 torchrun。在节点数量较少的情况下，使用哪种训练框架并不是特别重要；然而，一旦涉及到数百个节点，DeepSpeed的优点就显得很明显，其简便的启动和便于性能分析的特点使其成为理想之选。 弹性容错和自动重启机制：大模型训练不是以往那种单机训个几小时就结束的任务，往往需要训练好几周甚至好几个月，这时候你就知道能…