LLM 训练能不能少跑一点？Nous Research 的 TST 方法

大模型预训练的开销非常高，这已经不是新鲜事。随着模型规模的不断扩大，训练数据需求会持续增加，训练周期和算力成本也越来越难以忽视。因此，过去一两年，LLM 研发团队一直在尝试提升 LLM 预训练的效率。