年前，我们在做长文支持时，就有思考，为什么现在的大规模分布式训练系统（预训练）都是基于限定长度的seqlen，即使在多个长文的支持时，也是通过不同的训练任务来通常重载checkpoint去增强相关能力。为什么一定要如此整齐的数据，从样本层面的话，一定是 ...