什么是大模型外推性？

外推性 #card

• 是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。

• 例如，如果一个模型在训练时只使用了512个 token 的文本，那么在预测时如果输入超过512个 token，模型可能无法正确处理。

• 这就限制了大模型在处理长文本或多轮对话等任务时的效果。