稀疏掩码设计

LoRI技术如何解决大型语言模型灾难性遗忘问题？多任务学习性能提升70%

大型语言模型微调时经常遇到一个有趣现象——模型学会新任务的同时，似乎会逐渐遗忘之前掌握的能力。这种现象在技术领域被称为"灾难性遗忘"。传统LoRA方法在多任务场景下就像让一个人同时学习钢琴和小提琴，手指动作难免互相干扰。 LoRI技术原理与核心创新 LoRI技术的核心思路相当巧妙。想象一下，你在学习新技能时，大脑会自动区分哪些神经通路需要强化，哪些保持原状就好。LoRI采用类似的策略，通过冻结投影矩阵作为随机投影，就像固定了基础学习框架。 特定任务的稀疏掩码是这项技术的精髓所在。它允许模型在每个任务中只激活部分参数...