突破万次连续编辑极限,中科院提出首个理论保稳的知识保留方法

LyapLock首次让大模型在上万次知识更新中稳住旧记忆、精准学新知。它用「虚拟队列」实时监控遗忘风险,动态平衡新旧知识,理论保证长期不崩盘,编辑效果比主流方法提升11.89%,还能赋能现有模型,让AI真正学会「持续成长」。 大型语言模型通常包含事实上不正确或过时的知识,这催生了用于实现精确知识更新的模型编辑方法。然而,由于缺乏适当的长期知识保留机制,当前主流的「先定位后编辑」方法在连续编辑过程中表现出渐进式的性能下降。 为了解决这个问题,中科院信工所的研究人员提出了LyapLock,将连续编辑建模为一个受约束的随机规划问题。鉴于累积保留误差约束以及逐渐揭示的编辑任务所带来的挑战。 论文链接: https://arxiv.org/pdf/2505.15702 LyapLock整合了排队论和李雅普诺夫(Lyapunov)优化,将长期的约束规划分解为易于处理的逐步子问题,从而实现高效求解。 这是第一个具备严格理论保证的模型编辑框架,在满足长期知识保留约束的同时,实现了渐近最优的编辑性能。 实验结果表明,该框架将连续编辑的能力扩展到了10,000次以上,在...

查看原文 →