36年前的预言1988年，Fodor和Pylyshyn在《认知》刊物上发了一篇关于思维的系统性的文章。他们提出了一个关于思维的问题，就像大语言模型现在所面临的「逆转诅咒」一样，让人们陷入了困惑和困扰。
近日，来自Meta FAIR的研究人员终于找到了解决之道，他们推出了反向训练大法，让大模型从反方向上学习，消除了这个令人头疼的问题。
这个「逆转诅咒」的问题在去年9月首次被发现，让LeCun、Karpathy、马库斯等大佬都感到震惊。大模型虽然风光无限，却在「A是B」和「B是A」的逻辑推理上出现了问题，让人们大跌眼镜。
比如，即使LLM知道「汤姆·克鲁斯的母亲是Mary Lee Pfeiffer」，却无法回答出「Mary Lee Pfeiffer的孩子是汤姆·克鲁斯」，这让人啼笑皆非。
站在海量数据的巨人之上，大模型却显得呆板无力，仿佛被困在一个无法突破的诅咒之中。
但是，现在随着反向训练大法的推出，这个诅咒终于被打破了。研究人员观察到LLMs从左到右训练可能是问题的根源，于是他们尝试了从右到左的反向训练，让模型在反方向上看到事实。
通过实体保留反转和随机段反转等方法，研究人员成功减轻甚至消除了逆向诅咒，让大模型在逻辑推理上更加准确。
反向训练大法不仅可以作为一种通用的训练方法，还可以让模型学习到第二种语言，从而更好地理解事实之间的关系。
这项研究的成功不仅让网友们感到欣慰，也让研究人员们对未来充满信心。大模型的「逆转诅咒」终于被破解，让人们看到了人工智能发展的希望和可能性。