激光网3月11日消息，谷歌公开了一项大型语言模型的创新研究，研究人员提出社会学习框架，为模型间的知识传递开辟新途径。 社会学习使语言模型能够通过自然语言文字交流知识，由于不需要直接交换敏感数据或是模型权重，因此能确保私密数据的隐私保护。
社会学习的概念就像是人类在社交环境与其他人交换知识的方法一样，人类向其他人学习常见透过口头指示，描述参与特定行为的方法，而谷歌研究人员受人类学习方式启发，发展出了模型间的社会学习并制定了一个框架，使语言模型也能够使用自然语言，并在考虑隐私保护的情况下共享知识。
在社会学习框架中，学生大型语言模型会向多个已知特定任务解法的教师模型学习解决方案，研究人员通过评估学生模型在各种任务的表现，诸如垃圾短信侦测、解决小学数学问题，以及根据特定文字回答问题等，来评估社会学习的成效。
研究人员表示，即使语言模型只接收少数范例，仍然能获得良好的任务解决能力。 而这个方式的重要性在于，即便存在隐私顾虑，也能够实现知识转移，在研究人员的垃圾讯息侦测任务中，位于装置上的教师模型从用户所标记的数据学习，这些数据是将短讯息标记为垃圾讯息或是非垃圾讯息，而在教师获得侦测垃圾讯息知识后，无须直接分享可能侵犯个人隐私的数据，就可以协助学生模型区分垃圾和非垃圾讯息。
教师模型可以依据实际数据集，合成出新的范例并与学生共享，合成数据集与原始数据虽足够不同，但是却又具有相同的教育意义，这样即便教师模型不直接共享真实原始资料，学生模型仍然能够从合成资料中学习。 实验结果显示，当合成示例足够多，例如只要达到16个，直接共享原始数据，与通过社会学习使用合成数据进行教学之间，模型解决任务的能力就没有显著统计上的差异。
研究人员还尝试了合成指令的方式，让教师模型针对特定任务生成指令，学生模型依据指令学习执行任务的方式，就如同人类以口头指令来学习和执行新任务的方式一样。 而实验证明，生成指令能够提高模型执行任务的效能，相比于零样本学习，合成指令能达到与少样本学习相当的准确性，研究人员表示，这显示出语言模型在遵循指令上的强大能力。
不过也有部分任务，因为复杂的格式输出要求，使得教师模型无法提供良好的指令。 此外，部分任务合成范例的效果比合成指令表现更好，也有部分任务合成指令可获得更高的准确性，研究人员解释，这代表教师模型的教学方法需要因任务而异。
在社会学习中，研究人员希望教师模型能够在不透露原始数据具体内容的情况下教导学生模型，通过采用秘密共享者方法，来量化过程中可能泄漏信息的程度。 藉由设计金丝雀资料点，来测试教师模型是否会在无意间将原始资料内容透露给学生模型，而实验证实，教师模型的确仅是运用原始资料生成教学内容，而不是单纯复制范例给学生模型。
