"让模型变聪明靠预训练，让模型变乖靠对齐。但对齐这条路，有人走了三步，有人只走了一步。"

引言：为什么需要对齐？

大模型预训练后，虽然具备了海量知识，但有三个问题：

1. 不对齐人类意图：你问"请帮我写一封邮件"，它可能继续补全为"请帮我写一封辞职信的模板……"
2. 可能产生有害内容：没有安全护栏，模型可能输出歧视、暴力等有害内容
3. 不会拒绝：面对超出能力范围的请求，不会说"我不知道"