我们是一个致力于应用、可扩展的 AI 对齐研究的研究团队。
我们相信我们将在有生之年看到变革性的人工智能。鉴于 AI 最近的进展，我们也相信这种 AI 很可能源自现代机器学习架构和梯度下降等技术。然而，今天的 AI 模型是黑匣子——针对与我们作为人类实际关心的事物微弱相关的数学目标进行了优化。
目前无法阻止 GPT3 等强大的语言模型产生不需要的输出和对事实问题的完全捏造。由于我们对当前模型的内部机制缺乏基本的了解，因此我们无法保证我们的模型在遇到训练数据之外的情况时可能会做什么，并可能在全球范围内造成灾难性后果。
