卡内基梅隆大学2023:使用代码语言模型进行自然语言推理
Natural Language Reasoning with Language Models of Code在本次演讲中,我将展示经过代码预训练的 LM 可以成为比(主要)经过自然语言训练的 LM 更好的自然语言推理器,即使任务根本不涉及源代码。 在一类结构化 NL 推理任务中,我将展示我们如何将任务构建为代码生成; 这使得 Codex 等代码的 LM 比 T5 和 GPT-3 等自然语言的 LM 更好地推理。 另一类数学推理任务最近被要求 LLM 生成其显式推理步骤的方法解锁,例如“思维链”(Wei