一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

新闻 2023-03-31 萧箫
437

一种AGI新思路

萧箫 发自 凹非寺
非常AI | 公众号 QbitAI

通往AGI的路究竟怎么走,微软有了新想法——

基于ChatGPT这类大模型的强大理解能力,将输入的任何信号拆解成一个个可完成的任务,交给其他的AI和程序完成。

简单来说,就像是建了一座司令塔,每个大模型都能成为其中的“大脑”指挥官,其他专门解决某类任务的模型,则听它调令——

这样一来,不限定某个AI,所有大模型都能使用这套方法。

能解决什么问题?

人类只需要提需求,AI从自动做PPT、Word和Excel三件套(Office自动化),到驱动机器人完成各种智能任务,都能搞定。

这个最新的研究名叫TaskMatrix,据微软表示,它能直接驱动数百万个用于完成任务的AI和API。

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

论文还引用了OpenAI CEO奥特曼那句AI版摩尔定律:

宇宙中的智能数量每18个月翻一番。

一起来看看TaskMatrix是怎样工作的。

AI“司令塔”如何工作?

这是TaskMatrix的整体工作流程:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

从架构图来看,TaskMatrix可以被分为四部分:

  • 多模态对话基础模型(MCFM):与用户对话并了解需求,从而生成API可执行代码以完成特定任务
  • API平台:提供统一API格式,存储数百万个不同功能的API,允许扩展和删除API
  • API选择器:负责根据MCFM生成的内容推荐API
  • API执行器:调用API并执行生成代码,给出结果

简单来说,MCFM负责生成解决方案,API选择器从API平台中选取API,随后API执行器基于MCFM生成的代码调用API,并解决任务。

其中,为了统一API管理,API平台又给API统一了文档格式,包含以下五个部分:

API名称(提供API摘要,避免与其他API混淆),参数列表(包含输入参数和返回值等),API描述(功能描述),组合指令(如何组合多个API完成复杂用户指令)

例如这是“打开本地文件”API的文档格式:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

据微软介绍,搭建TaskMatrix的原因,从学术角度来说主要有两点。

其一,扩大AI适用范围,如通过扩展API来提升可完成任务的类型和数量;其二,便于进一步提升AI可解释性,通过观察AI分配任务的方式就能理解它的“思路”。

能完成什么任务了?

目前从已经搭建好的TaskMatrix部分来看,它能完成的任务已经非常广泛。

小到文字、图像信息的基础信息处理,大到控制机器人平台、接入物联网这种通用平台任务,TaskMatrix都能搞定。

先来看看图像处理任务。

TaskMatrix解读用户想要完成的任务后,就能通过对话的方式,搞定PS(把老人背景P成白的)、解读图像、文生图、草图转真实图像、抠图等一系列现实生活中常见的图像处理操作:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

如果说这些都还太常见,基于TextMatrix还能搞定真·图像扩展,基于一小角扩展到一整张图的那种,而不仅仅是采用平铺的方式。例如输入一朵花:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

输出一片花田:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

再来看看文字处理任务。

以往需要手动改AI写过的方案,如今直接将问题抛给AI,它就能完成,例如具体修改某个特定的步骤。

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

(像不像被甲方一点点催改文件的样子?只是如今你变成了甲方)

以后生成文章,就是连插图都配好的那种:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

当然,既然是微软的研究,少不了调用Office系列的API,包括做PPT这种活,如今交给AI来做就行:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

再进一步到通用任务上,之前一直存在瓶颈的机器人和物联网等平台,如今TaskMatrix也给出了解决通用任务的方案。

家里接入AI后,和它对话就能完成你想要的各种琐碎任务,包括定闹钟、查看天气等:

一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了

属实是解放人类生产力了。

你想好把它用在哪里了吗?

论文地址:
https://arxiv.org/abs/2303.16434

相关文章