大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

新闻 2023-04-21
4311

编辑:编辑部

目录

【新智元导读】Stability AI也有大语言模型了,现在已有3B和7B的版本。大语言模型的Stable Diffusion时刻,是真来了。

大语言模型之战,Stability AI也下场了。

近日, Stability AI宣布推出他们的第一个大语言模型——StableLM。划重点:它是开源的,在GitHub上已经可用。

模型从3B和7B参数开始,随后会有15B到65B的版本。

并且, Stability AI还发布了用于研究的RLHF微调模型。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

项目地址:https://github.com/Stability-AI/StableLM/

虽然OpenAI不open,但开源的社区已经百花齐放了。以前我们有Open Assistant、Dolly 2.0,现在,我们又有了StableLM。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

实测体验

现在,我们可以在Hugging Face上试试StableLM微调聊天模型的demo。

具体StableLM能做到什么程度,一看便知。

比如,你可以问它如何制作花生酱三明治时,它会给你一个复杂、略显荒谬的食谱。

或者写一首神经网络与符号人工智能的史诗级说唱对决:

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

再或者写一封「吉祥话邮件」(文本生成):

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

以及,用C语言计算生命的意义(代码生成):

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

不过,有国外的媒体记者亲测了一下StableLM,结果发现:在一本正经地胡说八道这方面,它跟前辈ChatGPT比起来,也是不遑多让。

比如,如果问它2021年1月6日那天发生了什么?它会告诉你:特朗普的支持者控制了立法机关。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

如果Stable LM预期的主要用途并不是文本生成,那它可以做什么呢?

如果拿这个问题亲自问它,它会说出这样一些套话,「它主要用作系统工程和体系结构中的决策支持系统,也可以用于统计学习、强化学习等领域。」

另外,Stable LM显然缺乏对某些敏感内容的保护。比如,给它进行一下著名的「不要赞美希特勒」测试,它的回答也是令人大跌眼镜。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

不过,咱们倒是不急着管它叫「有史以来最糟糕的语言模型」,毕竟它是开源的,因此这个黑匣子AI允许任何人窥视盒子内部,查一查到底是哪些潜在原因导致了这个问题。

StableLM

Stability AI官方声称:Alpha版本的StableLM有30亿和70亿个参数,之后还有150亿到650亿参数的后续版本。

StabilityAI还豪横地表示,开发者随便用。只要遵守相关条款,不管是检查、应用还是改编基础模型,想怎么来怎么来。

StableLM功能强大,不光可以生成文本和代码,还能给下游应用提供技术基础。它是一个很好的范例,展示了小型、高效的模型通过适当训练就可以有足够高的性能。

早年间,Stability AI和非营利性研究中心Eleuther AI一起开发过早期的语言模型,可以说,Stability AI积淀很深。

像什么GPT-J、GPT-NeoX和Pythia,这都是两家公司合作训练的产物,在The Pile开源数据集上训练完成。

而后续的更多开源模型,比如Cerebras-GPT和Dolly-2都是上面三兄弟的后续产品。

说回StableLM,它是在建立在The Pile基础上的新数据集上训练的,该数据集包含1.5万亿个token,大约是The Pile的3倍。模型的上下文长度为4096个token。

在即将发布的技术报告中,Stability AI会公布模型的规模和训练设置。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

作为概念验证,团队用斯坦福大学的Alpaca对模型进行了微调,并使用了最近的五个对话代理的数据集的组合:斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K数据集、Databricks labs的Dolly和Anthropic的HH。

这些模型将作为StableLM-Tuned-Alpha发布。当然,这些微调过的模型仅仅用于研究,属于非商业性质。

后续,Stability AI还将会公布新数据集的更多细节。

其中,新数据集十分丰富,这也是为什么StableLM的性能很棒。虽说参数规模目前来看还是有点小(和GPT-3 1750亿个参数相比是这样的)。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

Stability AI表示,语言模型是数字时代的核心,我们希望每个人都能在语言模型中有发言权。

而StableLM的透明性。可访问性、支持性等特点也是践行了这个观念。

StableLM的透明性:

体现透明性最好的方式就是开源。开发者可以深入到模型内部,验证性能、识别风险,并且一同开发一些保护措施。有需要的公司或部门还可以就着自己的需求对该模型进行调整。

StableLM的可访问性:

日常用户可以随时随地在本地设备上运行该模型。开发人员可以应用模型来创建并使用硬件兼容的独立应用程序。这样一来,AI所带来的经济利益就不会被某几个企业瓜分,红利属于所有日常用户和开发者社群。

这是封闭模型所做不到的。

StableLM的支持性:

Stability AI建立模型支持用户们,而不是取代。换句话说,开发出来便捷好用的AI是为了帮助人们更高效地处理工作,提供人们的创造力、生产力。而非试图开发一个天下无敌的东西取代一切。

Stability AI表示,目前这些模型已经在GitHub公布,未来还会有完整的技术报告问世。

Stability AI期待和广泛的开发者和研究人员进行合作。同时,他们还表示将启动众包RLHF计划,开放助手合作,为AI助手创建一个开源的数据集。

开源先驱之一

Stability AI这个名字,对我们来说已经是如雷贯耳了。它正是大名鼎鼎的图像生成模型Stable Diffusion背后的公司。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

如今,随着StableLM的推出,可以说Stability AI在用AI造福所有人的路上越走越远了。毕竟,开源一向是他们的优良传统。

在2022年,Stability AI提供了多种方式让大家使用Stable Diffusion,包括公开demo、软件测试版和模型的完整下载,开发人员可以随意使用模型,进行各种集成。

作为一个革命性的图像模型,Stable Diffusion代表着一个透明、开放和可扩展的专有AI替代方案。

显然,Stable Diffusion让大家看到了开源的各种好处,当然也会有一些无法避免的坏处,但这无疑是一个有意义的历史节点。

(上个月,Meta的开源模型LLaMA的一场「史诗级」泄漏,产生了一系列表现惊艳的ChatGPT「平替」,羊驼家族像宇宙大爆炸一样噌噌地诞生:Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……)

不过,Stability AI也警告说,虽然它使用的数据集应该有助于「将基本的语言模型引导至更安全的文本分布中,但并不是所有的偏见和毒性都可以通过微调来减轻。」

争议:该不该开源?

这些天,我们见证了开源文本生成模型井喷式的增长,因为大大小小的公司都发现了:在越来越有利可图的生成式AI领域,出名要趁早。

过去一年里,Meta、Nvidia和像 Hugging Face支持的BigScience项目这样的独立团体,都发布了与GPT-4和Anthropic的Claude这些「私有」API模型的平替。

很多研究者严厉地批评了这些跟StableLM类似的开源模型,因为可能会有不法分子别有用心地利用它们,比如创建钓鱼邮件,或者协助恶意软件攻击。

但Stablity AI坚持认为:开源就是最正确的路。

Stability AI强调,「我们把模型开源,是为了提高透明度和培养信任。研究人员可以深入了解这些模型,验证它们的性能、研究可解释性技术、识别潜在风险,并协助制定保护措施。」

「对我们模型的开放、细粒度访问,允许广大的研究和学术界人士,开发出超越封闭模型的可解释性和安全技术。」

Stablity AI的说法确实有道理。就算是GPT-4这样具有过滤器和人工审核团队的业内顶尖模型,也无法避免毒性。

并且,开源模型显然需要更多的努力来调整、修复后端——特别是如果开发人员没有跟上最新的更新的话。

其实追溯历史,Stability AI从来没有回避过争议。

大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验

前一阵,它就处于侵权法律案件的风口浪尖,有人指控它使用网络抓取的受版权保护的图像,开发AI绘图工具,侵犯了数百万艺术家的权利。

另外,已经有别有用心的人,利用Stability的AI工具,来生成许多名人的深度伪造色情图片,和充满暴力的图片。

尽管Stability AI在博文中,强调了自己的慈善基调,但Stability AI也面临着商业化的压力,无论是艺术、动画、生物医学,还是生成音频领域。

Stability AI CEO Emad Mostaque已经暗示了要上市的计划,Stability AI去年估值超过了10亿美元,并且获得了超过1亿美元的风投。不过,据外媒Semafor报道,Stability AI「正在烧钱,但在挣钱方面进展缓慢。」

参考资料:

https://www.theverge.com/2023/4/19/23689883/stability-ai-open-source-large-language-model-stablelm

https://mashable.com/article/stablelm-stability-ai-language-model-explained

https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

版权声明: 发表于 2023-04-21。
转载请注明:大语言模型Stable Diffusion时刻?StableLM开源 70亿参数在线体验 | 非常AI

相关文章