【AI绘画】研究_关于Prompt的探索

新闻 2023-02-19

434 0

前言

最近关于AI绘画的内容热度越来越高，已经逐渐从一个早期的研究课题走向了公众，并且有逐渐运用到工作流程之中的趋势。这边也一直在持续的对其进行学习和研究。目前对于AI绘画之中的主流方式Text to Image来进行一些拆解和分析。

text to Image最核心的内容就是Prompt也就是关键词描述，相同的内容之下使用描述词的方式，词语的种类顺序等对于内容的产出影响差异也会非常的大。下文会针对Prompt本身的运用进行拆解和分析并梳理一些可用的方式来对图片生成的帮助进行归纳总结。

1. Promot的构成

Prompt也就是描述语句，可以归纳为AI创作沟通的媒介，将自己想象中的世界，用恰当的提示词描述出来，AI才能听懂理解，才能训练出令人满意的画面。

目前流行度使用率比较高的Text to Image模型大概是Midjourney&Disco Diffusion，Dalle-E-2和Stable Diffusion这几类，尝试使用描述词分别通过这几类进行测试（Dalle-E-2图片使用网络其他UP主资源）

基于上面的这段描述词，我们可以把整个的框架拆解为4~5个大的部分，绘画种类，内容，构图，画家风格&参考网站（其他：例如色调，渲染，比例等等）。如此我们将上面的内容进行拆解

如上这个内容呢就是基于5个维度的Promt对于内容的指引，其中每个环节分别会把控一个部分。

画种描述：控制了画的种类风格，是数字绘画？油画？蜡笔画？等这些方面的分类。

内容描述：就是画面的内容本身，上述的案例比较简单只是描述大概的框架。下文会有具体的拆解。

构图：这部分重要性偏低，主要是在脑海中有模糊概念时，把控一些大的方向。

画家描述：主要是针对美术风格，可以是具体某个网站的艺术家，某个影视动画作品等。

参考网站：这部分更多是针对画家风格等内容和参考图池子的范围上。

（其中关于画家描述的部分由于AI的创作基于大量的参考资源会产生版权的问题，例如Dalle-E-2取消了画家模仿的部分，最近的AI模型”mimic“由于风格模仿问题引起了较大的争议导致下架。）

2. 创作的思路

拆解了Prompt的构成后，考虑以一个创作思路来对每一个部分进行梳理，逐步进行完善。以下以Midjourney的产出为例。关于Prompt本身会弱化语法等部分所以结果上会拆分为一些零碎的描述词。

比如说以一个偏向克苏鲁，恐怖，怪诞的主题来开始。首先是内容描述，需要一些主要的语句，而这部分详细拆解可以分为两种描述词，一种是描述内容本身，一种是形容词衬托。

"一个高大的带有长长的像昆虫腿部的人形怪物，由血肉构成湿漉漉的有卷曲的须子像静脉一样。"拆解成为散碎的单个词汇分成两个部分。

把以上的语句如果直接输入到Midjourney之中呢，会获得一个物体的形象，比较概念化。如果以插图为例我们需要给他添加其他的几个部分。

然后我们尝试这给他增加构图和场景。这部分也是属于描述内容的描述，关于插图角度拆解的更加详细可控性会更高。从场景时间和地点包括相机相关的部分。思路和在3D软件内搭建场景类似

以上的内容输入后考虑了下角色颜色上增加了深色的描述，没有使用毒液会考虑会借鉴到具体造型。Midjourney输出后具体的氛围就有了一个大概。

上述的部分完善下其实已经可以以一个相对完整的内容出图了。不过以一个构图的角度来讲还是稍显混乱风格也是很像摄影，绘画感稍弱。这边就需要补充下绘画种类和画家的描述。选取了A站上面比较喜欢的恐怖风格艺术家Oleg Vdovenko。这边也附加上他的A站链接https://www.artstation.com/chuvabak

最后整理出来一个完善的词组和产出如下（在Midjourney上可以使用分辨率构图等描述作为后缀）

A cg illustrat,abandoned asylum, night,grotesque human crawling, tall insect legs, tendrils, black liquid,veins, meat, wet,derelict footage, first person, hard flash, by Oleg Vdovenko, popular on artstation --s 1000 --ar 16:9

3.描述词的分类

整个的描述语句拆分成为几个框架。而框架内由具体的描述词组成。关于描述词的分类和特点这里整理了一个思维导图可以列作参考。（基于Dalle-E-2的官方手册翻译整理补充）

相关内容基于插图的需求像做了些删减和调整，还在不断的完善和补充，同时原PDF也上传到了附件。

4.总结

AI的发展非常的迅速，从年初时候的Disco Diffusion到现在的Stable Diffusion，从Text2Image到后续的Image2Image，AI创作2D~3D全流程。目前的学习还在初级的阶段，这边也会一直的保持好奇心和学习热情，持续进行研究和新的学习更新。也希望能够有远愿意研究的小伙伴共同探讨。

对于AI辅助进行创作的观点比较认同Jon Neoimeister的看法，”绘画本身是一个有成就感赋予情感的事情，并不是说有了AI就会放弃绘画本身”同时复杂的版权问题和商业化也是待解决的。临时抱佛脚不可取，保持好奇心同时持续提升基础是前进的方向。