NovelAI泄露模型环境搭建

新闻 2023-02-24

437 0

前言

https://novelai.net/

泄露模型：磁链下载

stable diffusion模型：
magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc

泄露Part2（可选）
包含GPT2模型和一些stable diffusion模型，GPT2模型一般机器跑不起来。
magnet:?xt=urn:btih:a20087e7807f28476dd7b0b2e0174981709d89cd&dn=novelaileakpt2&tr=udp%3A%2F%2Ftracker.openbittorrent.com%3A6969%2Fannounce&tr=http%3A%2F%2Ftracker.openbittorrent.com%3A80%2Fannounce&tr=https%3A%2F%2Ftracker.nanoha.org%3A443%2Fannounce

是一个基于二次元图片训练的stable diffusion模型，经过实验效果并不如NovelAI官网的效果好，可能是早期版本，但效果也算可以用了。

本文记录一些需要调整的地方。

参考：

https://stable-diffusion-book.vercel.app/https://rentry.co/voldy https://gist.github.com/crosstyan/f912612f4c26e298feec4a2924c41d99https://t.me/StableDiffusion_CN/13436

流程

硬件大概需要8G显存（或Mac M1的统一内存），建议20系及以后显卡。

代码：https://github.com/AUTOMATIC1111/stable-diffusion-webui

支持Win、Mac、Linux系统。

目前（2022.10）代码更新较快，注意及时拉取最新代码。

模型

泄露中的模型只有这两个有用：

所有数据版本：
stableckpt\animefull-final-pruned\model.ckpt
stableckpt\animevae.pt

全年龄版本：
stableckpt\animesfw-final-pruned\model.ckpt
stableckpt\animevae.pt

放到models目录，并改名为

models\Stable-diffusion\full-final-pruned.ckpt（名字可以修改）
models\Stable-diffusion\full-final-pruned.vae.pt（名字跟上面ckpt一致）

hypernetworks（可选）

stableckpt\modules\modules\* 放到目录 models\Stable-diffusion\hypernetworks

成功加载后可以在Settings中的Stable Diffusion finetune hypernetwork中看到

剩下在一些运行模式下还需要其他模型，stable-diffusion-webui会自己下载，如果网络慢可以按它的提示手工下载并放到指定位置。

运行及调参

启动参数：

set COMMANDLINE_ARGS=--xformers --no-half-vae --deepdanbooru

# --xformers 能够加速并略微降低显存占用，需要20系以后显卡
# --medvram 低显存占用模式，适合6G显存，还有更低的lowvram
# --no-half-vae 消除使用VAE时候偶尔出现的黑图问题
# --deepdanbooru 开启deepdanbooru

需要增加Negative prompt，例如

lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet

Sampling method和Steps：

Euler 25stepsDDIM 20steps

由于stable diffusion特性，图像尺寸不建议调太大，会出现图像上有多个独立物体，没有合理的整体构图。需要高分辨率可以开启Highres.fix或用超分辨率模型单独进行。

Restore faces是优化人脸细节局部的，如果觉得效果还可以的话可以不用。

Settings中将Ignore last layers of CLIP model设为2，这个是NovelAI官方的设置。

CFG Scale：控制图像在【质量】和【符合Prompt】之间的权重，越大越符合Prompt，但可能会降低图像质量。

Denoise Strength: img2img 专属参数, 从 0 到 1 取值, 值越高 AI 对原图的参考程度就越低 (同时增加迭代次数), 用法参考：低 cfg 高 denoise 重绘图, 高 cfg 低 denoise 改细节.

输出设置：

文件名pattern：[seed]-[prompt_spaces][datetime]