1 配置参数,逆向工程
注意:对于不同的采样方式,可能会造成不同的结果,参照2
ref:https://www.zhihu.com/question/558019952/answer/2710009035
通用配置参数一览:
所处位置 | 参数名称 | 影响程度 | NovelAI的官方配置版本 | 一个还不错的本地版本 |
---|---|---|---|---|
text2img | sample | 结构相似, 内容连续变化 | 28 | 50 |
text2img | CFG scale | 结构相似, 内容连续变化 | 11 | 11 |
text2img | size | 内容完全不同 | 512*768 | 512*768 |
text2img | Seed | 内容完全不同 | -1 | -1 |
Setting | CLIP(位于页面底部中央) | 结构基本相似, 内容变化不连续 | 2 | 1 |
Setting | Eta noise seed(位于页面底部右下) | 结构非常相似, 微调画面. | 31337 | 0 |
右边那个配置有优势: CLIP是1, 可以应对”模型过分抄袭”的节奏.
Denoise length(img2img, inpaint专用):
它控制添加的噪声长度. 可以理解成对图的扰动程度.
我拉了500张来验证到底是怎么回事. 花了我4个小时…
img2img的修改能力 | |
---|---|
0-0.1 | 用于超分辨率填充细节 |
0.1-0.4 | 比较轻微的按图索骥. 缺乏想象力, 微调细节. |
0.4-0.6 | 你和AI配合的阶段. 基本上跟你的涂抹结果挂钩, 你画的越好效果越好, 如果你涂的非常抽象那么AI这里尽力去救了, 如果你的涂抹存在非常大的边缘这里是救不了的. |
0.6-0.9 | AI开始自我放飞. 会有非常大的概率出古神, 也会有相当的概率出你真正想要的图. 如果你直接把空白的图交给AI, AI凭空创造东西也是在这个范围里. |
0.9-1 | 变化完成, 变成另一个人. 不会有古神, 质量稳定. |
其他参数解释:
CFG Scale:
它告诉模型应该遵循提示词到什么程度. 0: 放飞自我. 会出完全和提示词无关的图. 最大: 循规蹈矩, 即过拟合. 比如”一个带着帽子的蜥蜴人”, ai会产出帽子把整个蜥蜴完全遮住的图片. 可以理解成: 乙方听甲方的话有多认真/多死板
x-y plot对prompt的枚举方法.https://zhuanlan.zhihu.com/p/572780162
线性、非线性采样:采样方式的具体研究
ref:https://www.bilibili.com/read/cv19505389?spm_id_from=333.999.0.0
一个大概得参照
选择你的采样方法:Sampling Method
开始调整所有参数之前,请选择你的采样方法。“请选择你的捍卫者”。 NAI 和 WEB-UI 都内置了许多采样方法,包括且不仅包括最常用的 Euler A 和 Euler, 以及原生默认的 LDM 和许多人都很喜欢的 DPM2 A / DDIM 。
采样方法组成了图片生成的第一大要素,它决定同样的 prompt 下 AI 会选择以何种方式去噪点化以得到最终图片。同时,它还会决定运算速度。
通常来讲,Euler A 是兼顾速度和质量的最优之选。
DPM2 A 在核理分配步数的情况下也能产生高质量作品。
而 DDIM 和 Euler 则在运气较好的情况下尤其以细腻的画风见长。
当你审美疲劳时,尝试更换方法也许可以带来新的风格。但在众多方法中,笔者极不推荐 LMS、DPM fast、LMS Karras 和 PLMS 这四个,它们的生成质量在大多数情况下相较于其它算法而言不佳。
迭代数量/采样次数:Sampling Steps
首先,在介绍关于迭代的理论之前,迭代并不总是越多越好。
对于不同的模型也有不同的理论:
例如DPM A 和 Euler A 都是所谓的 非线性 迭代方法,它们的结果并不会因为迭代增加而无休止地变得更加优秀,在大于一定的迭代值之后反而质量会快速下滑。
而 DDIM / Euler 等 线性 迭代方法则恰恰相反,质量往往依托于迭代的次数。但也存在边际效应的问题,当迭代大于一定程度时,再增加迭代次数也不会让画面产生显著变化。
因此,实际使用时往往需要根据画布大小和目标是否复杂来综合考虑。对于512 * 512 那样的标准画布与无强烈细化要求的简单场景,使用 Euler A 时的迭代次数通常推荐 30 或以上,40 或以下。而使用 DDIM 则通常推荐 25 或以上,35 或以下。许多教程认为 25/20 步对于 Euler A/DDIM 即足够,但实际上要稍高一些。