1987WEB视界-分享互联网热门产品和行业

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

AI小课堂丨AI绘画的关键,模型的下载及应用方法

1987web2023-08-16人工智能AI332

点击上方自由画师晋阳再点击右上角...设为星标

不再错过任何精彩

关注晋阳,开启自我成长逆袭之路

导语

刚接触AI绘画的你是不是也有这种疑惑,看到模型网上别人用AI画出来的图一张比一张好看。可你把别人的提示词抄过来一试,人直接傻眼了。

别担心,不是提示词的问题,也不是AI的问题,而是出在你的模型的问题上。

模型的概念

AI之所以能够满足我们的各种需求,其实来源于它对其他画作的深度学习。我们常常把AI学习的过程叫做喂图学习的内容不光是包括对具体事物的形象描述,还包括对他们的呈现方式,也就是画风。

在AI模型的训练中,我们需要喂给AI大量的参考,如果你想要二次元向的,最终生成的模型跑任何图都会带着二次元的思维去生成。当然你喜欢真实感,生成的模型就不会出现别的元素。

我们训练AI的这个过程会被打包、整合到一个文件里。它们就是AI绘画中最重要的模型了。使用不同风格的模型,你就可以生成不同风格的作品来。这也是为啥AI绘画能做出接近真人的赛博coser了。

对于一幅AI作品而言,提示词加模型加参数设置都被敲定的时候,才能生成出你想要的内容。所以这就是为什么你抄别人的提示词生出来的图会差别那么大的原因。

基本概念

在文件基础构成上,我们刚刚提到的模型一般存储在这个Models里的Stable-Diffuion文件夹内

如果你下载了新的模型,只需要把它们复制进来,就可以利用SD去加载。这些模型有一个固定的称呼,叫做Checkpoint检查点或者关键点模型。一个大的模型是需要很大的算力的,就好像我们在游戏里每隔一段时间就需要存档一样,它们运算到某个关键的位置的时候,就会建立起一个关键点保存已经运算部分。方便之后回档和继续运算,这就是Checkpoint的来源。

这个保存出来检查点就可以支持我们使用AI阅片和出图,也正是基于这种检查点特性,大部分模型都有不断迭代更新的能力。例如这个OrabgeMix(深渊橘),Checkpoint常规情况下占有内存在3~7GB之间,文件名后缀通常是ckpt,这种几GB级别的我们叫做大模型。还有另一种格式的大模型后缀是safetensor,占用空间相对小一点,通常在1~2GB之间,这种模型相对可靠、高效些。不过对于初学者来说,这两种模型的区别不大。

文件构成及加载位置

模型下载好以后,在WeBUI左上角打开就可以使用了(记得点一下旁边的刷新按钮)

VAE

模型旁边有一个功能叫做VAE,这个功能比较重要,VAE的全称叫做变分自解码器,负责将加噪后的潜空间数据变成正常的图像。从实用属性来看,你可以把它理解成一种调色滤镜,主要影响画面的色彩质感。目前的模型中基本上都将VAE整合到里面了,不过也有少数模型没有,这种模型出图就会发灰、发白。一般在模型下方作者会推荐自己觉得好用的VAE

当然也有一些好用的通用VAE,例如秋叶大佬整合包里自带的(kl-f8-anime2.ckpt),VAE的安置地址同样在models文件夹下的VAE里面,你可以把一些针对特定模型的VAE改成和他们的Checkpoint一样的名字。然后再在VAE模型中勾选自动。

同一张图用VAE和不用VAE的区别

其他模型

其实AI绘画中的模型不仅只有Checkpoint一种,像我们常用于画面微调的hypernetwork,优化画风的embeddings和固定人物角色特征的LoRa

模型下载渠道分析

所以,这些模型我们要去哪里获取呢,AI绘画中我们常用的模型基本来自其他个人训练发布的模型。

虽然Stable Diffuion官方也发布了1.4、2.0等若干版本的开源模型,但效果单一缺乏细节。

对于别人训练生成的模型,我们称为私炉模型。跟炼丹及咒语概念差不多。因为官方的模型训练上存在版权问题,而私炉是大部分人的选择,虽然它的版权还存在一些争议空间。

目前AI绘画圈子里主流的模型下载网站有两个:

HugginFace(俗称抱脸)

它是一个允许用户共享AI学习模型和数据集的平台,包含的内容非常广,很多AI领域的东西都有。不过这个平台的专业门槛有点高,第一次接触容易让你头大,最上方的搜索栏里输入Stable DIffuion你可以直接下载到官方发布的历代模型。而在左边的筛选栏里,点击Text-to-Image标签,你就能筛选出来其他用户发布的用于AI绘画的文生图模型了。

  • 点进去以后他们会有一个Model Card,相当于这个模型的介绍页面。

  • 在第二个标签Files中,制作者会把文件、源代码等放在相应的位置,找到自己想要的东西看尾缀就行了。比如大模型就去safety-Checker里找,VAE就在vae文件中找,点一下就可以下载了。其他看不懂的内容就不用下载了。

  • 右边还有一个Community的选项,相当于模型使用者的交流区,如果碰到什么bug或者问题可以在里面找找解决方法。

Civitai(俗称C站)

C站是我一直在用的网站,它是一个内容丰富好用的AI绘画模型分享平台,所以你在里面看到的各种模型的展示非常图像化、具体化的。在C站上访问、下载模型均不需要注册,非常方便大家使用。C站在模型的分类上做的特别详细,像网站上方的名称:全部、角色,风格,名人,概念,基础模型,衣服,姿势,背景,车辆,建筑,物体,工具,动物,运动,资产,指导等。

它们代表着一些不同的风格类目和内容方向,选择其中的一个,C站会自动帮你筛选好需要的。二次元就选Anime,真人就选photography。

选择其中一个模型,下载按钮就在右边,如果要不同的版本,在下方可以自行选择。(一般推荐下载最新的)下方的介绍相当于抱脸里面的ModelCard,建议你下载前阅读清楚。作者往往会在很多方面指导你该如何使用这个模型。一般会有作者推荐的风格、关键词、分辨率及VAE。

C站还有一个好处,它不光是一个模型分享网站,同样分享这些模型做出来的作品。首先在每个模型上方都会有作者使用模型生成的例图,点击图片右下角的按钮就会跳出对应的提示词、采样方法甚至是随机种子。如果你想抄作业,这就相当于一份标准的参考答案。往下翻一翻,你可以看到C站其他用户上传的同模型产出的图片。

改版后的C站新加了一个Images的选项,里面是一些站内好评比较多的AI图,也可以在这里找到别人作品的提示词、采样方法或者随机种子。

Tusi(吐司网)

前两个网站属于是比较热门的大模型网站,但是需要科学上网。这里推荐一个国产的模型网站,叫做吐司,这个网站相对其他两个来说可能内容更少一些,但是对于新手来说也够用了。它的界面简单,模型分类也一目了然。看到喜欢的模型点进去就可以下载了,下方同样有很多其他作者用此模型跑出来的图,这里就不过多赘述了。

关于模型的下载大概就是这些,我们下载好模型之后,还有一个重要的步骤。就是把模型按类型分好,方便之后的使用和查找。

模型分类

市面上的模型基于它们的特点目前被分为以下三类:

漫画/插画

具有较明显的绘画笔触质感,为了方便解释就叫他二次元模型吧

真实系

这种模型偏真实系的,拟真程度高

2.5D

介于这两种模型中还有一种,最终还原出来的效果类似于一些建模软件里能制作出的三维渲染图。不如平面的那么平,又没有真实的那么真,但却很接近一些观众对游戏和3D动画的想象。

这三类模型可以用这些关键词进行筛选或搜索

模型是没有好坏优劣之分的,只有合不合适。但现在有些模型在站内流传并广受好评,所以在每一种类目里挑选三个非常具有代表性的模型。推荐给大家

二次元模型:万象熔炉Anything、Counterfeit、Dreamlike Diffuion

真实系模型:Deliberate、Realistic Vision、LOFI

2.5D模型:国风3 GuoFeng3、NeverEndeing Dream(NED)、ProtogenX3.4(photorealism)Official Release

以上模型是站内比较知名的模型,相对会比较好用,大家对模型比较迷茫的可以先试试这几款。

总结

接触AI绘画一段时间了,对AI绘画的原理有了一定的认知。最基本的无非就是模型、提示词、参数,掌握好这些知识就能生出不错的图了。

当然想要成为AI绘画高手还是远远不够的,在这里的基础上还需要掌握更为细致的内容。像更高阶的模型或者是定向修复、局部修复又或者是AI绘画的8个必备的拓展插件,还有比较复杂的ControlNet跟最最最难的炼丹。这都是我们之后会讲到的内容,大家点个关注,我会加快脚步把文章给大家安排上的,下期再见。。。

-社群服务-

直播通知 | 在线答疑 | 好文分享 | 经验咨询

联系晋阳/

转载&合作:jinyang5629

如果喜欢,让我知道你在看吧

END

OPENNING

往期推荐

AI小课堂丨史上最全的AI绘画图生图详解,学到就是赚到

2023-07-19

AI小课堂丨AI绘画中的咒语,学会你就是大魔法师。

2023-07-15

AI小课堂丨光速入门AI绘画!!成为AI的主人

2023-07-14

喜欢请点赞,分享到朋友圈,也是另一种赞赏!

何谓Naifu、WebUI?

去年Stable Diffusion开源的AI绘画模型爆火,此后一家叫做NovelAI的公司,基于Stable Diffusion的模型,训练了二次元风格的AI模型,后续模型也开源了,坊间大佬以此模型制作了前端交互界面Naifu。

AI绘画黑话详解

AI绘画爆火已经一段时间了,相信大家都有所耳闻,但是一些AI绘画业内的黑话,很多人都不是很了解,今天给大家梳理一下。