可能是最强AI绘图插件!如何在PS中使用StableDiffusion?
文章转载于:言川Artie 欢迎大家关注!
「天空一声巨响,川子闪亮登场!」,大家好,我是言川,在经过两个月的学习和沉淀(拖更)之后,我回归写文章这件有趣的事情上来了。老规矩,先说下本篇文章是个什么玩意儿,咳咳~
各位设计总监们,玩过 PS 吧(应该说是 Photoshop)。各位 AI 大神们,听说过并且玩过 SD 吧(Stable Diffusion)。这两款都是独立且庞大的设计软件,并且经过今年 AI 浪潮的洗礼,我们似乎在设计中好像很难完全无视掉 SD 这款强大且可控性极强的 AI 软件。
而在设计师的工作中,PS 也基本是设计师必用的软件之一,但是 PS 在 AI 作图这个领域上好像表现的总是差强人意,尽管我们自愿当作 Adobe 的一颗韭菜,购买了正版的 PS Beta,使用了创意式填充,但是效果嘛...用过的都说好,而且还有奇怪的生成报错等问题。
好!打住打住,废话就说到这。想必各位也猜到了我接下要说的是什么,没错,就是「Auto-Photoshop-StableDiffusion-Plugin」。这是一个 PS 插件,通过这个插件,我们可以直接在 PS 中使用 SD 的功能,不用在两款软件中来回切换,并且我们可以在 PS 设计中随时调用 SD 辅助帮我们生成 AI 制作的图片。
总之就是很牛,很强大,PS 和 SD 两款软件单独在一个领域都是大哥级别的存在,何况现在是两个大哥合作,穿同一条裤子了...到底它如何的强大呢,咱往下面看,没有「各位客官,下回分解」,现在你就可以跟着小川子一步步的了解它,熟悉它并爱上它。
二、关于插件的安装
1. 官方文档
安装插件这个事情是最简单的,咱也别藏着掖着,这里有一份官方使用说明文档,且包含两款软件中的插件安装包,这个网站打开需要魔法:https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin
如果你嫌麻烦,不想去看官方文档可不可以呢,当然没毛病哈,保姆级教学是我的标签,下面我会给大家介绍安装的方法,以及我安装的时候遇到的一些坑。
2. StableDiffusion 插件安装
熟悉 SD 的朋友都应该对插件的安装轻车熟路了,无非就是在线安装和本地安装。
在线安装需要开启网络,在扩展中选择可下载,并按键盘的crtl+F搜索「Auto-Photoshop-StableDiffusion-Plugin」,然后点击安装即可。安装完成后在已安装列表检查即可。
但是!我在第一次安装这个插件的时候就是通过这种方法,结果后面在 PS 中使用图生图的时候,发现图生图的蒙版功能没生效,这个问题困扰我几个小时没解决,最后我使用本地安装的方法就完美解决了。我是不太清楚是我操作问题还是该插件 BUG,所以避免大家后续也出现这种让人头疼的事情,乖乖的跟我一样使用本地安装吧。
注:其他插件同理,在线安装导致各种报错那就本地安装。
本地安装需要我们下载安装包,两种方法:
1. 去官方文档上下载,链接在此:https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin/releases/tag/v1.3.3
下载完成之后,把该文件夹丢进这个「extensions」中,文件路径为下图,大功告成!同样,可以去 webUI 上的已安装目录下检测是否成功安装。
为了保证插件的顺利运行,我们还需要把 web-ui 的 API 模式打开,打开秋叶的启动器界面,找到高级选项,并在网络设置这里,打开启动 API按钮。
3. Photoshop 插件安装
SD 安装完了之后,还需要把 PS 的插件装一下。在这里提一嘴,SD 和 PS 的插件文件是同一个,就是上面的。
安装之前需要说明的是,目前该插件仅支持「Photoshop v24」以上版本,也就是 Photoshop 2023 年版本以上的,我目前安装的是 2024 年版本的 PS
把这个插件文件夹拖到 PS「Plug-ins」目录下即可。(右键单击 PS 软件,选择打开文件所在的位置即可找到「Plug-ins」目录)
4. 测试并启动插件
插件全部安装完成之后,我们先来测试下插件能不能正常运行。
首先我们要保证一点,正常启动 StableDiffusion,我们需要保证「SD 控制台」是在正常运行状态,web-UI 界面可关闭,但是「控制台」不能关闭,就是下面这个界面,切记!
接着启动 PS,点击顶部的「增效工具」,看到下面「Auto-Photoshop-StableDiffusion-Plugin」证明安装成功,并且点击「SD 插件(明空汉化)」即可调出该操作界面。
至此,安装篇到此结束,希望大家能跟着教程一把过,不出现任何的问题,愿主保佑你们~
三、四种生图功能详解
本章节我们来介绍 Auto Photoshop 界面及其主要功能,但不会介绍 Stable Diffusion 的工作原理,如果你还没接触过这款软件,可以先去看看我的另外一篇文章《外婆都能看懂的 Stable Diffusion 入门教程》。
1. 基础功能介绍
下面以两张图片来详细介绍下插件的功能,该功能都是与 SD 对应的,其他的功能会在后续操作中插入讲解。
2. 文生图功能详解
文生图功能算是 SD 中最常用也是最简单的操作,输入关键词设置尺寸即可生成图片,下面我们来实际操作下。
首先我们先在 ps 中新建一个画板(ctrl+n),我演示的尺寸为 1920*1080;
-
大模型选择一个写实模型:majicMIX realistic 麦橘写实
-
正向关键词:1girl,sweater,white background(1 个女孩,毛衣,白色背景)
-
反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark
-
其他的默认设置就行,先不着急调各种参数。
接下来进入实操环节,使用选框工具在画板上画一个选框(这个插件就是在选区中生成。没有选区生成不了图片),然后点击红色的按钮(Generate Txt2Img),等进度条跑完图片就会在选区中被生成出来(如右侧演示图)。
我们可以通过这种方法在画板中画各种各样的选区,并生成图片,那这一步完成证明你已经使用这款插件完成了第一次图片的创作。
小提示(tip):
当你用当前绘制的选区创作了一张照片后,不满意该照片的效果或者是需要调整关键词及其他参数时,只要你还是想在你当前绘制的选区中生成图片,那么就点击绿色的按钮(Generate more)重新在该选区中生成,而不需要重复绘制相同的选区(应该解释清楚了吧,不懂可实操一遍)
① 一个选区中重做的图片会在插件底部的查看器中显示:
再来介绍下查看器的三个小功能,导入的图片均可在图层中查看:
-
蓝色:导入缩略图全部照片到图层中;
-
青色:删除缩略图中的所有照片;
-
紫红:导入选中的缩略图照片。
3. 图生图功能详解
接下来介绍下图生图功能,看完你会就觉得超级棒的!
下面演示一个真人写实照片转动漫风格的案例,聪明的你一定想到了,要切换一个动漫模型对不对(注:PS 插件切换大模型时需要注意后台的切换进度,并不是秒切的),那还是一张图解决基础的操作。
①大模型:darkSushi25D25D_v20
②正向关键词:1girl, shirt, tinted eyewear, striped, suspenders, skirt, short sleeves, sunglasses, plant, white shirt, short hair, striped shirt, black hair, head tilt, standing, looking at viewer, cowboy shot, orange-tinted eyewear, suspender skirt
③反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw
关于图生图的关键词描述可以用 SD 的反推关键词(WD 1.4 标签器)功能。
在 PS 中拖入一张亚洲女孩的照片,然后切换成「图生图」功能,设置好大模型及关键词:
框选需要 SD 绘制的区域,图生图的下面缩略图(image)会识别该区域,点击红色生成按钮即可完成图生图真人转动漫风格。当然你会发出质疑,生成的效果人物不像,人物动作有改变,背景也有变化等等等,我劝你真别急(后面有你急的),这期教程把操作全写完,下期我写什么。
当然,它也继承了 SD 的「重绘幅度」功能,可以调整重绘幅度的数值来控制图片效果,相信各位玩家早已熟悉。
4. 局部重绘功能详解
再来说下局部重绘功能。在 SD 的 web-ui 中,局部重绘是在「图生图」中,操作路径是上传图片,然后用 SD 中的画笔来涂抹需要修改的区域,使用过的朋友都应该对这个画笔有极大的不满,非常难用是吧。然而在 PS 中,我们可以借助 PS 强大的选区、钢笔以及对象选择等工具快速且精准的选取需要局部重绘的地方进行修改。
哦对了,相信大家之前都使用过 PS Beta 中的「创成式填充」,抛开 Adobe 生成效果差的因素,其实真的是很方便且很强的一个功能。然而我们这个插件是 PS+SD 的结合,所以我们是能使用超级多的模型及 Lora 来生成超级棒的效果,字数水太多了,咱们直接来实操:
还是上面那张图片和关键词,我们把模型换成一个写实风格的大模型:majicMIX realistic 麦橘写实
接下来的操作是把中间的人物局部重绘下,变成另外一个人物,且背景不发生改变。
点击「inpaint」,然后图层区域就会出现一个蒙版遮罩。
用 PS 的选区工具选中主人物,并在插件生成的蒙版图层上填充白色(白色区域为局部重绘区),反之人物不变换背景的话就反向选取并填充白色。
注:一定是在蒙版图层上填充白色,其他图层上填充无效!
如图所示,取消人物的选区,然后再拉出大选框确保新的选区覆盖蒙版及周边原图(很重要),点击生成即可完成人物的更换,效果还是很不错的,如果生成的人物黑黑的,那用 PS 直接调整不是很方便吗。
既然把人物换了,那我们演示下换个背景试试,用上面的操作,更换人物背景,把正向关键词改为街景描述的关键词:Outdoors on city streets(在城市街道的户外),然后点击生成即可。
大家是不是看着这个人物的头发都被换了?还有手部也乱了?那是因为我是用 PS 一键选区工具选取的,头发没被选取完整,所以 SD 在生成背景的时候把缺失的头发部分补上了(这也说明 SD 的强大),所以大家在实际作图中,要老老实实把选区做好,别跟我一样偷懒!
再来说一下「局部重绘」相关的功能:
5. 外绘扩图功能详解
最后介绍下「outpaint」外绘扩图功能,这个功能就是把非原始图像的空白区域补上,具体说明看操作就懂了。
先切换「outpaint」功能,用 PS 裁剪工具把画布拉大:
然后 ctrl+a 全选中整个画板区域,可适当调整「重绘幅度」,点击生成即可完成扩图,是不是很牛!
至此本插件的 4 种基础生图功能已经全部讲解完毕,撒花~
四、Controlnet 功能详解
Controlnet 作为 Stablediffusion 中最为强大且出名的功能,此插件当然也可以使用,并且相比 web-ui 操作体验差的痛点,在 PS 中可以被完美规避。作为一枚优秀的设计师,你会在看完这节功能讲解后爱上这个插件并为之疯狂。
1. 界面功能介绍
Controlnet 的插件界面比较简单(因为功能比较少),下面用一张图就能全部介绍完。复杂的是它的各个模型功能,我在往期一篇文章《StableDiffusion 丨姥姥看了都会的 Controlnet 插件教程》中有介绍,还不懂的小伙伴可以去翻阅一下。
2. 生图操作详解
操作步骤与 SD 中使用 Controlnet 完全一致,只不过在 PS 中需要注意几个点:
-
使用 Controlnet 要确保该选项卡被选中;
-
上传图片后需要用选区选中图片,因为该插件的所有操作都是基于选区进行绘图的;
-
框选需要使用 Controlnet 控制的区域后才能设置原始图。
按照上一步图片中的操作后,回到「稳定扩散」也就是文生图的界面,设置模型、关键词以及其他生图设置。
①大模型:majicMIX realistic 麦橘写实
②正向关键词:CARTOON_April_ONeil_TMNT_ownwaifu, best quality, masterpiece, illustration, (realistic, photo-realistic:1.37), amazing, finely detail, incredibly absurdres, huge filesize, ultra-detailed, highres, extremely detailed CG unity 8k wallpaper, ray tracing, A female reporter with brown hair and eyes, wearing a yellow jumpsuit with a white belt and watch, standing outdoors on a city street, looking at the viewer. Her jumpsuit is unzipped slightly at the top, showing her collarbone. She has makeup on her face including lipstick, and has a friendly and relaxed demeanor.
③反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,
在文生图设置完成后点击生成即可创作一张与原图人物姿势一致的图片,当然这得益于 openpose 这个模型。
其实 controlnet 生图功能就上面那么简单,如果你是玩 controlnet 的高手,那么恭喜你到此你就对这个插件的学习已经毕业了。当然你要是还不完全理解 controlnet 如何强大以及实用,那么请你接着与我一起学习。
3. 插画师线稿上色
在学会基础上述的基础操作后,我们来做一个线稿上色的案例。请各位插画师拿上已经落灰的手绘板,与我在 PS 画板上画一画,然后选择 Scribble 预处理器及模型:
(ps:在下 10 年插画经验,大道至简,返璞归真,如果你悟不出我画的线稿,那就请你再练练,阁下境界还不够)
选择合适的大模型,已经填写关键词:
①大模型:GhostMix
②正向关键词:(flat color:1.1),(colorful:1.3),(masterpiece:1.2), best quality, masterpiece, original, extremely detailed wallpaper, looking at viewer,1girl,solo,floating colorful water
③反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,
.......
这谁看完不沉默啊,哈哈哈。不开玩笑了,尽管 AI 再如何强大,我们还是要把基础做好,线稿也不要太随意了,否则 controlnet 的控制会没那么好,因为不管是人还是 AI,都识别不出我画的什么玩意。
我找来了一张还不错的线稿,还是用上面的参数来测试下:
剩下的细节处需要调整的地方就直接用 PS 修修补补,这难道不是非常的方便且好用吗?
4. 语义分割绘图
首先上传一张图片,使用 controlnet 插件中的「seg」预处理器,生成一张语义分割图,可以通过点击预览缩略图上的图标(icon)把语义分割图下载到图层上。
上述生成的色彩图就是语义分割图,其中的色块对应的就是表格中的河流、树叶天空等元素。那么我们如果要在桥上出现一个人,是不是可以在色彩图上画一个与人物对应颜色的色块呢,说干就干。
查表得到人物的色值为96053d,设置该色值为前景色,新建空白图层并在画面中画出人物所在的位置。
老方法,框选中整个画板,把该画板图像设置为原始图,并选择预处理器为无。
回到文生图,大模型选择 majicMIX realistic 麦橘写实
正向关键词:a girl, scenery, outdoors, tree, river, water, stairs, day, nature, sky, lake
反向关键词:(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,
还是需要框选中整个画板,点击生成人物就出现在了中间。
那么就有人问了,画面中出现的人物并不是在上传的图片上,原图生成的周边元素都发生了改变。
因为我上传的图片不是 SD 生成的,在网上随便找的一张。那我们用上传的图片生成的语义分割图通过 SD 跑一张出来试试,关键词去掉 a girl。
正向关键词:scenery, outdoors, tree, river, water, stairs, day, nature, sky, lake
然后固定该图片的 seed 值,并用上述生成人物的操作再进行生成。注意我们加上人物的色块后还需要加上 a girl 的关键词,a girl, scenery, outdoors, tree, river, water, stairs, day, nature, sky, lake
那如果我们换成一辆车呢,找到车的色值0066c8,然后画出车的大概形状。关键词加入 car 这个关键词,一辆车就出现在画面中了,阁下看懂了吗?
五、结语
本篇 SD 插件的基础功能教程到此就结束了,当然该插件还有一些别的功能我没有介绍到,都是一些锦上添花的功能,大家自个尝试即可。可以看到,这个插件解决了 sd 操作体验差的痛点,解决了 PS 的 AI 绘图功能差的痛点,更解决了想白嫖的我们的痛点,正所谓,你好我好大家都好。
我是言川,一个自认为超 cool 的设计师,目前在 AI 设计领域已经学习探索了 1 年以上,教程全网 300W+朋友学习,下期我会继续给大家出 AI 干货教程,给个三连和关注吧