Home
Download
Document
Forum
Video
Donate
Source Code
Sponsors
AI 助理
Products
Swoole-Compiler
CRMEB 新零售社交电商系统
Vprix 远程桌面系统
Login
Register
全部
提问
分享
讨论
建议
公告
开发框架
CodeGalaxy
发表新帖
识沃云图 AI 画图大模型 高级功能介绍
`Swoole AI 助理` 提供的画图大模型中,`Midjourney` 绘图效果最佳,一些用户可能仍然偏向于使用它。 `Midjourney` 之外,识沃云图画图模型(基于 `Stable diffusion XL` )也有一些优势,`Stable diffusion` 是免费开源的,可以私有化部署。`Stable diffusion` 不仅拥有与 `Midjourney` 相同的文生图、图生图功能之外, 同时还具备一些更高级的功能,能给您带来更广阔的创作空间。包括: 1. 数据模型 `Checkpoint`,提供了十几个风格各异的 `Checkpoint` 数据模型,可以画出各种不同风格的照片 2. 构图控制 `Controlnet`,功能非常强大,可以实现人物的造型控制、真人转动漫、动漫转真人、涂鸦重绘等等 3. 图像风格 `Style`,提供了 `100` 多种画图风格,例如游戏、广告、纸膜、黏土、艺术,相同的提示词使用不同的图像风格 4. 微调模型 `Lora`,区别于 `Checkpoint`,`Lora` 是一种小模型,可以与 `Checkpoint` 大模型组合使用,特异化图片内容,例如:我们可以使用一个 `汉服唐风` 的微调模型,使所有人物的衣着服装变成汉服风格,使用`AsianFace`微调模型,可以让人物的脸型更接近亚洲人 本文将详细介绍这些能力的使用,让每个人都能成为 `AI` 画图高手。 > `AI` 生成的图片很容易出错误的人物手脚,建议多试几次,删除掉错误的图片 > 画图的价格太贵怎么办?现在识沃云图(低速)已经调整为免费,另外还可以开通 `26元/月` 的会员,可无限使用各种画图功能(`OpenAI`除外) 数据模型 ---- 在画图窗口,点击最下方的灯泡图标,即可打开 “ 绘图辅助工具 ”,在参数设置 tab 页就能看到数据模型选择的下拉菜单了。识沃云图提供了十几种 `Checkpoint` 数据模型。 常用的几个模型: 1. `Chilloutmix`:真人大模型,适合画各类偏现实感的图片 2. `Guofeng3`:中国风大模型 3. `DreamShaper`:`3D` 风格人物大模型 4. `counterfeit`: `2D` 风格动漫二次元大模型 5. `Anything`:`2.5D` 风格大模型 ![Chilloutmix](https://wenda-1252906962.file.myqcloud.com//sd_images/202308/3dcb4ef3-39d4-42f6-ba76-9eeb3480a1e5.png) ![Anything](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/bfac66da-9358-4242-a606-ec4f647a2cf1.png) ![Guofeng3](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/6fc63004-a7c6-4146-843a-8d7e2cd78baa.png) ![counterfeit](https://wenda-1252906962.file.myqcloud.com//sd_images/202309/8444bc9c-7984-4c55-8492-9527b484601e.png) 使用非常简单,下拉选择不同的数据模型即可生成不同类型的图片。 # 构图控制 `Controlnet` 模型是一种可以控制`AI`的构图、光影,甚至线条、轮廓,`ControlNet` 有 `15` 种模型,具体可参考 `ControlNet` 的相关文章。 在画图辅助工具中,点击 “构图控制” ,可选择其中一种 `ControlNet` 模型。另外还需要选择一张参考图,可上传或者选择已有的一张图片。常用的几个模型: 1. `Openpose`:控制人物造型 2. `Canny`:构图模仿 3. `Scribble`:涂鸦重绘 4. `Lineart`:线条提取 这里使用了 `Lineart` 模型,选择 `DreamShaper` 数据模型,点击确定。 输入提示词为:**一个很帅的男孩子,中国人,22岁,大学生**,发送。 ![line](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f7caab9f9e.png) 等待一段时间后,就生成了和参考图构图一致的多张新图片。 ![1](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/71c45791-8d08-4f11-92b0-3fa8b29b4d21.png) ![2](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/0b9a5563-e38a-49c1-906f-8da984a110bb.png) ![3](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/55334507-6b7e-43c8-bbbe-539608b57c5a.png) ![4](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/8d5c4a0e-2ce8-4a16-8aa8-8313bc7f9684.png) 这只是 `ControlNet` 能力的冰山一角,`Controlnet` 模型的能力非常强大,通过设置 `ControlNet` 模型的精准控图,我们可以使用 `AI` 画出各种想要的图片。 # 图像风格 图像风格是 `SDXL` 模型提供的一种控制画图风格的方法,在 `SD 1.5` 版本的大模型中只能通过设置 `Lora` 微调模型来调整画图的风格, `SDXL` 无需设置任何 `Lora` 参数,只需要选择其中一个风格,就可以控制图片的风格。识沃云图提供了 `100` 多种 `SDXL Style`。 注意只能在选中以 `sd_xl_` 为前缀的数据模型后才会出现图像风格选项。 ![](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f81785ba28.png) ![图像风格-选择](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f813297b6f.png) 我们先选择默认风格画一张图片,提示词为:**a 16 years old girl, very cute, black haired, big eyes. At night, many stars in the starry sky, by the river, in the rice fields, barefoot, smiling** ## 默认风格 ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/87a64f34-3576-47d6-b71d-98e39e505250.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/ed051e67-7749-4ed5-aa27-1dc722f86600.png) ## 游戏-塞尔达风格 现在我们将图像风格修改为“游戏-塞尔达”,使用相同的提示词,生成的图片: ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/4ecb53c6-f7d9-4e97-9828-9eceef58469c.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/4ca111e5-4270-4b4b-b888-540d6e452ecf.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/4c8af397-8f65-4f4e-824f-207ce32e1271.png) 像不像塞尔达传说中的林克? # 微调模型 微调模型 `Lora` 是 `Stable diffusion` 大模型中另外一个非常值得探索的能力。我们可以使用 `Lora` 模型,可以使用 `15~30` 张图片,就可以训练一个 `Lora` 微调模型。 而 `Checkpoint` 通常可能需要数万甚至几十万张图片。`Lora` 模型的训练成本极地,在 `4090` 显卡上仅需 `20 分钟` 就可以完成训练。 `Lora` 可以控制出图的人物姿势、场景、表情、服装、光线、脸型、配色风格等等所有的细节。相当于一个定制版的模型。例如可以使用喜欢的 `idol` 或者影视、动漫作品训练一个微调模型。 然后通过 `Stable diffusion` 就能画出相关的任何场景图片,只需要提供提示词即可。 > 我们正在开发一个在线训练的模块,可上传一些图片,在线标注,无需购买任何或租赁显卡,即可训练 `Lora` 微调模型 在画图辅助工具中选择 `Lora` 模型,需要为每个模型设置权重。这里我们选了 `3` 个 `Lora` 模型。影响生成图片的场景细节、脸型、服装。 使用的提示词为:**a 16 years old girl, very cute, black haired, big eyes, student, in the school playground, Walking, early morning, best quality, 8k** ![](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f888a62bec.png) ## 生成图片的结果: ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/dc70b2e0-02f0-4a9e-8023-6856544766f3.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/2a9598e5-e84c-4fe2-a6ee-dfdb095e7eb1.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/bf0fc5af-e7c1-4997-a7a5-5ed1f9140cae.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/d7cfa1a2-a698-45a4-a434-2f8e7d4fc409.png) # 关键词推荐 识沃云图还提供了一个“关键词推荐”的模块,可以为我们的提示词增加一些修饰,例如上图中使用 `best quality`, `8k`就是从 “关键词推荐” 中选择的。 加入这些关键词可以让生成的图片质量更高,画质更丰富。 ![](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f89eba83d7.png) # 微信交流群 ![](https://wenda-1252906962.file.myqcloud.com/images/wxg.jpg?cache=2023931)
发布于10月前 · 36 次浏览 · 来自
分享
Rango
`Swoole AI 助理` 提供的画图大模型中,`Midjourney` 绘图效果最佳,一些用户可能仍然偏向于使用它。 `Midjourney` 之外,识沃云图画图模型(基于 `Stable diffusion XL` )也有一些优势,`Stable diffusion` 是免费开源的,可以私有化部署。`Stable diffusion` 不仅拥有与 `Midjourney` 相同的文生图、图生图功能之外, 同时还具备一些更高级的功能,能给您带来更广阔的创作空间。包括: 1. 数据模型 `Checkpoint`,提供了十几个风格各异的 `Checkpoint` 数据模型,可以画出各种不同风格的照片 2. 构图控制 `Controlnet`,功能非常强大,可以实现人物的造型控制、真人转动漫、动漫转真人、涂鸦重绘等等 3. 图像风格 `Style`,提供了 `100` 多种画图风格,例如游戏、广告、纸膜、黏土、艺术,相同的提示词使用不同的图像风格 4. 微调模型 `Lora`,区别于 `Checkpoint`,`Lora` 是一种小模型,可以与 `Checkpoint` 大模型组合使用,特异化图片内容,例如:我们可以使用一个 `汉服唐风` 的微调模型,使所有人物的衣着服装变成汉服风格,使用`AsianFace`微调模型,可以让人物的脸型更接近亚洲人 本文将详细介绍这些能力的使用,让每个人都能成为 `AI` 画图高手。 > `AI` 生成的图片很容易出错误的人物手脚,建议多试几次,删除掉错误的图片 > 画图的价格太贵怎么办?现在识沃云图(低速)已经调整为免费,另外还可以开通 `26元/月` 的会员,可无限使用各种画图功能(`OpenAI`除外) 数据模型 ---- 在画图窗口,点击最下方的灯泡图标,即可打开 “ 绘图辅助工具 ”,在参数设置 tab 页就能看到数据模型选择的下拉菜单了。识沃云图提供了十几种 `Checkpoint` 数据模型。 常用的几个模型: 1. `Chilloutmix`:真人大模型,适合画各类偏现实感的图片 2. `Guofeng3`:中国风大模型 3. `DreamShaper`:`3D` 风格人物大模型 4. `counterfeit`: `2D` 风格动漫二次元大模型 5. `Anything`:`2.5D` 风格大模型 ![Chilloutmix](https://wenda-1252906962.file.myqcloud.com//sd_images/202308/3dcb4ef3-39d4-42f6-ba76-9eeb3480a1e5.png) ![Anything](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/bfac66da-9358-4242-a606-ec4f647a2cf1.png) ![Guofeng3](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/6fc63004-a7c6-4146-843a-8d7e2cd78baa.png) ![counterfeit](https://wenda-1252906962.file.myqcloud.com//sd_images/202309/8444bc9c-7984-4c55-8492-9527b484601e.png) 使用非常简单,下拉选择不同的数据模型即可生成不同类型的图片。 # 构图控制 `Controlnet` 模型是一种可以控制`AI`的构图、光影,甚至线条、轮廓,`ControlNet` 有 `15` 种模型,具体可参考 `ControlNet` 的相关文章。 在画图辅助工具中,点击 “构图控制” ,可选择其中一种 `ControlNet` 模型。另外还需要选择一张参考图,可上传或者选择已有的一张图片。常用的几个模型: 1. `Openpose`:控制人物造型 2. `Canny`:构图模仿 3. `Scribble`:涂鸦重绘 4. `Lineart`:线条提取 这里使用了 `Lineart` 模型,选择 `DreamShaper` 数据模型,点击确定。 输入提示词为:**一个很帅的男孩子,中国人,22岁,大学生**,发送。 ![line](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f7caab9f9e.png) 等待一段时间后,就生成了和参考图构图一致的多张新图片。 ![1](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/71c45791-8d08-4f11-92b0-3fa8b29b4d21.png) ![2](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/0b9a5563-e38a-49c1-906f-8da984a110bb.png) ![3](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/55334507-6b7e-43c8-bbbe-539608b57c5a.png) ![4](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/8d5c4a0e-2ce8-4a16-8aa8-8313bc7f9684.png) 这只是 `ControlNet` 能力的冰山一角,`Controlnet` 模型的能力非常强大,通过设置 `ControlNet` 模型的精准控图,我们可以使用 `AI` 画出各种想要的图片。 # 图像风格 图像风格是 `SDXL` 模型提供的一种控制画图风格的方法,在 `SD 1.5` 版本的大模型中只能通过设置 `Lora` 微调模型来调整画图的风格, `SDXL` 无需设置任何 `Lora` 参数,只需要选择其中一个风格,就可以控制图片的风格。识沃云图提供了 `100` 多种 `SDXL Style`。 注意只能在选中以 `sd_xl_` 为前缀的数据模型后才会出现图像风格选项。 ![](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f81785ba28.png) ![图像风格-选择](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f813297b6f.png) 我们先选择默认风格画一张图片,提示词为:**a 16 years old girl, very cute, black haired, big eyes. At night, many stars in the starry sky, by the river, in the rice fields, barefoot, smiling** ## 默认风格 ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/87a64f34-3576-47d6-b71d-98e39e505250.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/ed051e67-7749-4ed5-aa27-1dc722f86600.png) ## 游戏-塞尔达风格 现在我们将图像风格修改为“游戏-塞尔达”,使用相同的提示词,生成的图片: ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/4ecb53c6-f7d9-4e97-9828-9eceef58469c.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/4ca111e5-4270-4b4b-b888-540d6e452ecf.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/4c8af397-8f65-4f4e-824f-207ce32e1271.png) 像不像塞尔达传说中的林克? # 微调模型 微调模型 `Lora` 是 `Stable diffusion` 大模型中另外一个非常值得探索的能力。我们可以使用 `Lora` 模型,可以使用 `15~30` 张图片,就可以训练一个 `Lora` 微调模型。 而 `Checkpoint` 通常可能需要数万甚至几十万张图片。`Lora` 模型的训练成本极地,在 `4090` 显卡上仅需 `20 分钟` 就可以完成训练。 `Lora` 可以控制出图的人物姿势、场景、表情、服装、光线、脸型、配色风格等等所有的细节。相当于一个定制版的模型。例如可以使用喜欢的 `idol` 或者影视、动漫作品训练一个微调模型。 然后通过 `Stable diffusion` 就能画出相关的任何场景图片,只需要提供提示词即可。 > 我们正在开发一个在线训练的模块,可上传一些图片,在线标注,无需购买任何或租赁显卡,即可训练 `Lora` 微调模型 在画图辅助工具中选择 `Lora` 模型,需要为每个模型设置权重。这里我们选了 `3` 个 `Lora` 模型。影响生成图片的场景细节、脸型、服装。 使用的提示词为:**a 16 years old girl, very cute, black haired, big eyes, student, in the school playground, Walking, early morning, best quality, 8k** ![](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f888a62bec.png) ## 生成图片的结果: ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/dc70b2e0-02f0-4a9e-8023-6856544766f3.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/2a9598e5-e84c-4fe2-a6ee-dfdb095e7eb1.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/bf0fc5af-e7c1-4997-a7a5-5ed1f9140cae.png) ![](https://wenda-1252906962.file.myqcloud.com//sd_images/202310/d7cfa1a2-a698-45a4-a434-2f8e7d4fc409.png) # 关键词推荐 识沃云图还提供了一个“关键词推荐”的模块,可以为我们的提示词增加一些修饰,例如上图中使用 `best quality`, `8k`就是从 “关键词推荐” 中选择的。 加入这些关键词可以让生成的图片质量更高,画质更丰富。 ![](https://wenda-1252906962.file.myqcloud.com/uploads/202310/1_653f89eba83d7.png) # 微信交流群 ![](https://wenda-1252906962.file.myqcloud.com/images/wxg.jpg?cache=2023931)
赞
0
分享
收藏
提问
分享
讨论
建议
公告
开发框架
CodeGalaxy
评论
还没有评论!
微信公众号
热门内容
作者其它话题
- CodeGalaxy K3s 轻量集群节点之间如何实现负载均衡
- 有没有办法判断当前是否运行在swoole守护进程里面?
暂无回复的问答
- CodeGalaxy K3s 轻量集群节点之间如何实现负载均衡
- 关于openssl CURL WARNING swSSL_connect: SSL_connect(fd=69) failed. Error: error:141A318A:SSL routines:tls_process_ske_dhe:dh key too small[1|394]
- 多个模型如何进行事务异常回退?
- websocket开启wss报错
- 协程tcp服务器如何使用多进程?recv()方法接收信息,打印出来的pid一直是同一个。没用使用到多进程啊。