ControlNet 1.1 安裝
初期每個 AI 圖像生成工具都只能用 prompt 去控制人物的動作,但有時候真的很難用文字去控制人物的動作。ControlNet 的出現把 Stable Diffusion 完全帶到一個新境界!
安裝方法
- 在 Extension > Available 按 Load from > search
sd-webui-controlnet
> 按安裝 然後 Reload UI。 - 己安裝舊版本也可以更新升級做 v1.1 。
- 可以進入 ControlNet 的 huggingface 頁面下載,下載
pth
檔案就可以。 - 放到
/Stable-Duffison-WEBUI/extension/sd-webui-controlnet/models/
中。 - 可以按需要下載,個人建議先下載比較常用的
canny
depth
tile
,其他要用時再下載好了。 - 安裝及重新整理後在
txt2img
及img2img
下面也會有 ControlNet 的界面出現。 - ControlNet
v.1.1.218
以後版本界面加了 Control Type 的選擇,不用自己找對應 Preprocessor 的 Model 了。 - 想同時使用多個 ControlNet 的話,去 setting 設定 Multi ControlNet 為 2 或以上。
Control Type Model 簡介
每種 Model 都有他對影像分析的特性,根據不同的情境可以配合不同的 Model 使用。 Github 位置: https://github.com/lllyasviel/ControlNet-v1-1-nightly
ControlNet 1.1 Depth
分析原圖的景深然後在生成圖片時使用相同的景深。最穩定的 Model 之一,經常用來固定人物的外型。
- Model file:
control_v11f1p_sd15_depth.pth
- Config file:
control_v11f1p_sd15_depth.yaml
ConrtolNet 1.1 Normal
用 Normal Maps,一種 3D 貼圖的模擬凹凸光影的技術, 來分析及控制圖片生成時的紋理。適合用來重現複雜的紋理。
- Model file:
control_v11p_sd15_normalbae.pth
- Config file:
control_v11p_sd15_normalbae.yaml
ControlNet 1.1 Canny
分析圖像的邊緣線條並用來控制生成圖像的外型。最常用的 Model 之一,Canny 1.1 重新訓練後變得更強大和好用。
- Model file:
control_v11p_sd15_canny.pth
- Config file:
control_v11p_sd15_canny.yaml
ControlNet 1.1 MLSD
專門分析及控制直線線條,適用於重繪室內設計。
- Model file:
control_v11p_sd15_mlsd.pth
- Config file:
control_v11p_sd15_mlsd.yaml
ControlNet 1.1 Scribble
分析及控制塗鴉生成圖像,可以手繪簡單的塗鴉來成為生圖的基礎結構。
- Model file:
control_v11p_sd15_scribble.pth
- Config file:
control_v11p_sd15_scribble.yaml
ControlNet 1.1 Soft Edge
介乎於 Canny 與 Scribble 之間,Soft Edge 分析會保留粗略塗鴉般的邊緣,也會有部份精細的線條,兩者加起來邊緣軟化一點,為生成圖片時提供更強可變性。Canny 跟 Scribble 也不太合適時可以使用一下。
- Model file:
control_v11p_sd15_softedge.pth
- Config file:
control_v11p_sd15_softedge.yaml
ControlNet 1.1 Segmentation
分析原圖的語義 Segmentation,每一隻指定顏色會有一種代表物件類別,以此為基礎控制生成圖像。是一種比較難用的 Model,顏色的分類可以參考下圖。
- Model file:
control_v11p_sd15_seg.pth
- Config file:
control_v11p_sd15_seg.yaml
ControlNet 1.1 Openpose
使用 openpose 控制人物的表情姿勢,對精準控制人像動作很有幫助。
- Model file:
control_v11p_sd15_openpose.pth
- Config file:
control_v11p_sd15_openpose.yaml
ControlNet 1.1 Lineart
分析圖像變成線稿或黑白線稿,可以將相片變成掃瞄般的圖像。
- Model file:
control_v11p_sd15_lineart.pth
- Config file:
control_v11p_sd15_lineart.yaml
ControlNet 1.1 Anime Lineart
分析動漫畫的線稿,及在線稿上上色。
- Model file:
control_v11p_sd15s2_lineart_anime.pth
- Config file:
control_v11p_sd15s2_lineart_anime.yaml
ControlNet 1.1 Shuffle
隨機交換畫面中物件的位置。
- Model file:
control_v11e_sd15_shuffle.pth
- Config file:
control_v11e_sd15_shuffle.yaml
ControlNet 1.1 Instruct Pix2Pix
改變畫面中的物件狀態,例如改變天氣。
- Model file:
control_v11e_sd15_ip2p.pth
- Config file:
control_v11e_sd15_ip2p.yaml
ControlNet 1.1 Inpaint
局部重繪,可以用於 m2m 生成影片。
- Model file:
control_v11p_sd15_inpaint.pth
- Config file:
control_v11p_sd15_inpaint.yaml
ControlNet 1.1 Tile
可以用來提過畫面細節,適合同時用來放大。
- Model file:
control_v11f1e_sd15_tile.pth
- Config file:
control_v11f1e_sd15_tile.yaml