ControlNet 1.1 安裝

初期每個 AI 圖像生成工具都只能用 prompt 去控制人物的動作,但有時候真的很難用文字去控制人物的動作。ControlNet 的出現把 Stable Diffusion 完全帶到一個新境界!

安裝方法

  • 在 Extension > Available 按 Load from > search sd-webui-controlnet > 按安裝 然後 Reload UI。
  • 己安裝舊版本也可以更新升級做 v1.1 。
💡
v1.1 需要重新下載 14 個新版 Model
lllyasviel/ControlNet-v1-1 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
  • 可以進入 ControlNet 的 huggingface 頁面下載,下載 pth 檔案就可以。
  • 放到 /Stable-Duffison-WEBUI/extension/sd-webui-controlnet/models/ 中。
  • 可以按需要下載,個人建議先下載比較常用的 canny depth tile ,其他要用時再下載好了。
  • 安裝及重新整理後在 txt2imgimg2img 下面也會有 ControlNet 的界面出現。
  • ControlNet v.1.1.218 以後版本界面加了 Control Type 的選擇,不用自己找對應 Preprocessor 的 Model 了。
  • 想同時使用多個 ControlNet 的話,去 setting 設定 Multi ControlNet 為 2 或以上。

Control Type Model 簡介

每種 Model 都有他對影像分析的特性,根據不同的情境可以配合不同的 Model 使用。 Github 位置: https://github.com/lllyasviel/ControlNet-v1-1-nightly

ControlNet 1.1 Depth

分析原圖的景深然後在生成圖片時使用相同的景深。最穩定的 Model 之一,經常用來固定人物的外型。

  • Model file: control_v11f1p_sd15_depth.pth
  • Config file: control_v11f1p_sd15_depth.yaml
ControlNet 1.1 Depth

ConrtolNet 1.1 Normal

用 Normal Maps,一種 3D 貼圖的模擬凹凸光影的技術, 來分析及控制圖片生成時的紋理。適合用來重現複雜的紋理。

  • Model file: control_v11p_sd15_normalbae.pth
  • Config file: control_v11p_sd15_normalbae.yaml
ConrtolNet 1.1 Normal

ControlNet 1.1 Canny

分析圖像的邊緣線條並用來控制生成圖像的外型。最常用的 Model 之一,Canny 1.1 重新訓練後變得更強大和好用。

  • Model file: control_v11p_sd15_canny.pth
  • Config file: control_v11p_sd15_canny.yaml
ControlNet 1.1 Canny

ControlNet 1.1 MLSD

專門分析及控制直線線條,適用於重繪室內設計。

  • Model file: control_v11p_sd15_mlsd.pth
  • Config file: control_v11p_sd15_mlsd.yaml
ControlNet 1.1 MLSD

ControlNet 1.1 Scribble

分析及控制塗鴉生成圖像,可以手繪簡單的塗鴉來成為生圖的基礎結構。

  • Model file: control_v11p_sd15_scribble.pth
  • Config file: control_v11p_sd15_scribble.yaml
ControlNet 1.1 Scribble

ControlNet 1.1 Soft Edge

介乎於 Canny 與 Scribble 之間,Soft Edge 分析會保留粗略塗鴉般的邊緣,也會有部份精細的線條,兩者加起來邊緣軟化一點,為生成圖片時提供更強可變性。Canny 跟 Scribble 也不太合適時可以使用一下。

  • Model file: control_v11p_sd15_softedge.pth
  • Config file: control_v11p_sd15_softedge.yaml
ControlNet 1.1 Soft Edge

ControlNet 1.1 Segmentation

分析原圖的語義 Segmentation,每一隻指定顏色會有一種代表物件類別,以此為基礎控制生成圖像。是一種比較難用的 Model,顏色的分類可以參考下圖。

  • Model file: control_v11p_sd15_seg.pth
  • Config file: control_v11p_sd15_seg.yaml
ControlNet 1.1 Segmentation
Semantic Segmentation colors

ControlNet 1.1 Openpose

使用 openpose 控制人物的表情姿勢,對精準控制人像動作很有幫助。

  • Model file: control_v11p_sd15_openpose.pth
  • Config file: control_v11p_sd15_openpose.yaml
ControlNet 1.1 Openpose

ControlNet 1.1 Lineart

分析圖像變成線稿或黑白線稿,可以將相片變成掃瞄般的圖像。

  • Model file: control_v11p_sd15_lineart.pth
  • Config file: control_v11p_sd15_lineart.yaml
ControlNet 1.1 Lineart

ControlNet 1.1 Anime Lineart

分析動漫畫的線稿,及在線稿上上色。

  • Model file: control_v11p_sd15s2_lineart_anime.pth
  • Config file: control_v11p_sd15s2_lineart_anime.yaml
ControlNet 1.1 Anime Lineart

ControlNet 1.1 Shuffle

隨機交換畫面中物件的位置。

  • Model file: control_v11e_sd15_shuffle.pth
  • Config file: control_v11e_sd15_shuffle.yaml
ControlNet 1.1 Shuffle

ControlNet 1.1 Instruct Pix2Pix

改變畫面中的物件狀態,例如改變天氣。

  • Model file: control_v11e_sd15_ip2p.pth
  • Config file: control_v11e_sd15_ip2p.yaml
ControlNet 1.1 Instruct Pix2Pix

ControlNet 1.1 Inpaint

局部重繪,可以用於 m2m 生成影片。

  • Model file: control_v11p_sd15_inpaint.pth
  • Config file: control_v11p_sd15_inpaint.yaml
ControlNet 1.1 Inpaint

ControlNet 1.1 Tile

可以用來提過畫面細節,適合同時用來放大。

  • Model file: control_v11f1e_sd15_tile.pth
  • Config file: control_v11f1e_sd15_tile.yaml
ControlNet .1.1 Tile