ControlNet 1.1 安裝

初期每個 AI 圖像生成工具都只能用 prompt 去控制人物的動作，但有時候真的很難用文字去控制人物的動作。ControlNet 的出現把 Stable Diffusion 完全帶到一個新境界！

安裝方法

• 在 Extension > Available 按 Load from > search sd-webui-controlnet > 按安裝 然後 Reload UI。
• 己安裝舊版本也可以更新升級做 v1.1 。

lllyasviel/ControlNet-v1-1 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

• 可以進入 ControlNet 的 huggingface 頁面下載，下載 pth 檔案就可以。
• 放到 /Stable-Duffison-WEBUI/extension/sd-webui-controlnet/models/ 中。
• 可以按需要下載，個人建議先下載比較常用的 canny depth tile ，其他要用時再下載好了。
• 安裝及重新整理後在 txt2img 及 img2img 下面也會有 ControlNet 的界面出現。
• ControlNet v.1.1.218 以後版本界面加了 Control Type 的選擇，不用自己找對應 Preprocessor 的 Model 了。
• 想同時使用多個 ControlNet 的話，去 setting 設定 Multi ControlNet 為 2 或以上。

Control Type Model 簡介

每種 Model 都有他對影像分析的特性，根據不同的情境可以配合不同的 Model 使用。 Github 位置: https://github.com/lllyasviel/ControlNet-v1-1-nightly

ControlNet 1.1 Depth

分析原圖的景深然後在生成圖片時使用相同的景深。最穩定的 Model 之一，經常用來固定人物的外型。

• Model file: control_v11f1p_sd15_depth.pth
• Config file: control_v11f1p_sd15_depth.yaml

ConrtolNet 1.1 Normal

用 Normal Maps，一種 3D 貼圖的模擬凹凸光影的技術， 來分析及控制圖片生成時的紋理。適合用來重現複雜的紋理。

• Model file: control_v11p_sd15_normalbae.pth
• Config file: control_v11p_sd15_normalbae.yaml

ControlNet 1.1 Canny

分析圖像的邊緣線條並用來控制生成圖像的外型。最常用的 Model 之一，Canny 1.1 重新訓練後變得更強大和好用。

• Model file: control_v11p_sd15_canny.pth
• Config file: control_v11p_sd15_canny.yaml

ControlNet 1.1 MLSD

專門分析及控制直線線條，適用於重繪室內設計。

• Model file: control_v11p_sd15_mlsd.pth
• Config file: control_v11p_sd15_mlsd.yaml

ControlNet 1.1 Scribble

分析及控制塗鴉生成圖像，可以手繪簡單的塗鴉來成為生圖的基礎結構。

• Model file: control_v11p_sd15_scribble.pth
• Config file: control_v11p_sd15_scribble.yaml

ControlNet 1.1 Soft Edge

介乎於 Canny 與 Scribble 之間，Soft Edge 分析會保留粗略塗鴉般的邊緣，也會有部份精細的線條，兩者加起來邊緣軟化一點，為生成圖片時提供更強可變性。Canny 跟 Scribble 也不太合適時可以使用一下。

• Model file: control_v11p_sd15_softedge.pth
• Config file: control_v11p_sd15_softedge.yaml

ControlNet 1.1 Segmentation

分析原圖的語義 Segmentation，每一隻指定顏色會有一種代表物件類別，以此為基礎控制生成圖像。是一種比較難用的 Model，顏色的分類可以參考下圖。

• Model file: control_v11p_sd15_seg.pth
• Config file: control_v11p_sd15_seg.yaml

ControlNet 1.1 Openpose

使用 openpose 控制人物的表情姿勢，對精準控制人像動作很有幫助。

• Model file: control_v11p_sd15_openpose.pth
• Config file: control_v11p_sd15_openpose.yaml

ControlNet 1.1 Lineart

分析圖像變成線稿或黑白線稿，可以將相片變成掃瞄般的圖像。

• Model file: control_v11p_sd15_lineart.pth
• Config file: control_v11p_sd15_lineart.yaml

ControlNet 1.1 Anime Lineart

分析動漫畫的線稿，及在線稿上上色。

• Model file: control_v11p_sd15s2_lineart_anime.pth
• Config file: control_v11p_sd15s2_lineart_anime.yaml

ControlNet 1.1 Shuffle

隨機交換畫面中物件的位置。

• Model file: control_v11e_sd15_shuffle.pth
• Config file: control_v11e_sd15_shuffle.yaml

ControlNet 1.1 Instruct Pix2Pix

改變畫面中的物件狀態，例如改變天氣。

• Model file: control_v11e_sd15_ip2p.pth
• Config file: control_v11e_sd15_ip2p.yaml

ControlNet 1.1 Inpaint

局部重繪，可以用於 m2m 生成影片。

• Model file: control_v11p_sd15_inpaint.pth
• Config file: control_v11p_sd15_inpaint.yaml

ControlNet 1.1 Tile

可以用來提過畫面細節，適合同時用來放大。

• Model file: control_v11f1e_sd15_tile.pth
• Config file: control_v11f1e_sd15_tile.yaml