高精確度的 SDXL ControlNet - MistoLine
這一款全新的 ControlNet Model 支援 Automatic1111 及 ComfyUI,可以比起一般 Canny 及 LineArt Model 更準確地描繪線條,即使是極精細的圖案及畫面一樣照樣可以控制,是 SDXL 中少有的優質 ControlNet。
![高精確度的 SDXL ControlNet - MistoLine](/content/images/size/w1200/2024/07/00032-3139643713--1-.jpg)
這一款全新的 ControlNet Model 支援 Automatic1111 及 ComfyUI,可以比起一般 Canny 及 LineArt Model 更準確地描繪線條,即使是極精細的圖案及畫面一樣照樣可以控制,是 SDXL 中少有的優質 ControlNet。
什麼是 MistoLine ?
由 TheMisto.ai 團隊所開發,一個基於 SDXL 訓練而成的 ControlNet Model,主要用於控制線條,其特點就是其控制線條的精度極高,比其他 SDXL 的 Canny 或 LineArt Model 更仔細地抽取出圖片中每一條線,因此也能控制生成高精度的圖片。
![](https://blog.256pages.com/content/images/2024/06/intro-1.png)
TheMistoLine 團隊使用了創新的演算法 Anyline 來訓練基於 SDXL 的 ControlNet,令此 Model 擁力強勁的效能,特別在複雜的場景更能中展現細節。
![](https://blog.256pages.com/content/images/2024/07/sketch_rendering.png)
在一些官方提供的圖片中也不難發現無論多複雜的場景 MistoLine 都能輕鬆駕馭,生成高精度的圖片。
![](https://blog.256pages.com/content/images/2024/07/model_rendering.png)
使用 3D Model 的 screenshot 也能輕鬆生成一模一樣的圖片,比起慢慢設定 3D 素材及場景再渲染圖片,使用 MistoLine 控制生成圖片更快更高效,使用 SDXL Model 也比一般 SD1.5 的成像更高像素。
ComfyUI 中使用 MistoLine
MistoLine 完美地支援在 ComfyUI 中使用,首先可以下載 MistoLine 官方的 workflow 。
安裝 Anyline 時可能出現的問題
在載入這個 workflow 後,使用 ComfyUI Manager 自動安裝 ComfyUI-Anyline 這個 node 時可能會出現錯誤。如果出現錯誤請先安裝 comfyui_controlnet_aux ,在 ComfyUI/custom_nodes
目錄中輸入以下指令下載 node。
git clone https://github.com/Fannovel16/comfyui_controlnet_aux/
然後再用 ComfyUI Manager 安裝 ComfyUI-Anyline 即可成功安裝。
![](https://blog.256pages.com/content/images/2024/07/Screenshot-2024-07-03-at-14.14.32.png)
隨便網上找一張草圖來測試一下,除了沒有使用 VAE 外,基本上也沒有大改動官方設置,輕易就生成了跟草圖差不多的圖片,大家可以根據需要微調設定。
![](https://blog.256pages.com/content/images/2024/07/Screenshot-2024-07-03-at-16.33.31.png)
做用白色的 3D Model 截圖也能生成仔細及合符陰影的圖片,連倒影也一拼生成。
官方也有列出很多不同 ControlNet Model 的比較例子,可以看到 MistoLine 即使在不同的構圖中總是得出不錯的效果。
![](https://blog.256pages.com/content/images/2024/07/comparison.png)
Automatic1111 WebUI 中使用 MistoLine
Automatic1111 WebUI 當然地支援 MistoLine,在 ControlNet 中不用特別設定,只要選 MistoLine 做 Model 就可以輕易地生成圖片。
![](https://blog.256pages.com/content/images/2024/07/Screenshot-2024-07-17-at-11.34.03.jpg)
總結
在 ControlNet 效果比較差的 SDXL Model 中,MistoLine 有如救星般出現,希望之後可以有更多不同的 SDXL ControlNet 推出!