使用 SDXL 生成暗藏內容的圖片

大家常常見到我用有一些文字隱藏在內的圖片做 Cover,單用 prompt 是很難做到的。所以用 Midjourney 或 DALL-E 3 也不能生成此類圖片,但 Stable Diffusion 有 ControlNet 加持,所以才能生成這種高難度的圖片,甚至生成影片!

使用 SDXL 生成暗藏內容的圖片

大家常常見到我用有一些文字隱藏在內的圖片做 Cover,單用 prompt 是很難做到的。所以用 Midjourney 或 DALL-E 3 也不能生成此類圖片,但 Stable Diffusion 有 ControlNet 加持,所以才能生成這種高難度的圖片,甚至生成影片!


一鍵安裝 Pinokio

今次我們會使用 ComfyUI 來進行生成,大家可以使用 Pinokio 來一鍵安裝,詳細可以跟此 post 安裝 Pinokio 及 ComfyUI。

真。一鍵安裝 Stable Diffusion (所有平台)- Pinokio
Pinokio 一個基於 Browser 的 AI 工具瀏覽器。適用於所有系列( Windows, MacOS (Intel/Apple), Linux ),亦可以適用於所有 WebUI/或其他 AI 功能。你不用再經安裝的過程折磨,一句指令都不用輸入,連 Terminal 也不用打開的情況下,使用完整功能的 Stable Diffusion WebUI,Automatic1111 SD WebUI,ComfyUI 及 Fooocus 也可以一鍵完成安裝!

一鍵安裝 ComfyUI

  • 安裝 Pinokio 後在 Discover 搜尋 ComfyUI 並 Download。
Download ComfyUI
  • 可以安裝支援 Stable Video Support 影片,Install with Stable Video Support,需時 20 分鐘,以後會有用。
Install ComfyUI with Stable Video Support
  • 順道下載 Stable Video XT Model 然後 Launch ComfyUI。
Download Stable Video XT Model and Launch

預先下載 Model

我們要預先下載一些 Model:

  • DreamShaper XL,用作生成高質素圖片用。
DreamShaper XL - alpha2 (xl1.0) | Stable Diffusion Checkpoint | Civitai
DreamShaper XL - Now Turbo! Also check out the 1.5 DreamShaper page Check the version description below (bottom right) for more info and add a ❤️ to…
  • ColorART,為生成的圖片增添鮮豔的色彩。
ColorART - v1.0 | Stable Diffusion LoRA | Civitai
ColorART should become a colorful but very creative model. Right now there are still a few difficulties because of my hardware it is a bit more dif…
  • QR Code Monster SDXL,今次 ControlNet 用的 Model。
QR Code Monster SDXL - v1.0 | Stable Diffusion Controlnet | Civitai
Controlnet QR Code Monster For SDXL Model Description This model is made to generate creative QR codes and illusions. Keep in mind that not all gen…
  • SDXL VAE,提高畫面對比度。
stabilityai/sdxl-vae at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

使用 Canva 製作 ControlNet 用圖片

生成隱藏文字時 ControlNet 需要一張做文字圖片,大家可以免費上 Canva 輕鬆製作一張自用。

在 Canva 登入後首頁在 You might want to try... 會見到 Logo,我就是需要差不多大的正方形圖片,選這個就好了。

選 Logo Template
簡簡單單 Stable Diffusion

在中間輸入你想要的文字,字體要選粗大的,比較容易成功。

白底黑字的話生成時字的位置會凹陷,想字凸出的話用黑底白字的圖片。

完成後在右上按 Share > Download PNG 就可以下載圖片。

我就用這張

ComfyUI 生成隱藏文字的圖片

我們先試試看生成隱藏文字其中圖片,我已經預先整理好一個生成隱藏文字的 workflow。下載這個文件

Hidden Text Workflow for ComfyUI
This is a ComfyUI workflow to generate hidden text in Stable Diffusion XL with ControlNet.Using Guide: https://medium.com/generative-ai/generating-images-with-hidden-contents-using-sdxl-bb357569496aResult

下載這個 workflow 然後在 ComfyUI 按 Menu 的 Load 載入 workflow。

ComfyUI hidden text workflow

由左上角開始簡單介紹一下設定:

Models

  • Load ControlNet Model:載入 QR Code Monster SDXL。
  • Load Checkpoint :載入 DreamShaper XL。
  • Load VAE:載入 SDXL VAE。
  • Load LoRA:載入 ColorArt LoRA,設定權重為 0.6

Prompts

  • Prompts Text G:colorful, wind, (ultra photorealistic:1.3), extremely high quality, high detail, raw color photo, octane render
  • Prompts Text L:((masterpiece)), ((best quality)), ((high detail)), ((realistic)), realistic photo, cinematic lighting
  • Negative Prompts:watermark, blur

ControlNet

  • Strength:控制強度 1.2,可因應效果強弱控制在 0.8~1.5 左右。
  • Load Image:選擇你要顯示的文字或圖案。

Settings

  • Dimensions:選擇長闊比例。
  • Step:步數最好 30~50 之間。

在小預覽圖比較易見到隱藏的文字,最後生成幾次或修改一下 prompts,都出現了些微不同的結果!


其實技術上是用了之後生成 QR Code 的方法來實現,不過因為已經有專用的 ControlNet,所以成功率及效果也比之前生成 QR Code 圖片來得更好,深深感受到了 Stable Diffusion 技術一日千里。