使用 SDXL 生成暗藏內容的圖片

Edmond Yip -

大家常常見到我用有一些文字隱藏在內的圖片做 Cover，單用 prompt 是很難做到的。所以用 Midjourney 或 DALL-E 3 也不能生成此類圖片，但 Stable Diffusion 有 ControlNet 加持，所以才能生成這種高難度的圖片，甚至生成影片！

一鍵安裝 Pinokio

今次我們會使用 ComfyUI 來進行生成，大家可以使用 Pinokio 來一鍵安裝，詳細可以跟此 post 安裝 Pinokio 及 ComfyUI。

真。一鍵安裝 Stable Diffusion (所有平台）- Pinokio
Pinokio 一個基於 Browser 的 AI 工具瀏覽器。適用於所有系列( Windows, MacOS (Intel/Apple), Linux )，亦可以適用於所有 WebUI/或其他 AI 功能。你不用再經安裝的過程折磨，一句指令都不用輸入，連 Terminal 也不用打開的情況下，使用完整功能的 Stable Diffusion WebUI，Automatic1111 SD WebUI，ComfyUI 及 Fooocus 也可以一鍵完成安裝！
Edmond's BlogEdmond Yip

一鍵安裝 ComfyUI

  • 安裝 Pinokio 後在 Discover 搜尋 ComfyUI 並 Download。
Download ComfyUI
  • 可以安裝支援 Stable Video Support 影片，Install with Stable Video Support，需時 20 分鐘，以後會有用。
Install ComfyUI with Stable Video Support
  • 順道下載 Stable Video XT Model 然後 Launch ComfyUI。
Download Stable Video XT Model and Launch

預先下載 Model

我們要預先下載一些 Model：

  • DreamShaper XL，用作生成高質素圖片用。
DreamShaper XL - alpha2 (xl1.0) | Stable Diffusion Checkpoint | Civitai
DreamShaper XL - Now Turbo! Also check out the 1.5 DreamShaper page Check the version description below (bottom right) for more info and add a ❤️ to…
Civitai
  • ColorART，為生成的圖片增添鮮豔的色彩。
ColorART - v1.0 | Stable Diffusion LoRA | Civitai
ColorART should become a colorful but very creative model. Right now there are still a few difficulties because of my hardware it is a bit more dif…
Civitai
  • QR Code Monster SDXL，今次 ControlNet 用的 Model。
QR Code Monster SDXL - v1.0 | Stable Diffusion Controlnet | Civitai
Controlnet QR Code Monster For SDXL Model Description This model is made to generate creative QR codes and illusions. Keep in mind that not all gen…
Civitai
  • SDXL VAE，提高畫面對比度。
stabilityai/sdxl-vae at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

使用 Canva 製作 ControlNet 用圖片

生成隱藏文字時 ControlNet 需要一張做文字圖片，大家可以免費上 Canva 輕鬆製作一張自用。

在 Canva 登入後首頁在 You might want to try... 會見到 Logo，我就是需要差不多大的正方形圖片，選這個就好了。

選 Logo Template
簡簡單單 Stable Diffusion

在中間輸入你想要的文字，字體要選粗大的，比較容易成功。

白底黑字的話生成時字的位置會凹陷，想字凸出的話用黑底白字的圖片。

完成後在右上按 Share > Download PNG 就可以下載圖片。

我就用這張

ComfyUI 生成隱藏文字的圖片

我們先試試看生成隱藏文字其中圖片，我已經預先整理好一個生成隱藏文字的 workflow。下載這個文件

Hidden Text Workflow for ComfyUI
This is a ComfyUI workflow to generate hidden text in Stable Diffusion XL with ControlNet.Using Guide: https://medium.com/generative-ai/generating-images-with-hidden-contents-using-sdxl-bb357569496aResult
Gumroad

下載這個 workflow 然後在 ComfyUI 按 Menu 的 Load 載入 workflow。

ComfyUI hidden text workflow

由左上角開始簡單介紹一下設定：

Models

  • Load ControlNet Model：載入 QR Code Monster SDXL。
  • Load Checkpoint ：載入 DreamShaper XL。
  • Load VAE：載入 SDXL VAE。
  • Load LoRA：載入 ColorArt LoRA，設定權重為 0.6 。

Prompts

  • Prompts Text G：colorful, wind, (ultra photorealistic:1.3), extremely high quality, high detail, raw color photo, octane render
  • Prompts Text L：((masterpiece)), ((best quality)), ((high detail)), ((realistic)), realistic photo, cinematic lighting
  • Negative Prompts：watermark, blur

ControlNet

  • Strength：控制強度 1.2，可因應效果強弱控制在 0.8~1.5 左右。
  • Load Image：選擇你要顯示的文字或圖案。

Settings

  • Dimensions：選擇長闊比例。
  • Step：步數最好 30~50 之間。

在小預覽圖比較易見到隱藏的文字，最後生成幾次或修改一下 prompts，都出現了些微不同的結果！

其實技術上是用了之後生成 QR Code 的方法來實現，不過因為已經有專用的 ControlNet，所以成功率及效果也比之前生成 QR Code 圖片來得更好，深深感受到了 Stable Diffusion 技術一日千里。