最強 AI 繪圖工具？ Stable Diffusion vs Midjourney vs DALL-E 2 vs Leonardo.ai vs niji-journey
近來 AI 技術突飛猛進，除了 ChatGPT 外，AI 圖像生成技術都受到很大的關注。最為人所知的都應該算是 Stable Diffusion 及 Midjoureny 了。此外由開發 ChatGPT母公司 OpenAI 開發的 DALL-E 2，專門生成遊戲開發用圖片的 Leonardo.ai，以及由日本公司 Spellbrush 聯合 Midjourney 技術開發的 niji-journey 都備受關注。
、近來 AI 技術突飛猛進，除了 ChatGPT 外，AI 圖像生成技術都受到很大的關注。最為人所知的都應該算是 Stable Diffusion 及 Midjoureny 了。此外由開發 ChatGPT母公司 OpenAI 開發的 DALL-E 2，專門生成遊戲開發用圖片的 Leonardo.ai，以及由日本公司 Spellbrush 聯合 Midjourney 技術開發的 niji-journey 都備受關注。
接下來就簡介一下每個 AI 的及我個人用後感：
Sample image from DALL-E 2
首先是 2022 年 4 月公佈的 DALL-E 2，由大家熟悉的 ChatGPT 母公司 OpenAI開發，作為 DALL-E 的第二代性能突飛猛進，一張太空人騎馬的生成圖像成為了整個AI 生成圖像的里程碑。令大眾開始接觸到 AI 生成圖像的可能性。但作為「早期」的 AI 生成圖像工具，DALL-E 2 的性能不算突出，而且現在需要購買 credit 才可以使用(早期有免費credit)。或者要等 DALL-E 3 有突破性的性能提升才能重新進入最強 AI 繪圖的討論範例。
DALL-E 2 生圖教學
DALL-E 2 用後感：
- 最早接觸到的圖像生成 AI，覺得極為新奇有趣
- 使用 OpenAI account 即可登入使用
- 操作簡單，直接用英文 Prompt，但沒太多設定
- 可以選擇 text to Image (文生圖) 及 Image to Image (圖生圖)
- USD$15 / 115 Credits 有點貴
- 跟 ChatGPT 一樣有提供收費 API ，方便以此進行開發
| DALL-E 2 | 評分(星越多越好) |
|---|---|
| 開源 | 沒有 |
| 訓練Model | 不能 |
| 開始難度 | ★★★★★ *有OpenAI ID的情況下 |
| 使用難度 | ★★★★☆ |
| 可控制範圍 | ★☆☆☆☆ *只能靠 Prompt |
| 成像 | ★★★☆☆ |
| 價格 | ★☆☆☆☆ |
| 功能 | 文生圖，圖生圖，API |
由 ChatGPT 母公司開發的 DALL-E 2
Sample Image from Midjourney
Midjourney 在 2022 年 4 月橫空出世，然後在 2023 年 3 月已經快速發展至 v5 版本，一下子吸引全世界的目光，強大的圖片生成能力，生成真人圖片極度細緻，而且可以隨意轉換成不同藝術風格。即使超現實的圖片只要有豐富的想像力及適當的 Prompt，幾乎什麼圖像都可以生成出來。出來成像一般都很高，說是現時最強的 AI 生成圖像也說得過去。
Midjourney V5 功能介紹
Midjourney 畫質之高甚至有人用來參加比賽贏等冠軍被廣泛報導
要使用 Midjourney 必須要在 Discord 內進行，過程中還要跟其他用家一起「搶運算力」，但同時也可以看到其他人的 Prompt 作參考，而且生成圖片後還可以進行微調及放大。不過想要生成相同系列或相同人物極為困難，因為隨機性很大，即使使用完全相同的 Prompt 也會有不同的輸出。
最近新增的反向 Prompt 可以上載圖片來反向輸出 Prompt，比較瞎試可以更快輸出理想的效果，聽說再過幾個月就會有 V6 出來，那時候不知道會有什麼新突破？
Midjourney V5 用後感：
- 非常強大的生成能力，成像精緻漂亮無比
- 經 Discord 登入，在對話框輸入 Prompt 即可使用
- 官方文件有細仔教學用 Prompt 的方法
- 生成圖像後可以再四選一微調或放大其中一張功能實用
- 25 次試用及後需要 Subscribe 才能使用
- 生成圖像極為高質量，下限肯定是最高的 AI 生成工具
- 生成結果隨機數很大，難以穩定輸出相同的圖片
| Midjourney | 評分(星越多越好) |
|---|---|
| 開源 | 沒有 |
| 訓練Model | 不能 |
| 開始難度 | ★★★★☆ |
| 使用難度 | ★★★★☆ |
| 可控制範圍 | ★★★☆☆ *難以穩定輸出 |
| 成像 | ★★★★★ |
| 價格 | ★★★☆☆ |
| 功能 | 文生圖，圖生圖，微調，放大，反向Prompt |
最近新出 v5 的 Midjourney
Image from Stable Diffusion
在 2022 年 8 月由 Stability AI 發佈 Stable Diffusion。跟以上的 AI 生成工具不同的是 Stable Diffusion 以 Open Source 型式發佈，並可以在 Stable Diffusion Online 試玩。不過 Stable Diffusion Online 上只提供跟 DALL-E 2 相似的 Playground 試玩，只能用 Prompt，未能完全釋放 Stable Diffusion 的潛力。
Stable Diffusion Online 免費試玩
在之後數個月，受惠於 Open Source 的關係，大量開發者投入開發 Stable Diffusion 的 app，e.g. Stable Diffusion WebUI，Stable Diffusion UI, Draw Things 等等... 。這些 App 都可以在本地安裝，依靠個人電腦 CPU/GPU 的運算力去生成圖像，變成只要有電腦就能無限地免費生成圖片，而且圖片版權全屬你。除了使用本機電腦的運算力，也可以採用 Google Colab 等雲端運算能力來完成生圖，速度可以隨你的預算提升！
用家可以自行選擇用不同的平台去進行生成，除了最基本的 text2Img (文生圖) 外，還有負面 Prompt 可以防止不想見到的東西出現。針對 AI 生成圖像弱點的解決方案不停推陳出新，以 Img2Img (圖生圖) 為基礎開發出以圖片 Depth2img (景深生圖) 技術，為控制人物姿勢開發出 ControlNet ，及後更有 人體框架及解決手部變型的 Openpose 及 DepthLib 出現。
之後更有 MulitDuffusion 出現，解決了單一 Prompt 難以控制多個本體同時出現的問題，確實地用指定 Prompt 去描述前景背景等多個物件，並自然融入一張圖片中。
除了功能上不斷增加外，由於可以供用家自行訓練 Model，所以大量不同主題及風格的 checkpoint 及 LoRA 出現令 Stable Diffusion 用家可以根據不同要求使用不同的 Model 組合，去生成出理想的效果。
下載 Stable Diffusion Model 的網站
近日 Stability AI 更公佈 Stable Diffusion XL beta 版，以更強大的 Model 訓練基礎去展現出強大的實力，如有興趣可以到 Stability AI 的網上 AI 創意生成平台 DreamStudio 免費試玩一下，DreamStudio 也陸續會有很多強大的功能推出，將會是 Midjourney 一個強大的競爭對手。
Image from Stable Diffusion XL
Stability AI 開發的 DreamStudio 創意生成工具
Stable Diffusion 用後感：
- 個人是使用 Stable Diffusion WebUI，需要一些 Python 知識，但可以使用眾多最新的 extension，對無使用經驗的新手有點難度
- 要使用的風格就需要下載不同的 Model，比較細少的 LoRA 也要 100MB+，大型的 checkpoint 通常要 5-8GB，下載需時也罷，儲備多個 Model 最少耗 500GB - 數 TB 的空間。
- 對電腦的需求也相當高，PC 需有高階的 Nvidia 顯示卡，Mac 則要有 M1/M2 Max 的水平，而且相當吃記憶體，最好有 32GB 以上才能運算高解像的圖。
- 即使 Stable Diffusion WebUI 已經相當簡潔，但大量的設定及功能令學習成本增加，加上初期未熟習 Prompt 容易出現崩壞及獵奇的圖片。
- Open Source 社群成長相當驚人，功能開發日新月異，能夠自行訓練 Model 成為唯一可以個人化的 AI 生圖工具，成長上限相當令人期待
- 在相同設定下可以 100% 重現同的圖片，熟悉設定後穩定性相當高，加上越來越多公司以 Stable Diffusion 為背後運算基礎，預計會成為最普及的 AI 生成工具源。Open Source 一多人用就會發展得非常快。
| Stable Diffusion | 評分(星越多越好) |
|---|---|
| 開源 | 有 |
| 訓練Model | 可以 |
| 開始難度 | ★☆☆☆☆ *WebUI需要安裝Python |
| 使用難度 | ★★☆☆☆ *功能設定太多 |
| 可控制範圍 | ★★★★★ |
| 成像 | ★★★★★ *專家級 |
| 價格 | ★★★★★ *用自己電腦不花錢 |
| 功能 | 文生圖，圖生圖，姿勢控制，局部重繪，放大，反向Prompt...等等 |
Stable Diffusion XL Beta Available for API Customers and DreamStudio Users
Stability AI 官網
Images from Leonardo.AI
對於 Midjourney 及 Stable Diffusion 很多用家都表示不是可以控制的選擇太少就是太難用，然後 Leonardo.AI 的誕生成了很多用家的答案。
Leonardo.AI 背後基於 Stable Diffusion 的技術生成圖片，比 Stable Diffusion WebUI 看起來更親和的 UI，原生整合近似 Civitai 的社群，只要選一個看起來很讚的圖，按一下就可以使用他的風格設定，再加上 AI 自動建議的 Prompt ，就是一個比 Midjourney 易用的 Stable Diffusion，輕輕鬆鬆就可以生成所需圖片！雖然他們聲稱是專門用作遊戲用的圖片，但是其實生成真人的圖片也沒什麼大問題，你只要找真人風格的 Model Remix 一下就可以。
加上 Leonardo.AI 在雲端運算，肯定會比你的個人電腦快就是，每天有免費 150 Tokens 使用及一些限制，每張圖生成因應情況要 3-8 tokens。只要不大量生圖基本上都可以免費用到底。而且 Leonardo.AI 是包括了雲端訓練 Model 的功能，即使免貴用戶還是有一個月兩個的免費限額去訓練 Model，只能說太佛心了吧？
Leonardo.ai 用後感：
- 在被 Stable Diffusion WebUI 折騰後再使用特別感動
- 生成速度快，介面簡潔而功能強大
- 可以直接套用風格，中間節省了找 Model 下載安裝的時間
- 已上架的 Model 都已經有一定程度優化，崩壞機率比 Stable Diffusion 少很多
- 因應背後為 Stable Diffusion 的關係，預計還會極速成長
- 只要不大量使用，可以一直免費使用下去 (如果他們沒改政策)
| Leonardo.ai | 評分(星越多越好) |
|---|---|
| 開源 | 無 |
| 訓練Model | 可以 |
| 開始難度 | ★★★★★ |
| 使用難度 | ★★★★★ |
| 可控制範圍 | ★★★★☆ |
| 成像 | ★★★★☆ |
| 價格 | ★★★★☆ *免費也能用到大部份功能 |
| 功能 | 文生圖，圖生圖，姿勢控制，局部重繪，放大，自動去背景...等等 |
專門生成遊戲開發用圖片的 Leonardo.ai
niji-journey
來自日本的動漫版 Midjourney
由日本公司 Spellbrush 聯同 Midjourney 技術開發的 niji-journey 是日本最火熱的 AI 生成工具，基本上跟 Midjourney 一模一樣的操作方法，因為背後技術是 100% 由 Midjourney 提供，連收費模式都一模一樣，唯一分別是 niji-journey 是專門生成動漫風格的圖片。
受益於 Midjourney v5 的升級，niji-journey v5 的圖片生成質量都大增，畫風更多變而且線條明顯變得更細緻。不過近來 Midjourney v5 也可直接在 Prompt 加入 --niji 指令來模擬 niji-journey 風格，令原本的 Midjourney 用家引起一片混亂。
那麼除了生成的圖片絕對會變成動漫風之外，niji-journey 最大的特點就是支援中英日韓四種語言，就是說你可以用中文 Prompt 來生成圖片！
相信這是英文苦手的用家一大福音，因為有時候也不知道一些形容詞的英文，用中文 Prompt 可以直接生成圖片實在太好了！
niji-journey v5 用後感：
- 跟 Midjourney 一樣的強大而且簡單易用
- 對生成動漫圖片有興趣的用家來說是一大福音
- 升級 v5 後圖片明顯更精緻，筆觸更幼細，喜歡精緻動漫圖的用家絕對愛不釋手
- 能使用中文 Prompt
- 收費跟 Midjourney 一模一樣
| niji-journey | 評分(星越多越好) |
|---|---|
| 開源 | 沒有 |
| 訓練Model | 不能 |
| 開始難度 | ★★★★☆ |
| 使用難度 | ★★★★☆ |
| 可控制範圍 | ★★★☆☆ *難以穩定輸出 |
| 成像 | ★★★★☆ |
| 價格 | ★★★☆☆ |
| 功能 | 文生圖，圖生圖，微調，放大，反向Prompt |
日本公司 Spellbrush 聯合 Midjourney 技術開發，專門生成動漫角色的 niji-journey
總結：
除了 DALL-E 2 現在比較落後外，其他幾個 AI 工具都各擅勝場，在各自的主場都是最強的 AI 工具。但綜合能力我還是比較看好 Leonardo.AI，既有 Stable Duffision 的能力，又有雲端軟件的好處，最後還相當佛心可以每日有相當數量的免費 Tokens。只要他收費沒改變應該會有相當強的競爭力，期待下一個橫空出世的 AI 繪圖工具，可能會有直出 3D Model 的能力吧！
