震撼世界的 FLUX.1

在 Stability AI 出走成員組成,融資後成立的新實驗室 Black Forest Labs。近日推出的 FLUX Model 或許就是當初大家期望 SD3 應有的樣子,在版權及內容限制下 SD3 變成了一個笑話。

Image from FLUX

什麼是 FLUX?

FLUX 是由 Black Forest Labs 推出的強大圖片生成 Model,其威力遠比現有的任何 Stable Diffusion Model 強大,甚至比 Midjourney 有過之而無不及。生成真實圖片好比真人相片,生成文字及手指也毫無難度,唯一要面對的問題相信就是效能的需求極高,電腦弱一點也運行不到 FLUX Model。

Image from FLUX

免費試玩 FLUX

在網上也有不少可以試玩 FLUX 的平台,官方提供連結的有以下網站:

FLUX.1 [pro]

black-forest-labs/flux-pro – Replicate
State-of-the-art image generation with top of the line prompt following, visual quality, image detail and output diversity.
FLUX.1 [pro] | AI Playground | fal.ai
The pro version of FLUX.1, served in partnership with BFL
Mystic.ai
Enterprise-grade auto-ops for machine learning

FLUX.1 [dev]

black-forest-labs/FLUX-1-dev - Demo - DeepInfra
FLUX.1 [dev] is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. . Try out API on the Web
Mystic.ai
Enterprise-grade auto-ops for machine learning

FLUX.1 [schnell]

Mystic.ai
Enterprise-grade auto-ops for machine learning

FLUX.1 版本分別

FLUX.1 [pro]

是最強大的 FLUX 版本,暫時只能在 Black Forest Labs 的 API 中使用,而 Flux.1 [pro] API 的價錢如下:

cost = 0.05$ x (width / 1024) x (height / 1024) x (steps / 50)

以闊 1024 x 高1024 x 步數 50 的標準下 $0.05 一張,當你要更大/更多步數的圖片時費用會相對提高。

Youtube 也有比較 [pro] 跟 [dev] 版本的分別,pro 版明顯細節更多

FLUX.1 [dev]

由 FLUX.1 [pro] 中精鍊出來的版本,跟 FLUX.1 [pro] 有相似的畫質但擁有更快的速度,適合用於非商業用途。也是現時可以下載到最強版本的 FLUX,我也建議使用這個 FLUX 來生成圖片。

HuggingFace 下載點

FLUX.1 [schnell]

跟 FLUX.1 [dev] 相似,但擁有更快的速度及效能,可以在 apache 2.0 版本下再開發及發報,適合 Model 開發者進行二次開發及個人化微調使用。此版本有如 Stable Diffusion 的 Turbo 版本,可以以 1 ~ 4 步生成圖片,如果主機效能不足都可以使用此版本節省時間。

HuggingFace 下載點


在 ComfyUI 中運行 FLUX

由於都是 Diffusion Model,所以使用 ComfyUI 一樣可以支援。由於我是用 Macbook 的關係,對 Unet 的支援度比較差,令我試好久也不能成功用 FLUX 生成圖片,而且每次所花的時間也很長。幸好最後都成功使用 FLUX.1 [dev] 生成圖片。

Workflow for FLUX

Workflow 下載點


MacOS 如何才能運行 FLUX?

在我的 MacBook Pro M1 32GB 的效能下,需要大概 4 分鐘去生成一張 251280 x 720 的圖片。

  • Model 我是使用 lllyasciel 大大的 flux1-dev-fp8 版本以節省效能。
flux1-dev-fp8.safetensors · lllyasviel/flux1_dev at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
  • Clip 1 是使用 t5xxl_fp8_e4m3fn ,這個比 fp16 更好。
  • Clip 2 是使用 clip_l
comfyanonymous/flux_text_encoders at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
  • Vae 是使用官方的 vae。
black-forest-labs/FLUX.1-dev at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

把所有檔案都下載好,放到相應的 folder 就可以運行!


文字生成效果非常好,即使跟主體重疊也會好好遮住,畫面的精細度也很高,整體效果可謂超越了 Midjounery, Black Forest Labs 的實力非同小可,相信取代 Stable Diffusion 也是指日可待!