使用 LoRA 極速四步生成圖片

平時用 Stable Diffusion 生成圖片時很多時間都用於等待,但現在 Latent Consistency Models ( LCM ) 推出了一個可以大幅削減生成時間的 LoRA,克服一般 Latent Diffusion models ( LDM ) 緩慢的生成過程,令好像 Stable Diffusion 這類預訓練的 LDM 實現以超少的步數完成生圖過程。

使用 LoRA 極速四步生成圖片
使用 LoRA 極速四步生成圖片

平時用 Stable Diffusion 生成圖片時很多時間都用於等待,但現在 Latent Consistency Models ( LCM ) 推出了一個可以大幅削減生成時間的 LoRA,克服一般 Latent Diffusion models ( LDM ) 緩慢的生成過程,令好像 Stable Diffusion 這類預訓練的 LDM 實現以超少的步數完成生圖過程。

Latent Consistency Models: Synthesizing High-Resolution Images with Few-step Inference
Latent Consistency Models: Synthesizing High-Resolution Images with Few-step Inference
相比普通方法的生成方式,LCM 速度快上幾倍

如何使用?

最重要是這種技術是已經可以在 Stable Diffusion WebUI 中使用,最簡單的方法就是使用 LoRA 版本,既可以直接使用原本在用的 Checkpoint 及 Extension,也可以達到加速的效果。

首先可以下載 LMC 的 LoRA,有分 1.5 及 SDXL 版本

latent-consistency/lcm-lora-sdv1-5 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

SD 1.5

latent-consistency/lcm-lora-sdxl at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

SDXL

由於兩個檔案預設都叫做 pytorch_lora_weights.safetensors 建議改名為 LCM_LoRA_SD15LCM_LoRA_SDXL 容易識別。

檔案下載後放到 models/Lora 再到 LoRA tab refresh 一下就可以見到。

SD 1.5 版本測試

先以官方建議的配置測試一下效果

重點是 Sampling Steps 只有 4 !平是不足以構成圖形的步數,以及超底的 CFP Scale 1.5。

Model
基本設定

加上簡單的 prompt : (masterpiece, best quality), 1girl, solo, long hair, outdoors, school uniform, day, wind, cloud, looking at viewer, short sleeves, parted lips, shirt, cloud, black hair, sunlight, white shirt, serafuku, upper body, brown hair, blue sky, depth of field, smile, global illumination, <lora:LCM_LoRA_SD15:1>

及 netgative prompt : man, animal, lowres, bad anatomy, worst quality, text, username, watermark, signature, jpeg artifacts, blurry

四步成圖

以我的 Macbook Pro M1 32GB 以準,生成四步 512 x 512 的圖只需 4 秒。由於速度很快我就一次成生 12 張看看效果。

隨機生成 12 張也不用一分鐘完成!

雖然不算超精細,但四步來說已經很不錯,那麼跟沒有使用 LoRA 有什麼分別?

有使用 LoRA 
沒有使用 LoRA

在有使用 LCM 的 LoRA 的情況下,第四步人物已經成形,在第十步已經在增加細節。但沒有使用 LoRA 的情況下,第四步時人物依然模糊一片,在第十步才初步成型。

但是聰明的讀者馬上就會發現使用 LoRA 後人物好像整個風格都不對勁。因為 LoRA 權重太高而引起的風格走樣問題,所以我就來測一下不同權重下的分別!

權重由 0 - 1.8 的分別

同樣是四步完成,在不同權重下明顯見到了分別,權重越高風格崩壞越強烈,在 0.4 - 0.6 左右對風格影響比較少同時能增加完成度,看大家可以嘗試在步數與權重之間尋找最合適的平衡點。

Read more

未來 AI 是否取代人類工作?

未來 AI 是否取代人類工作?

近幾年 AI 發展蓬勃,每個月都有大量新 AI 工具推出,每幾個月就有一次大革新,很多人都預言 AI 會取代人類工作,但是 AI 會怎樣取代人類的工作呢?人類會否因此失業? AI 真的會取代你的工作嗎? 大家心目中的 AI 總是一個機械人的樣子,當然現時也有很多公司已經開發機械人,然後這個機械人坐在你原本的位置取代了你的工作。 這種事情會發生嗎? 簡單直接地說就是短時間內不會發生,AI 可以取代人的唯一原因是,使用 AI 更便宜。你認為買一個機械人要多少錢,還要訂閱 AI 服務才會聽的懂你的指令,還有機械人壞了要維修,還有很多機械人未能支援的工作,可能每幾年又要花錢升級機械人。 對老闆來說花這麼多錢買個不肯定能完成工作的機械人來取代人工作太不化算了,大概會有些公司會花錢買幾隻玩玩,但用來取代便宜得多的人手是不現實的。 那麼 ChatGPT 會取代我的工作岡位嗎? 相信有部門功能性極底的工作可以由 ChatGPT 取代,但是不會是全部,而且取代的方式也不會是你的工作岡位消失變成由 ChatGPT 工作。 舉一個例子,一間公司有設計師,