近年來,擴散模型在文生圖任務(wù)中得到了廣泛的應(yīng)用,但其在實現(xiàn)高質(zhì)量圖像生成的過程中,通常需要多步推理進行去噪,這顯然大大增加了計算資源成本。
針對于此,研究人員引入蒸餾算法,推出了擴撒感知蒸餾算法來加速擴散模型的推理過程。目前常用的方法大致可分為軌跡保持蒸餾與軌跡重構(gòu)蒸餾,但均存在嚴重的性能下降與領(lǐng)域偏移。
為此,字節(jié)跳動提出了名為 Hyper-SD 的創(chuàng)新框架,揚長避短,結(jié)合上述兩種方法的優(yōu)勢,在壓縮去噪步數(shù)的同時保持接近無損的性能,通過軌跡分段一致性蒸餾 (Trajectory Segmented Consistency Distillation, TSCD) 技術(shù),實現(xiàn)了快速且高質(zhì)量的圖像生成。
廣泛的實驗和用戶研究表明,Hyper-SD 在 SDXL 和 SD1.5 兩種架構(gòu)上,都能在 1 到 8 步生成中實現(xiàn) SOTA 級別的圖像生成性能。
「Hyper-SD 實時繪畫生圖」已上線至 HyperAI超神經(jīng)教程版塊,無需輸入任何命令,一鍵克隆即可啟動!
教程地址:
https://go.hyper.ai/bQ3fh
Demo 運行
- 登錄 hyper.ai,在「教程」頁面,選擇「Hyper-SD 實時繪畫生圖」,點擊「在線運行此教程」。
2. 頁面跳轉(zhuǎn)后,點擊右上角「克隆」,將該教程克隆至自己的容器中。
3. 點擊右下角「下一步:選擇算力」。
4. 頁面跳轉(zhuǎn)后,選擇「NVIDIA RTX 4090」以及 「PyTorch」鏡像,點擊「下一步:審核」。新用戶使用下方邀請鏈接注冊,可獲得 4 小時 RTX 4090 + 5 小時 CPU 的免費時長!
HyperAI超神經(jīng)專屬邀請鏈接(直接復(fù)制到瀏覽器打開):
https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej
5. 確認無誤后,點擊「繼續(xù)執(zhí)行」,等待分配資源,首次克隆需等待 1 分鐘左右的時間。當(dāng)狀態(tài)變?yōu)椤高\行中」后,點擊「API 地址」邊上的跳轉(zhuǎn)箭頭,即可跳轉(zhuǎn)至 Demo 頁面。請注意,用戶需在實名認證后才能使用 API 地址訪問功能。
效果預(yù)覽
- 打開 Demo 后,在繪圖區(qū)簡單畫出形狀后,輸入 Prompt(例如 Lighthouse on the sea),點擊「run」,即可產(chǎn)出圖像。
2. 繼續(xù)添加不同的筆畫,可以看到它根據(jù)新的筆畫實時更換不同的圖片。