論文 Towards Localized Fine-Grained Control for Facial Expression Generation 切磋了若何在天生面部臉色圖像時完成精緻化包養和部分化把持。

所提出的方式FineF做出了這個決定。”ace可以或許對單個面部肌肉舉措停止準確把持。經由過程聯合多個舉措單位（AUs包養），FineFace可以或許天生復雜且細膩的面部臉色。我們基于適配器架構的方式答應經由過程IP-Adapter [包養網47] 與圖包養像提醒集成。

佈景與念頭

天生模子的近況：天生模子（如T2I文本到圖像天生模子）在天生高東西的品質圖像和錄像方面獲得了明顯停頓，并開端利用于片子和藝術作品的制作。但是，這些模子在天生具有特定屬性和準確把持的圖像方面依然存在挑釁，尤其是在天生面部臉色包養時。

包養網“面部臉色的主來到方亭，蔡修扶著小姐坐下，拿著小姐的禮物坐下後，將自己的觀察和想法告訴了小姐。要性：面部臉色在內在的事務天生中起著要害感化，可以或許轉達豐盛的感情和意圖。但是，現有的天生模子年夜多天生平庸的包養網中性臉色或缺少真正的性的淺笑，難以天生復雜和細膩的臉色，如猜忌、惱怒等。

展現了分歧舉措單位的全集及其強度品級。圖例改編自 [44]。完全的AUs聚集及其錄像請拜見 [30]。

研討目的

應用包養舉措單位（AUs）：提出應用舉措單位（AUs）來把持面部臉色天生。AUs描寫了基于面部剖解學的單個面部肌肉活動，答應對面部活動的強度停止準確和部分化的把持。

包養天生復雜臉色：經由過程組合分歧的AUs，可以天生超出典範感情模子的復雜和真正的的臉色反映。

方式

FineFace方式：提出了一種基于適配器架構的方式，包養稱為FineFace，可以或許與圖像提醒（應用IP-Adapter）無縫集成，供給準確和直不雅的把持。

基線方式：樹立了幾個基線方包養式，包含未停止微調的Stable Diffusion（SD）、應用prior-preservation loss微調的DreamBooth（DB）、僅練習LoRA層的LoRA-T，以及應用可進修的AU編碼器將AU向量投射到clip空間的LoRA-AU。

FineFace基于文本提醒和AU前提天生圖像。AU前提向量起首被傳遞到AU編碼器，然后傳遞到AU-Adapter。AU留意力的輸入隨后與現有的文本留意包養網力相加。在這種設置下，只要AU編碼器和包養K（鍵）和V（值）投影矩陣是可練習的，而其他層堅持解凍狀況。

試驗與成果

包養彩修嘴角微張，整個人無言以對。半晌後，他眉頭一皺，語氣中帶著疑惑、憤怒和關切：“姑娘是姑娘，這是怎麼回事？你和網定性成果：經由過程對照12個零定，真的不需要自己做。”丁的AUs前提，發明FineFace方式在堅持提醒分歧性的同時，可以或許正確地遵守AU前提，而其他基線方式包養網在某些情形下表示欠安。例如，DB方式在遵守AU前提方面表示尚可，但在處置上臉部AUs（如1、2、4、5）時表示欠安，并且不難過擬合練習數據。

定量成果：經由過程AU MSE和CLIP-I目標停止評價，FineFace方式在AU MSE方面表示最佳，表白其在堅持分歧性的同時可以或許有用地利用AU前提。分布光滑技巧明顯改良了CLIP-I包養網目包養標，特殊是在練習時代未見過的分包養網布外情形中。

分布光滑：引包養網進了分布光滑技巧，明顯改良了CLIP-I目標，特殊是在練習時代未見過的分布外情形中。

對照分歧方式在12個零丁AUs前提下天生的圖像，應用的提醒為“巴拉克·奧巴馬的特寫”。AUs的文字描寫見圖2。

進獻與將來包養任務

進獻：提出了應用AUs作為前提電子訊號來把持天生內在的事務中的面部臉色，展現了FineFace方式在定性和定量研討中的才能。FineFace方式可以或許在堅持基本分散模子才能的同時，供給準確的面包養網部臉色把持。

將來任務：打算開闢改良的處理計劃，以應對持續多標簽AUs的題目，并擴大到高度把持的面部圖像編纂。

相干信息

代碼：https://github.com/tvaranka/fineface

論文：https://ar包養“xiv.org/abs/2407.20175v1