Egy lépcsőzetes diffúziós modellről van szó, amely az Imagen képgeneráló eszköz szövegvezérelt képfestésre történő finomhangolásával készült.

Az Imagen Editor lehetővé teszi (majd) egy kép feltöltését, a szerkeszteni/módosítani kívánt részek kiválasztását, majd értelmezi és végrehajtja az adott területre vonatkozó szöveges felszólítást. A kép többi része érintetlenül marad.  Alább egy példa erre: a meglévő fotón kiválasztják a kutya testét, majd egy fehér csillaggal díszített piros szkafandert „kérnek rá”. Még egy kartonból készült rakétát is adnak a képhez, illetve egy kék játékfejhallgatót a kutyára (és mindezeket szóbeli utasítások alapján).

Google

A Google szerint a legnagyobb kihívás az volt, hogy olyan szerkesztéseket hozzanak létre, amelyek hűek a beviteli szöveges felszólításokhoz, ugyanakkor összhangban vannak az eredeti (beviteli) képekkel. Új kódolókat is kifejlesztettek az Imagen Editor számára, és egy tárgydetektor modult is beépítettek az MI-ba a hiányos vagy pontatlan maszkok kompenzálására.

A fejlesztés részét képezi az EditBench nevű eszköz is, amellyel értékelhető a szövegvezérelt festés eredményei. A benchmark egy 240 képből álló adatkészlet alapján értékelte az ember által készített és mesterséges intelligencia által generált képek szerkesztéseit olyan paraméterek alapján, mint a módosított objektumok, azok attribútumai, például az alak, a méret és a jelenethez való alkalmasság. Az eredmények alapján az Imagen Editor jobbnak bizonyult az EditBench által tesztelt összes kategóriában az olyan alternatíváknál, mint amilyen a Dall-E vagy a StableDiffusion.

Sajnos a Google nem tette elérhetővé az Imagen Editort, miután komoly aggályai vannak a MI felelős használatával kapcsolatban. Viszont az EditBench ingyenesen elérhető, hogy segítse a további MI-kutatást.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.