Kas ir DALL·E 2?

DALL·E 2 ir mākslīgā intelekta programma, kas veido attēlus no tekstuāliem aprakstiem, ceturtdien atklāja pētījumu kompānija OpenAI.

Tas izmanto GPT-3 transformatora modeļa 12 miljardu parametru apmācības versiju, lai interpretētu dabiskās valodas ievades un ģenerētu atbilstošus attēlus. Piemēram, ja tika nodrošināts teikums “melnbalts maza suņa fotoattēls”, tas radīja pareizi atveidotu čivavas melnbaltu attēlu.

Sistēma nav ideāla — tā dažkārt rada attēlus, kurus ir grūti interpretēt vai arī tie ir pilnīgi neatbilstoši. Piemēram, kad tika lūgts ģenerēt attēlu, kurā redzams 'cilvēks, kurš brauc ar vienriteni pa virvi virs vulkāna', tas radīja (manuprāt, skaistu, bet pilnīgi nesaistītu saulrieta attēlu virs ūdens ar nelielu figūru priekšplānā). .

Tomēr rezultāti ir iespaidīgi, un OpenAI saka, ka DALL·E 2 'ir pirmais AI modelis, kas ģenerē attēlus no teksta aprakstiem, kas var konkurēt ar profesionālu cilvēku mākslinieku kvalitāti.'

Sistēma tika apmācīta, izmantojot teksta-attēlu pāru datu kopu, kas sastāvēja no aptuveni 1,3 miljoniem attēlu un parakstu no interneta, kurus nokasīja un kurēja OpenAI. Pēc tam apmācības dati tika izmantoti, lai precīzi noregulētu GPT-3 modeli, lai tas varētu ģenerēt attēlus no teksta aprakstiem.

OpenAI saka, ka sistēma var ģenerēt 'augstas kvalitātes' attēlus no plaša teksta aprakstu klāsta, tostarp tiem, kas ir abstrakti, konkrēti vai pat poētiski.

Papildus Čivavas piemēram, citi DALL·E 2 attēlu piemēri ietver pareizi atveidotu Ādolfa Hitlera portretu, pūķa attēlu, kas izgatavots no dārzeņiem, un Monas Lizas attēlu, kas izgatavots no grauzdiņiem.

Sistēma spēj ģenerēt arī tādu lietu attēlus, kas neeksistē, piemēram, “pūva” (izdomāts dzīvnieks) vai “tulpa” (domas forma).

Kopumā rezultāti ir iespaidīgi, un OpenAI saka, ka sistēma 'paver jaunas iespējas attēlu ģenerēšanai no teksta aprakstiem'.

NO E 2 Šis CLIP sistēma pārvērš teksta informāciju vizuālā informācijā. Šī ir kodētāja-dekodētāja paradigma, kas nozīmē, ka tad, kad tiek nodrošināts ievades teksts, tas vispirms tiek pārveidots par mašīnas ievadi, pēc tam to apstrādā sistēma un visbeidzot tiek nodots dekodētājam, kas pārveido kodētos datus attēlā.

Kas ir DALL·E 2?

Šis ir jaunākās paaudzes DALL·E, ģeneratīvs valodas modelis, kas izmanto frāzes, lai radītu pilnīgi jaunus vizuālos efektus. DALL E 2 ir milzīgs 3,5 V modelis, lai gan ne tik masīvs kā GPT-3. Interesanti, ka tas ir arī vieglāks nekā tā priekšgājējs (12B). Apraksta izlīdzināšanas un fotoreālisma ziņā DALL·E 2 ir par 70% labāks nekā DALL·E 2, neskatoties uz tā lielāko izmēru.

DALL.E 2- skaidrojums iesācējiem ar piemēriem

Konkrēti, DALL·E 2 ir hierarhisks nosacījuma teksta attēla sintēzes modelis, kas apvieno dziļu mācīšanos dabiskās valodas apstrādei ar datora redzējumu attēlu ģenerēšanai. Tās mērķis ir apmācīt divus modeļus, un treniņu komplekts sastāv no pārī savienotiem attēliem un aprakstiem. Pirmais ir a priori, ko, ja ir rakstīts nosaukums, var apmācīt ģenerēt CLIP attēla iegulšanu. Pēc tam mums ir dekodētājs, kas, iegulstot CLIP attēlu (un parakstu, ja tāds ir), var ģenerēt apmācītu attēlu.

DALLE 2 ir apmācīts, izmantojot simtiem miljonu fotoattēlu ar parakstiem no interneta, un daži no šiem attēliem tiek noņemti un pārveidoti, lai mainītu modeļa apgūto. Tas izgūst vairākas attēla opcijas CLIP pielikumi un tad izmantojiet to dekodētājs iziet cauri katram no tiem. Pēc tam, ņemot vērā lietotāja ievadi, tiek izveidots interesants visas šīs informācijas sajaukums.

Piemērs DALL IS 2

Spēlēsim nelielu spēli, lai saprastu DALL·E. Sadalīsim to nākamajos trīs posmos.

1. Iedomājieties varavīksnes, mākoņus un vienradžus, kas lido zilajās debesīs. Iedomājieties, kāds varētu būt attēls jūsu iztēlē. Cilvēki ir vistuvāk ideālajam attēla iegulšanas analogam, un attēls, kas tikko ienāca galvā, ir lielisks piemērs tam. Jūs varat tikai minēt par galaproduktu, bet jums ir laba ideja par to, kas būtu jāiekļauj. A priori modelis aizved lasītāju no frāzes vārdiem uz ainu viņa iztēlē.
2. Tagad jūs varat sākt zīmēt. Tas, ko dara unCLIP, pārvērš jūsu garīgo attēlu reālā skicē. Tagad jūs varat precīzi izveidot citu varoni no tā paša apraksta ar tādu pašu pamata statistiku, bet ar pilnīgi jaunu vizuālo stilu. DALL·E 2 var arī ģenerēt unikālus attēlus no esoša attēla, kas ir iegults šādā veidā.
3. Pievērsiet uzmanību izveidotajai skicei. Tas notiek, kad jūs ieskicējat aprakstu 'vienradzis mākoņu vidū un varavīksne paceļas pret debesīm'. Tagad pārbaudiet attēlu un tekstu, lai noteiktu, kas vislabāk ilustrē otru (saule, māja, koks utt.) un kas vislabāk ilustrē priekšmetu, stilu, krāsas utt. Tas, ko CLIP dara, ir raksturlielumu kodēšana. tekstu un attēlus.

Tagad, kad mēs zinām, kas ir DALL-E, pāriesim uz nākamo sadaļu un izpratīsim tās funkcijas.

Padoms: Kā izveidot reālistiskus attēlus, izmantojot DALL-E-2 AI pakalpojumu

Funkcijas DALL E2

Tālāk ir norādītas DALL·E 2 specifikācijas.

1. Variācijas
2. Krāsošana
3. Teksta atšķirības

Parunāsim par tiem sīkāk.

kā padarīt vizītkartes 2010

1] Variācijas

DALL·E 2 pārsniedz teikuma pārtulkošanu attēlā. OpenAI var eksperimentēt ar ģeneratīvo procesu, radot dažādus rezultātus konkrētam parakstam, pateicoties spēcīgajiem CLIP iegulumiem. Tas, ko CLIP “redz” savā “prātā”, ir tas, ko tas uzskata par svarīgu no ievades (paliek nemainīgs visiem attēliem) un ko var aizstāt (kas mainās dažādiem attēliem). Kad vien iespējams, DALL·E 2 saglabās gan “nozīmīgo informāciju..., gan estētiskos aspektus”.

2] Krāsošana

DALL·E 2 var modificēt esošos fotoattēlus ar automātisku aizpildīšanu. Nākamajā piemērā kreisais attēls ir sākotnējais attēls, un fotoattēla centrā un labajā pusē elements ir uzzīmēts dažādās vietās. DALL·E 2 pieskaņo attēla stilam papildu elementu. Tas arī atjaunina faktūras un atspulgus, lai atspoguļotu jauno elementu.

Lasīt : Ko jūs varat darīt ar ChatGPT

3] Teksta atšķirības

DALL·E 2 pārvērš attēlus, izmantojot teksta atšķirības. DALL·E 2 ir arī uzlabotas interpolācijas iespējas, kas ļauj modificēt objektus. Viens Twitter lietotājs varēja 'attīrīt' savu iPhone tālruni. twitter.com lai to pārbaudītu.

Ja jums patīk šīs funkcijas, viss, kas jums jādara, ir doties uz openai.com un tad reģistrējies. Varat izveidot jaunu kontu vai izmantot esošos Microsoft vai Google kontus, lai reģistrētos. Kad to izdarīsiet, jūs iegūsit dažus bezmaksas kredītus, ja vēlaties vairāk, jums par to ir jāmaksā.

Šīs ir dažas no DALL·E 2 funkcijām, tam ir daudz lielisku lietošanas gadījumu, tomēr vienmēr nav ieteicams pārāk paļauties uz AI rīkiem. Galu galā tie nav nekas cits kā instrumenti, ko izmanto darba veikšanai, tie nekad nevar aizstāt cilvēka emocionālo inteliģenci.

Lasiet arī: Labākās Deepfake lietotnes, programmatūra un vietnes.