Përdorimi i Inteligjencës Artificiale për të gjeneruar holograme 3D në kohë reale

Pavarësisht viteve të zhvillimit teknologjik, syzet e realitetit virtual ende nuk kanë përmbysur ekranet e TV apo kompjuterit si pajisjet kryesore për shikimin e videos. Një arsye: VR mund t’u shkaktojë përdoruesve përzierje e marrje mendsh. Përzierja dhe lodhja e syve mund të ndodhin sepse VR krijon një iluzion të të parit 3D megjithëse përdoruesi në të vërtetë po shikon një ekran me distancë fikse 2D. Zgjidhja për vizualizim më të mirë 3D mund të qëndrojë në një teknologji 60-vjeçare të ribërë për botën dixhitale: hologramet.

Hologramet ofrojnë një përfaqësim të jashtëzakonshëm të botës 3D rreth nesh. Plus, ato janë të bukura (Jepini pra- shikoni pëllumbin holografik në kartën tuaj Visa). Hologramet ofrojnë një perspektivë zhvendosëse bazuar në pozicionin e shikuesit dhe ato lejojnë që syri të rregullojë thellësinë fokale për t’u përqëndruar në plan të parë dhe sfond.

Studiuesit kanë kohë që kërkojnë të bëjnë hologramë të gjeneruar nga kompjuteri, por procesi tradicionalisht ka kërkuar që një super kompjuter të shndërrohet në simulime të fizikës, i cili kërkon kohë dhe mund të japë rezultate më pak fotorealiste. Tani, studiuesit e MIT kanë zhvilluar një mënyrë të re për të prodhuar holograme pothuajse në çast dhe metoda e bazuar në të mësuarit e thellë është aq efikase sa mund të funksionojë në një laptop sa hap e mbyll sytë, thonë studiuesit.

“Njerëzit më parë menduan se me pajisjet ekzistuese të gradës së konsumit, ishte e pamundur të bëheshin llogaritjet 3D të holografisë në kohë reale”, thotë Liang Shi, autori kryesor i studimit dhe një student PhD në Departamentin e Inxhinierisë Elektrike dhe Shkencave Kompjuterike të MIT (EECS). “Shpesh është thënë që ekranet holografike të disponueshme në treg do të gjenden në 10 vjet, megjithatë kjo deklaratë ka ekzistuar për dekada me rradhë.”

Shi beson se qasja e re, të cilën ekipi e quan “holografia e tensorit”, më në fund do ta sjellë atë qëllim të pakapshëm 10-vjeçar. Përparësia mund të ushqejë një përhapje të holografisë në fusha si printimi VR dhe 3D.

Shi punoi për studimin, botuar në Nature, me këshilltarin dhe bashkëautorin e tij Wojciech Matusik. Bashkëautorë të tjerë përfshijnë Beichen Li të EECS dhe Laboratorin e Shkencave Kompjuterike dhe të Inteligjencës Artificiale në MIT, si dhe ish-studiuesit e MIT Changil Kim (tani në Facebook) dhe Petr Kellnhofer (tani në Universitetin e Stanfordit).

Kërkimi për një 3D më të mirë

Një fotografi tipike e bazuar në lente kodifikon shkëlqimin e secilës valë drite – një foto mund të riprodhojë me saktësi ngjyrat e një skene, por në fund të fundit jep një imazh të sheshtë.

Nga ana tjetër, një hologram kodifikon shkëlqimin dhe fazën e secilës valë drite. Ky kombinim jep një përshkrim më real të paralaksës dhe thellësisë së një skene. Pra, ndërsa një fotografi e “Zambakëve të Ujit” të Monet mund të nxjerrë në pah paletin e ngjyrave të pikturës, një hologram mund ta sjellë pikturën në jetë, duke dhënë teksturën unike 3D të secilës prekje të furçës. Por, përkundër realizmit të tyre, hologramet janë një sfidë për t’u krijuar dhe shpërndarë.

Zhvilluar së pari në mes të viteve 1900, hologramet e hershme u regjistruan në mënyrë optike. Kjo kërkonte ndarjen e një rreze lazer, me gjysmën e rrezes së përdorur për të ndriçuar subjektin dhe gjysmën tjetër të përdorur si referencë për fazën e valëve të dritës. Kjo referencë gjeneroi konceptin unik të thellësisë së hologramit. Imazhet që rezultuan ishin statike, kështu që ata nuk mund të kapnin lëvizjen. Dhe ato ishin vetëm në kopje fizike, duke i bërë ato të vështira për t’u riprodhuar dhe shpërndarë.

Holografia e krijuar nga kompjuteri i shmang këto sfida duke simuluar konfigurimin optik. Por procesi mund të jetë një punë e vështirë llogaritëse. “Meqenëse secila pikë në skenë ka një thellësi të ndryshme, ju nuk mund të aplikoni të njëjtat operacione për të gjitha,”- thotë Shi. “Kjo rrit në mënyrë të konsiderueshme kompleksitetin. “Drejtimi i një super kompjuteri për të ekzekutuar këto simulime të bazuara në fizikë mund të kërkojë sekonda ose minuta për një imazh të vetëm holografik. Plus, algoritmet ekzistuese nuk modelojnë okluzionin me saktësi fotorealiste. Kështu që ekipi i Shi ndërmori një qasje tjetër: duke e lënë kompjuterin të mësonte fizikën vete.

Ata përdorën metodën e mësimit e thellë për të përshpejtuar holografinë e gjeneruar nga kompjuteri, duke lejuar gjenerimin e hologramit në kohë reale. Ekipi krijoi një rrjet nervor konvolucionar: një teknikë përpunimi që përdor një zinxhir të tenzoreve të trajnueshëm për të imituar afërsisht se si njerëzit përpunojnë informacionin vizual. Trajnimi i një rrjeti nervor zakonisht kërkon një set të të dhënave të mëdha, me cilësi të lartë, e cila nuk ekzistonte më parë për hologramat 3D.

Ekipi ndërtoi një bazë të dhënash të personalizuara prej 4,000 imazhesh të gjeneruara nga kompjuteri. Secila palë përputhet me një fotografi, përfshirë informacionin e ngjyrës dhe thellësisë për secilin piksel, me hologramin e saj përkatës. Për të krijuar hologramet në bazën e të dhënave të reja, studiuesit përdorën skena me forma dhe ngjyra komplekse dhe të ndryshueshme, me thellësinë e pikseleve të shpërndara në mënyrë të barabartë nga sfondi në plan të parë dhe me një seri të re llogaritjesh të bazuara në fizikë për të trajtuar okluzionin. Kjo qasje rezultoi në të dhëna trajnimi fotorealiste. Më pas, algoritmi filloi punën.

Duke mësuar nga secila palë imazhesh, rrjeti tensor ndryshoi parametrat e llogaritjeve të tij, duke rritur në mënyrë të njëpasnjëshme aftësinë e tij për të krijuar holograme. Rrjeti plotësisht i optimizuar vepronte me porosi të madhësisë më shpejt sesa llogaritjet e bazuara në fizikë. Ky efikasitet e befasoi vetë ekipin.

“Ne jemi të habitur se sa mirë performon,”- thotë Matusik. Thjesht në milisekonda, holografia e tensorit mund të krijojë holograme nga imazhe me informacione të thelluara, e cila sigurohet nga imazhe tipike të gjeneruara nga kompjuteri dhe mund të llogaritet nga një konfigurim i shumë kamerave ose sensori LiDAR (të dyja janë standarde në disa smartphone të rinj). Ky përparim hap rrugën për holografinë 3D në kohë reale. Për më tepër, rrjeti kompensues i tensionit kërkon më pak se 1 MB memorie. “Është e papërfillshme, duke marrë parasysh dhjetëra e qindra gigabajt të disponueshëm në celularin më të fundit,”- thotë ai.

“Një hap i konsiderueshëm”

Holografia 3D në kohë reale do të përmirësonte një mori sistemesh, nga VR te printimi 3D. Ekipi thotë se sistemi i ri mund të ndihmojë zhytjen e shikuesve të VR në pamje më realiste, ndërsa eliminon lodhjen e syve dhe efektet e tjera anësore të përdorimit afatgjatë të VR. Teknologjia mund të vendoset lehtësisht në ekranet që modulojnë fazën e valëve të dritës. Aktualisht, ekranet më të përballueshme të gradës së konsumit modulojnë vetëm shkëlqimin, megjithëse kostoja e ekraneve të modulimit fazor do të bjerë nëse miratohet gjerësisht.

Holografia tre-dimensionale mund të nxisë gjithashtu zhvillimin e printimit volumetrik 3D, thonë studiuesit. Kjo teknologji mund të jetë më e shpejtë dhe më e saktë se printimi tradicional shtresë pas-shtrese 3D, pasi printimi volumetrik 3D lejon projeksionin e njëkohshëm të të gjithë modelit 3D. Aplikime të tjera përfshijnë mikroskopinë, vizualizimin e të dhënave mjekësore dhe modelimin e sipërfaqeve me veti unike optike.

“Është një hap i konsiderueshëm që mund të ndryshojë plotësisht qëndrimin e njerëzve ndaj holografisë,”- thotë Matusik. “Ne ndihemi sikur rrjetet nervore kanë lindur për këtë detyrë.”

Puna u mbështet, pjesërisht, nga Sony.