“Audeo” i mëson Inteligjencës Artificiale si të luajë në piano

“Audeo” i mëson Inteligjencës Artificiale si të luajë në piano

Kushdo që ka qenë në një koncert e di se çfarë magjie ndodh midis muzikantëve dhe instrumenteve të tyre. Kjo e shndërron muzikën nga të qenit thjesht “shënime në një faqe” në një përvojë të kënaqshme.

Një ekip i Universitetit të Uashingtonit mendoi nëse inteligjenca artificiale mund ta rikrijojë atë kënaqësi duke përdorur vetëm sinjale vizuale, një video të heshtur nga lart e dikujt që luan në piano. Studiuesit përdorën mësimin makinerik për të krijuar një sistem, të quajtur Audeo, që krijon audio nga shfaqjet e heshtura të pianos. Kur grupi testoi muzikën Audeo të krijuar me aplikacione për njohjen e muzikës, të tilla si SoundHound, aplikacionet identifikuan pjesën që Audeo luajti si rreth 86% të saktë. Për krahasim, Këto aplikacione gjithashtu krahasuan pjesën e luajtur nga Audeo me pjesët audio nga videot burimore dhe ishin të ngjashme 93% të kohës.

Studiuesit prezantuan Audeo-n më 8 dhjetor në konferencën NeurIPS 2020.

“Të krijosh muzikë që tingëllon sikur mund të luhej në një shfaqje muzikore më parë besohej se ishte e pamundur,”- thotë autori i vjetër Eli Shlizerman, një profesor asistent si në matematikën e aplikuar ashtu edhe në departamentet e inxhinierisë elektrike dhe kompjuterike. “Një algoritëm duhet të kuptojë shenjat, ose” tiparet “në kornizat e videos që kanë të bëjnë me gjenerimin e muzikës dhe duhet të ‘imagjinojë’ tingullin që po ndodh ndërmjet kornizave të videos. Kërkon një sistem që të jetë e saktë dhe imagjinare. Fakti që arritëm muzikë që tingëllonte mjaft mirë ishte një befasi.”

Audeo përdor një seri hapash për të deshifruar atë që po ndodh në video dhe më pas ta përkthejë atë në muzikë. Së pari, duhet të zbulojë se cilat tasta shtypen në secilën pjesë të video-s për të krijuar një diagramë me kalimin e kohës. Më pas duhet ta përkthejë atë diagramë në diçka që një sintetizues i muzikës do ta njihte në të vërtetë si një tingull që do të prodhonte një piano. Ky hap i dytë pastron të dhënat dhe shton më shumë informacion, të tilla si sa fort shtypet çdo taste dhe për sa kohë.

“Nëse do të përpiqemi të sintetizojmë muzikë vetëm nga hapi i parë, do të zbulonim se cilësia e muzikës është e pakënaqshme,”- thotë Shlizerman. “Hapi i dytë është mënyra sesi një mësues studion muzikën e kompozuar nga një student dhe ndihmon në përmirësimin e saj.”

Studiuesit trajnuan dhe testuan sistemin duke parë video në YouTube të pianistit Paul Barton. Trajnimi përbëhej nga rreth 172,000 korniza video të Barton duke luajtur muzikë të kompozitorëve të njohur klasikë, të tillë si Bach dhe Mozart. Pastaj ata testuan Audeo me pothuajse 19,000 korniza të Barton që luante muzikë të ndryshme nga këta kompozitorë dhe të tjerë, siç ishte Scott Joplin.

Sapo Audeo të krijojë një transkript të muzikës, është koha t’i jepet një sintetizuesi që mund ta përkthejë atë në tingull. Çdo sintetizues do ta bëjë muzikën të tingëllojë pak më ndryshe, kjo është e ngjashme me ndryshimin e llojit të “instrumentit” në një tastierë elektrike. Për këtë studim, studiuesit përdorën dy sintetizues të ndryshëm.

“Fluidsynth krijon tinguj pianoje me të cilët jemi njohur. Këta janë deri diku të ngjashme me tingëllimin mekanik, por mjaft të saktë,”- thotë Shlizerman. “Ne gjithashtu përdorëm PerfNet, një sintetizues i ri i AI që gjeneron muzikë më të pasur dhe më ekspresive. Por gjithashtu gjeneron më shumë zhurmë.”

“Audeo ishte trajnuar dhe testuar vetëm në videot me piano të Paul Barton. Kërkimi i ardhshëm është i nevojshëm për të parë se sa mirë mund të transkriptojë muzikë për çdo muzikant ose piano,”- thotë Shlizerman.

“Qëllimi i këtij studimi ishte për të parë nëse inteligjenca artificiale mund të gjeneronte muzikë që u luajt nga një pianist në një regjistrim video, megjithëse nuk synonim të kopjonim Paul Barton sepse ai është kaq virtuoz,”- thotë Shlizerman. “Ne shpresojmë që studimi ynë të mundësojë mënyra të reja për të bashkëvepruar me muzikën. Për shembull, një aplikim i ardhshëm është që Audeo mund të shtrihet në një piano virtuale me një aparat fotografik që regjistron vetëm duart e një personi. Gjithashtu, duke vendosur një aparat fotografik në krye të një pianoje reale, Audeo mund të ndihmojë potencialisht në mënyra të reja për të mësuar studentët se si të luajnë “.

Kun Su dhe Xiulong Liu, të dy studentë të doktoratës në inxhinieri elektrike dhe kompjuterike, janë bashkautorë në këtë punim. Ky studim u financua nga Fondacioni i Inovacionit dhe Kërkimeve në Washington, si dhe departamentet e aplikuara të matematikës, elektrikës dhe inxhinieria e kompjuterit.

Postime te ngjashme