Practic, ce-ti poate oferi realitatea mixta este o experienta imersiva (posibilitatea de a sta lânga artist si a-i vedea toate miscarile), personalizata (prin posibilitatea de a alege artistul sau genul de muzica) si, de ce nu, accesibila (nu ai nevoie sa calatoresti pentru a prinde turneul unui artist, ci poti folosi dispozitivele de acasa sau dintr-un spatiu special amenajat/ dotat). La începutul lui iunie, fiind în trecere prin New York, am ajuns întâmplator la un concert care avea loc în realitatea mixta (mixed reality, sau MR). Îndemnat sa vizitez Hudson Yards, cel mai mare proiect imobiliar privat mixed-use, care a costat 25 de miliarde de dolari si înca nu fusese inaugurat acum 8 ani, când am ajuns pentru prima data în metropola americana, am dat peste the Shed. The Shed este un centru cultural inovator, o institutie pentru secolul 21, care nu tine cont de separarea formelor de arta si încurajeaza folosirea tehnologiei pentru crearea de experiente digitale transformative atât la fata locului, cât si online. Un fapt care faciliteaza accesul publicului interesat de forme culturale contemporane este localizarea: în cladirea Bloomberg din cadrul complexului, foarte aproape de Chelsea, districtul galeriilor de arta din Manhattan. La momentul vizitei mele, am avut norocul sa ajung cu câteva minute înainte de începerea unei reprezentatii a spectacolului (sau, mai degraba, experientei) Kagami, cuvânt care în japoneza se traduce prin oglinda. În fapt, un concert revolutionar desfasurat exclusiv în realitate mixta, rezultatul colaborarii dintre legendarul compozitor si artist Ryuichi Sakamoto si Tin Drum, primul studio din lume dedicat producerii de continut MR pentru dispozitive. Nascut în Tokio, Sakamoto s-a facut cunoscut ca membru al Yellow Magic Orchestra, o trupa de muzica electronica experimentala, iar mai târziu drept compozitor al coloanelor sonore ale unor filme precum Ultimul împarat (1987), Craciun fericit, domnule Lawrence! (1983) sau The Revenant (2015). Pe lânga numeroase productii de muzica clasica, doua opere, el a colaborat la nu mai putin de 45 de soundtrack-uri cu regizori precum Bernardo Bertolucci, Pedro Almodóvar, Brian De Palma sau Alejandro González Iñárritu, fiind rasplatit de critica, printre altele, cu câte un premiu Oscar, Grammy si BAFTA, precum si doua Globuri de Aur. Ryuichi Sakamoto a murit anul acesta, în martie, la 71 de ani, dupa o lupta de 2 ani si jumatate cu cancerul. Desi nu a mai apucat sa asiste la unul dintre evenimentele publice Kagami, lansate în paralel la New York si la Festivalul International din Manchester (Marea Britanie), reusise anterior sa înregistreze un ultim concert împreuna cu Todd Eckert, fondatorul Tin Drum si cel care a produs primul performance în realitate mixta destinat unui public numeros, „The Life” al artistei Marina Abramovic. În paranteza, trebuie precizat ca Sakamoto a fost mereu un adept al tehnologiei, pe care a adoptat-o si folosit-o în instalatiile sale de sunet (numite „installation music”) create pentru muzee sau galerii în asa fel încât publicul sa experimenteze sunetul într-un spatiu fizic cât mai aproape de ideal. Sta marturie inclusiv marele premiu pentru arta interactiva al festivalului de arta new media, Ars Electronica, acordat în 1997 lui Sakamoto si Toshio Iwai pentru concertul Music Plays Images X Images Play Music. Daca-l întrebi pe Bard (google) ce este realitatea mixta (MR), îti raspunde ca MR este o tehnologie care combina elemente ale realitatii virtuale (VR) si ale realitatii augmentate (AR). În timp ce VR înlocuieste mediul real cu unul virtual, prin purtarea unor ochelari speciali care îti aduc un ecran în fata ochilor, în care esti pe deplin imersat, MR suprapune elemente virtuale peste mediul real. Daca în cazul AR e suficient un echipament precum un telefon sau o tableta pentru a-ti augmenta realitatea cu diverse obiecte care sunt suprapuse realitatii, pentru MR ai nevoie de un dispozitiv special (ex. HoloLens de la Microsoft, MetaQuest 2 sau, mai nou, Apple Vision Pro). Acest lucru permite utilizatorilor nu doar sa vada, ci sa si auda si interactioneze cu ambele lumi, reala si virtuala. Aveam sa experimentez acest tip de interactiune odata ce un set de ochelari primit de la organizatori scana un cod si declansa pentru toti cei aproximativ 80 de spectactori, asezati în cerc, imagini virtuale care-l înfatisau pe Sakamoto cântându-si compozitiile la pian. Initial, am fost întrebati daca vizualizam un cub rosu când îndreptam ochelarii spre centrul cercului sub care fusesem asezati. Întâmplator, ochelarii Magic Leap 2 pe care-i primisem necesitau o resetare, asa ca am primit imediat o alta pereche. Asezarea în cerc era necesara pentru calibrarea castilor cu ajutorul unor puncte de reper, care adaugau, pe lânga sunetul si imaginea concertului de pian sustinut de Sakamoto, înregistrate în fotogrammetrie, obiectele animate (inclusiv pianul) si o serie de efecte vizuale speciale (VFX) suprapuse si sincronizate cu muzica. Odata ce imaginea apare simultan spectatorilor, îl vedem pe pianist asezându-si degetele pe clape. Pe parcursul celor 50 de minute în care artistul japonez interpreteaza o serie de compozitii proprii, inclusiv celebrele Energy Flow (o balada delicata, scrisa initial pentru o reclama la vitamine, care a devenit un hit) sau Forbidden Colours (de pe coloana sonora a filmului Merry Christmas Mr. Lawrence) poti vedea ciocanelele pianului Yamaha lovind coardele, în timp ce o serie de animatii potenteaza sunetele divine: o ceata virtuala se transforma în ploaie, un peisaj urban sau radacinile unui copac cresc din pian, putin mai târziu, iar fulgi de zapada cad lin, feeric, pe notele unei alte piese. Esti încurajat sa te ridici si sa explorezi spatiul. În timp ce faci câtiva pasi timizi, pentru a te obisnui cu senzatia, constati cu uimire ca te poti pozitiona în spatele artistului, la câtiva centimetri de el, în lateral sau în fata lui, pentru a-i surprinde expresia de pe chip, modul în care parul îi flutura în timpul miscarilor capului, fara sa obturezi imaginea celorlalti spectactori. Singura preocupare, în timp ce te învârti prin camera, este sa nu te lovesti de ceilalti, pe care-i percepi ca pe niste umbre prin intermediul ochelarilor speciali. Ai inclusiv un buton pentru a regla sunetul, în functie de cât de tare vrei sa-l percepi. Ultima piesa din setlist, BB, a fost scrisa, ne spune chiar Sakamoto augmentat la pian, la cinci minute dupa ce a aflat despre moartea prietenului sau Bernardo Bertolucci, regizorul filmului Ultimul împarat. Practic, ce-ti poate oferi realitatea mixta este o experienta imersiva (posibilitatea de a sta lânga artist si a-i vedea toate miscarile), personalizata (prin posibilitatea de a alege artistul sau genul de muzica) si, de ce nu, accesibila (nu ai nevoie sa calatoresti pentru a prinde turneul unui artist, ci poti folosi dispozitivele de acasa sau dintr-un spatiu special amenajat/ dotat). MR a început deja sa fie folosit în artele performative si catre audiente mai largi, nu doar în contexte mai degraba intime, cum a fost cel de la the Shed. Astfel, DJ-ul american Porter Robinson, în turneul sau Nurture, pentru a crea o experienta imersiva pentru spectatori. Spectatorii au putut purta casti VR pentru a vedea un spectacol care a combinat imagini live cu animatii 3D. În SUA, festivalul de muzica Coachella a folosit MR pentru a crea o experienta personalizata pentru spectatori, care au scanat coduri QR pentru a debloca continut VR si AR, cum ar fi videoclipuri muzicale, interviuri cu artisti si povesti din culise. Iar Sony a creat o experienta accesibila în MR pentru spectatorii cu deficiente de auz, care au putut purta casti VR pentru a vedea o traducere în timp real a muzicii în limbajul semnelor. Evident, emotia unui concert live, în persoana, în care artistul e prezent, mi se pare (înca) inegalabila. Dar în cazul în care acesta a decedat sau si-a pierdut calitatile care-l fac unic (vezi comentariile recente despre vocea lui Axl Rose), o astfel de experienta imersiva poate arhiva si readuce, pe o perioada nelimitata si pentru multe generatii de spectactori, câteva momente magice. Asa cum unii ar da orice sa-i vada pe Mozart sau Beethoven cântând în fata lor, chiar într-o realitate mixta, mie mi-ar fi placut sa existe tehnologia la momentul respectiv pentru a-i înregistra pe Freddie Mercury, Kurt Cobain sau Chester Bennington, pe care nu am apucat sa-i vad live. Dar poate voi putea merge cu nepotii mei, când vor mai creste, sa-i vada pe Thom Yorke, Dave Gahan, Matt Bellamy sau Tom Smith la apogeul carierelor lor. George Plesu este manager cultural, presedintele Asociatiei AltIasi
