_29. 10. 2022
Vít Bohal


Filters, masks, gaps / Filtry, masky, mezery

About virtual worlds and the project for AMU gallery / O virtuálních světech a jejich projektu pro Galerii AMU

 

Rozhovor vedl Vít Bohal
Odkaz na originální umístění článku zde

EN:

Although both of you have been working with moving images and film for a long time, the exhibition at GAMU is your first joint project under the banner of the CORPS collective. What exactly does CORPS mean to you?

 

MM: The motive for the creation is a joint study in the studio of new media with Tomáš Svoboda. So, over time, we began to discover affinities in the themes or precisely in the context of the video medium and in overlaps in the theme of space. The project is built on a fictitious location, which allows us to gradually wrap up topics within the framework of doctoral research. Another factor is at the same time an attempt to unsettle the media itself and the audience’s attention. The Center of Researching Parallel Symptoms is a place that has no fixed boundaries. It is a fictitious country, a platform that refers to a laboratory in which we mix several tendencies. Our goal is to create a platform of texts, videos, and as a result, we would like to work in a team of people with whom we will make an interactive game with the forms that are present on the CORPSU website.

 

VT: This form of output of our art doctorates is, among other things, a solution to deal with a doctorate other than the traditional text form, as is common at other schools. We perceive the potential in the very possibilities of the medium. We can move smoothly between theory and practice. Practically illustrate confirmation or refutation of our theses. In the end, it’s nice that this „laboratory“ of our approaches is also an archive for the wider public, which under normal circumstances would have a harder time getting to our research results. This platform has the potential to affect not only the professional public, but also the wider public. In addition to the role of illustration and archive, it also works great as a live presentation tool, which also keeps us in the mode of constant development, reporting to conferences, deepening the topic.

 

It’s interesting that if it weren’t for the lockdown and the need for galleries to improvise, find hybrid forms of presentation, etc., we probably wouldn’t have thought of this shape.

 

Artistic or practical doctorates are really becoming an increasingly common phenomenon and it is interesting to see how each given institution approaches their content. Viktor, you mention that, among other things, they make it possible to „transition between theory and practice“ well, and so I have to ask, in that theoretical framework, what exactly should we imagine under the „parallel symptoms“ that CORPS is investigating?

 

VT: In our case, they mean dialogue. Both of us come from different formal perspectives, even though we essentially deal with similar issues. Milan from the perspective of the communication limits of the language of film narration, me from the position of searching for an interactive viewer. For a while, our works were called the same way – Absence of Image. Under this label, both of us, from our different or common positions of interest, are looking for a way through the general categories – gap, filter, mask – of film or interactive media.

 

In our collaboration, I perceive Milan from the perspective of a filmmaker looking for these places „inside“ the film. The latter has, similarly to literary theories of the creation of fictional worlds, those absences and empty spaces, fully contained in the film language of the medium itself. Editing, film composition, in-frame and out-of-frame reality, which is initiated by the entry or exit of figures from the frame, the look of a figure outside the frame, the sound coming from the out-of-frame space, are just a basic list of film shorthand strategies. It basically assumes the mental participation of the viewer. The viewer thus becomes a co-author of film fiction.

 

I am interested in the external factors of the transformation of the medium. How aspects of game interactivity change our interpretation of the situation. Whether it’s an interactive film, a computer game, or a staged gallery situation. I follow the formal transcription of one medium into another and trace how the viewer’s experience itself changes through this process.

 

At the exhibition, we capitalized on these perspectives in the situation of the subject, examining the nature of those gaps, filters, masks. Whether it is a subjective camera that controls the game mechanism of the presented scene, or, on the contrary, a camera that loses control over this scene. It is then a question of where and under what circumstances those gaps arise and how we as viewers fill them. It suggests a bit of detective work, but without the ambition to solve the case.

 

In your presentation, GAMU really becomes a somewhat mysterious castle. It is a dream environment, where at one point the viewer finds, among other things, the object of a sleeping mask. Such a mask also appears in other works of Milan Mazúr, and I want to ask what meaning this powerful symbol has for you. For example, in his work Mark Fisher often deals with the state of „hypnagogia“, i.e. the state between dreaming and waking, and finds in it one of the fundamental experiences of contemporary capitalism and its broader spectral ontology – hauntology. How do you understand the role of dreaming in the relationship between current technologies and society?

 

MM: Mask has several meanings, even if we are specifically talking about a mask that is used when sleeping, for example. in commercial flights or is part of the equipment in the hotel. In the context of the present and the social situation, the mask is a reference to fatigue. A condition that is present, but at the same time unwanted. I think that a certain level is also in a certain type of film pace that is present in the projects. These are often contemplative forms or long shots that contrast with speed. I am also interested in a view that is missing or a subject that is not physically present. It is indicated by a mask, which belongs to a fictional character, which is presented in another form – for example, a voiceover. Body fault. I think that the theme of the subconscious and sleep is important to me in that it is present in the language that I use all the time, without thinking about it too much. It’s the kind of talk I somehow keep repeating.

 

How did you proceed in capturing the GAMU and what was the creative process of the subsequent rendering of the gallery space in a virtual environment?

MM: An attempt was made, Viktor and I said that we would try to disrupt the space between the gallery that Viktor scanned and the space inside the videos. At the same time, there was an interest in looking for ways to disrupt the gallery space and move into other possibilities. Change in switching times, themes in videos. At the same time, we were still dealing with the subject, which is a kind of guide within the transition in the videos. It moves and interacts with certain elements.VT: I am interested in the transformational relationships between digital and, let’s say, material reality. How is our relationship to material reality transformed against the background of general digitization. Subconsciously, we were looking for a similar language for our output, which would be able to capture the „in-between“ state in which we find ourselves as a society. The team for me was photogrammetry – a digital technique balancing somewhere between the traditional medium of photography and a 3D computer synthetic model. It is currently a relatively common technology that, among other things, has been used for several years for the „construction“ of models and computer game environments. What used to have to be solved by acquiring expensive technology or taking a large number of photos and their angles of view of the object is now integrated in a regular iPhone or iPad. You walk through the space, which is converted into a model with a photographic texture in real time using a depth sensor. Of course, the speed of this transformation has its drawbacks, but as with many artistic approaches, in this case we were primarily interested in the error, the gap, the hole that is created by the transcription from one medium to another.

 

How do you understand this error or gap in the transcription from the material world to the virtual one? What do you think is lost with this transcription from the point of view of artistic practice, and what, on the contrary, does such a simple transfer to a digital environment enable?

 

VT: I find it interesting how the production of the things themselves is changing. Milan and I agreed that, as filmmakers working with moving images, many things only arise in the post-production phase. At the beginning, we sort of have a rough idea of what and how we want to shoot, but the work itself „sits down“ and packs meaning only as part of working with the filmed material. So you already have a solid framework on which you deploy moving parts, variants of other options. You can re-roll or rewind the whole thing, but that is of course production-intensive. It is different in virtual production. You can go in all directions and change your decisions at any moment, which can also be a trap. You get used to the infinite variability of this form of production, and you somehow have to define a fixed framework, directly impose it, otherwise you will drown in an infinite number of possibilities. The advantage is that you will have a large number of samples that you can line up next to each other and find out what works and what doesn’t.

 

In what industries is photogrammetry used today outside of artistic creation, and what are its possibilities for the future?

 

VT: I can’t say that. It is already a common visualization tool in engineering, dentistry, architecture, topology, art restoration and other fields. At the academy, we are actively working on these technologies in the newly established robotic workplace. We can scan a real substance, an object, a sculpture with micron precision, inspect the obtained model in virtual glasses, adjust its shape using a digital chisel – an arm that provides haptic resistance when touching the digital substance – and then we can print the resulting modified model with texture on a special 3D printer. If it is a larger size, a milling robot comes to the fore, which will carve a real sculpture out of this virtual material – and the circle closes.

 

MM: As a filmmaker, it was interesting for me to realize that scenes can be scanned and put together in certain layers. In the context of film, setting up scenes is often production-intensive. In our country, the disorientation of the viewer by the media itself is important. We were interested in how we can switch between the film and the created fictitious reality and movement in it.

 

VT: That’s right. I will just add that one of my research topics is the transformation of film language within an interactive medium. It may seem like a banality, but by giving the viewer a choice – for example, by starting to walk through the film, starting to look around it freely, starting to interact with its world freely – the rules of the entire film apparatus change. The role of the director, editing, aspects of cut and camera detail, etc. are all thrown around by the introduction of the interactive viewer. Film language must begin to use terminology from theater science and the field of computer games. The director becomes a guide to the scene he has prepared for us.

 

Interactivity is also interesting in that it creates conditions for gamification. Today, no one doubts that interactive computer games can provide a unique artistic experience, but in this context, how do you understand the future of augmented reality (AR or XR) in public space? QR codes or Pokémon GO, for example, already create a relatively common gateway between the real and online environment (mostly because of advertising), but what is the potential of artistic digital environments/objects to intervene in public space in another way?

 

VT: I don’t know much. This goes really far into the field of new media art, programmable facades, microcontrollers and the art of Ars Elektronica in Linz. It is interesting to see how the view of the potential of technology is changing. How dynamic new media trends are and how quickly their dynamism becomes obsolete. Skeptics of the virtual reality medium glorify augmented reality. Virtual reality as if it should be a prelude to the big bang of augmented reality. As if cutting off contact with the outside world and closing in on its synthetic imitation was too much of a shock in the development of our perception of reality. AR as if it should be the acceptable and meaningful tool we are waiting for.

 

They are all powerful media, and when using them and placing them in experienced contexts and structures, maximum caution is needed and, I would say, even economy of speech. VR (virtual reality), AR (augmented reality), XR (extended reality) etc. are going through the initial stages of development, and like any new medium, they suffer from spectacularity and the promise of breaking the boundaries of the so far impossible. If these media have the ability to describe areas of the unseen to the unseen, I appeal all the more to the ability of the creators of their contents to find new voids, filters, masks filled by the viewer’s individual experience. Because it is precisely these essential aspects of absence on the basis of which the interactive viewing experience is formulated.



Ačkoliv oba dlouhodobě pracujete s pohyblivým obrazem a filmem, výstava v GAMU je váš první společný projekt pod hlavičkou kolektivu CORPS. Co přesně pro vás CORPS znamená?

MM: Motívom vzniku je spoločné štúdium v ateliéru nových médií u Tomáša Svobodu. Takže sme postupom času začali objavovať príbuznosti v témach alebo práve v kontexte média videa a v presahoch v téme priestor. Projekt je postavený na fiktívnom mieste, ktoré nám umožňuje postupne nabaľovať témy v rámci doktorského výskumu. Ďalší faktor je zároveň pokus zneistiť médiá samotné a aj divácku pozornosť. Center of Researching Parallel Symptoms je miesto, ktoré nemá pevne hranice. Je to fiktívna krajina, platforma ktorá odkazuje k laboratóriu, v ktorom miešame viacero tendencií. Naším cieľom je, aby vznikla platforma textov, videí a vo výsledku by sme radi pracovali v tíme ľudí, s ktorým spravíme interaktívnu hru s formami, ktoré sú prítomné na webe CORPSU.

VT: Tato forma výstupu našich uměleckých doktorátů je mimo jiné řešením, jak se vypořádat s jinou než tradiční textovou formou doktorátu, tak jako je to běžné na jiných školách. Potenciál vnímáme v samotných možnostech média. Můžeme plynule přecházet mezi teorií a praxí. Prakticky ilustrovat potvrzení či vyvrácení našich tezí. V konečném důsledku je fajn, že tato „laboratoř“ našich přístupů je zároveň archivem pro širší veřejnost, která by se k našim výsledkům bádání za normálních okolností dostala spíše hůře. Tato platforma má potenciál postihnout nejen odbornou veřejnost, ale i veřejnost širší. Krom role ilustrace a archivu skvěle funguje i jako živý prezentační nástroj, který i nás udržuje v módu neustálého rozvíjení, hlášení se na konference, prohlubování tématu.

Zajímavé je, že nebýt lockdownu a nutností galerií improvizovat, nacházet hybridní formy prezentace atd., pravděpodobně by nás tento tvar asi ani nenapadl.

Umělecké či praktické doktoráty se opravdu stávají čím dál častějším úkazem a je zajímavé vidět, jakým způsobem každá daná instituce k jejich náplni přistupuje. Viktore, ty zmiňuješ, že mimo jiné umožňují dobře „přecházet mezi teorií a praxí“ a já se tedy v tom teoretickém rámci musím zeptat, co přesně si máme představit pod těmi „paralelními symptomy“, které CORPS zkoumá?

VT: V našem případě znamenají dialog. Oba dva přicházíme z rozličných formálních perspektiv, i když ve své podstatě řešíme podobné věci. Milan z perspektivy limitů sdělení jazyka filmové narace, já z polohy hledání interaktivního diváka. Chvíli se naše práce jmenovaly stejným způsobem – Absence obrazu.  Pod tímto označením si oba ze svých odlišných či společných poloh zájmu, hledáme cestu obecnými kategoriemi – mezera, filtr, maska – filmového či interaktivního media.

Milana v naší spolupráci vnímám v perspektivě filmaře hledajícího tato místa „uvnitř“ filmu. Ten má, podobně jako v literárních teoriích tvorby fikčních světů, ona chybění a prázdná místa, plně obsažena v samotném filmovém jazyce media. Střih, filmová skladba, záběrová a mimozáběrová skutečnost, která je iniciovaná vstupem či výstupem figur ze záběru, pohledem figury mimo záběr, zvukem přicházejícím z mimozáběrového prostoru, jsou jen základním výčtem strategií filmové zkratky. Ta ze svého základu předpokládá mentální participaci diváka. Divák se tak stává spoluautorem filmové fikce.

Mě zase zajímají vnější faktory proměny média. Jak aspekty herní interaktivity proměňují naši interpretaci situace. Ať je to interaktivní film, počítačová hra, nebo inscenovaná galerijní situace. Sleduji formální přepisy jednoho media v jiné a stopuji, jak se tímto procesem mění samotná divácká zkušenost.

Na výstavě jsme tyto perspektivy zúročili v situaci subjektu, zkoumajícího charakter oněch mezer, filtrů, masek. Ať je jím subjektivní kamera, která kontroluje herní mechanismus předkládané scény, nebo naopak kamera, která nad touto scénou kontrolu ztrácí. Je pak otázkou, kde všude a za jakých okolností vznikají ony mezery a jakým způsobem je jako diváci vyplňujeme. Trošku to naznačuje detektivní činnost, ovšem bez ambice případ vyřešit.

GAMU se ve vašem podání opravdu stává trochu tajemným zámkem. Jde o snové prostředí, kde v jednu chvíli divák mimo jiné nalezne objekt masky na spaní. Taková maska se objevuje i v jiných dílech Milana Mazúra a já se chci zeptat, jaký význam pro vás tento silný symbol má. Například Mark Fisher ve svém díle často řeší stav „hypnagogie“, tedy stav mezi sněním a bděním, a nachází v něm jeden ze zásadních prožitků současného kapitalismu a jeho širší spektrální ontologie – hauntologie. Jak chápete roli snění ve vztahu současných technologií a společnosti?

MM: Maska ma viacero významov, aj keď konkrétne hovoríme o maske, ktorá sa používa pri spánku napr. v komerčných letoch alebo je súčasťou vybavenia v hoteli. V kontexte súčasnosti a spoločenskej situácie je maska odkazom práve k únave. Stav, ktorý je prítomný, ale zároveň nežiadaný. Myslím, že určitá rovina je aj v istom type filmového tempa, ktorá je prítomná v projektoch. Často ide o kontemplatívne formy alebo dlhé zábery, ktoré sú v kontraste s rýchlosťou. Zaujíma ma takisto pohľad, ktorý chýba, alebo subjekt, ktorý nie je fyzicky prítomný. Je naznačený maskou, čo patrí fiktívnej postave, ktorá je sprítomnená inou formou – napr voiceover. Telo chyba.Ja si myslím, že téma podvedomia a spánku je pre mňa dôležitá v tom, že je prítomná v jazyku, ktorý neustále používam, bez toho, aby som nad tým príliš uvažoval. Je to typ rozprávania, ktorý nejakým spôsobom stále opakujem.

Jakým způsobem jste postupovali ve snímání GAMU a jaký byl tvůrčí proces následného renderu prostor galerie ve virtuálním prostředí?

MM: Vznikol pokus, povedali sme si s Viktorom, že skúsime narušiť priestor medzi galériou, ktorú Viktor naskenoval, a priestorom vo vnútri videí. Zároveň vznikol záujem hľadať spôsoby, ako narušiť priestor galérie a presunúť sa do ďalších možností. Zmena v prepínaní časov, motívov vo videách. Zároveň sme sa stále zaoberali subjektom, ktorý je akýmsi sprievodcom v rámci prechodu vo videách. Pohybuje sa a interaguje s určitými prvkami.

VT: Zajímají mě transformační vztahy mezi digitální a řekněme materiální realitou. Jakým způsobem se transformuje náš vztah k hmotné skutečnosti na pozadí všeobecné digitalizace. Podvědomě jsme pro náš výstup hledali podobný jazyk, který by dokázal pojmout onen stav „mezi“, ve kterém se jako společnost nacházíme. Tím pro mne byla fotogrammetrie – digitální technika bilancující někde mezi tradičním médiem fotografie a 3D počítačovým syntetickým modelem. Je to v současnosti již poměrně běžná technologie, která se mimo jiné, již několik let používá pro „stavbu“ modelů a prostředí počítačových her. Co se dříve muselo řešit pořízením nákladné technologie či snímáním velkého množství fotografií a jejich úhlů pohledu na objekt je dnes již integrované v běžném iPhonu či iPadu. Procházíte se prostorem, ten se pomocí hloubkového senzoru v reálném čase převádí na model s fotografickou texturou. Rychlost této transformace má samozřejmě své mouchy, ale tak jako u mnoha uměleckých přístupů, nás v tomto případě zajímala především chyba, mezera, díra, která oním přepisem z jednoho media do druhého vzniká.

Jak chápete tuto chybu, nebo mezeru v přepisu z materiálního světa do toho virtuálního? Co se podle vás tímto přepisem z pohledu umělecké praxe ztrácí a co naopak takto jednoduchý převod do digitálního prostředí umožňuje?

VT: Zajímavé mi přijde, jak se mění produkce samotných věcí. S Milanem jsme se shodli, že nám jako filmařům pracujícím s pohyblivým obrazem mnoho věcí vzniká až ve fázi postprodukce. Na začátku tak nějak v základních obrysech tušíme, co a jak chceme natočit, nicméně samotné dílo si „sedá“ a nabaluje významy až v rámci práce s natočeným materiálem. Máš tedy již pevný rámec, na který nasazuješ rozpohybované části, varianty další možnosti. Můžeš dělat dotáčky nebo celou věc znova přetočit, ale to je samozřejmě produkčně náročné. Ve virtuální produkci je to jiné. Můžeš se vydat všemi směry a v každém okamžiku měnit svá rozhodnutí, což může být i past. Zvykáš si na nekonečnou variabilitu této formy produkce a pevné rámce si tak nějak musíš určit, přímo vnutit, jinak se utopíš v nekonečném množství možností. Výhodou pak je, že ti vznikne velké množství samplů, které můžeš řadit vedle sebe a zjišťovat, co funguje, a co ne.

V jakých odvětvích se dnes fotogrammetrie využívá mimo uměleckou tvorbu a jaké jsou její možnosti do budoucna?

VT: To nedokážu říci. Již dnes je to běžný vizualizační nástroj z oblasti inženýringu, stomatologie, architektury, topologie, restaurování uměleckých děl a dalších oblastí. Na akademii se těmto technologiím aktivně věnujeme v nově vzniklém robotickém pracovišti. Reálnou hmotu, objekt, sochu dokážeme naskenovat s mikronovou precizností, získaný model nahlédnout ve virtuálních brýlích, jeho tvar poupravit pomocí digitálního dláta – paže, která při zásahu do digitální hmoty klade haptický odpor – a výsledný upravený model pak dokážeme i s texturou vytisknout na speciální 3D tiskárně. Pokud se jedná o větší rozměr, přichází na řadu frézovací robot, který z této virtuální hmoty vyřeže opět reálnou sochu – a kruh se uzavírá.

MM: Z pozície filmára bolo pre mňa zaujímavé uvedomiť si, že scény je možné naskenovať a skladať do určitých vrstiev. V kontexte filmu je  stavanie scén často produkčne náročné. U nás je doležité zneistenie diváka médiami samotnými. Zaujímalo nás, akým spôsobom môžeme prepínať medzi filmom a vytvorenou fiktívnou realitou a pohybom v nej.

VT: Je to tak. Já jen dodám, že jedním z mých výzkumných témat je transformace filmového jazyka uvnitř interaktivního média. Může se to zdát jako banalita, ale tím, že divákovi dáme možnost volby – například tím, že film začne procházet, začne se v něm svobodně rozhlížet, začne s jeho světem svobodně interagovat – mění se pravidla celého filmového aparátu. Role režiséra, střih, aspekty výřezu a detailu kamery atd. jsou vpuštěním interaktivního diváka rozmetány. Filmový jazyk si musí začít pomáhat terminologií z divadelní vědy a oblasti počítačových her. Režisér se stává průvodcem scény, kterou pro nás připravil.

Interaktivita je zajímavá i v tom, že vytváří podmínky pro gamifikaci. O tom, že interaktivní počítačové hry mohou poskytovat svébytný umělecký zážitek, dnes již nikdo nepochybuje, ale jak v tomto kontextu chápete budoucnost rozšířené reality (AR či XR) ve veřejném prostoru? QR kódy či Pokémon GO například už teď vytváří poměrně běžnou bránu mezi reálným a online prostředím (a to většinou z důvodu reklamy), avšak jaký je potenciál uměleckých digitálních prostředí/objektů intervenovat ve veřejném prostoru i jiným způsobem?

Moc nevím. To už sahá opravdu hodně do oblasti novomediálního umění, programovatelných fasád, mikrokontrolerů a umění Ars Elektroniky v Linzi. Je zajímavé sledovat, jak se pohled na potenciál technologií mění. Jak dynamické jsou novomediální proudy a jak rychle jejich dynamismus zastarává. Skeptici média virtuální reality augmentovanou realitu glorifikují. Virtuální realita jako kdyby měla být předstupněm velkého třesku reality augmentované. Jako kdyby přerušení kontaktu s vnějším světem a uzavření se do jeho syntetické nápodoby, byl příliš velkým šokem ve vývoji našeho vnímání skutečnosti. AR jako kdyby mělo být tím akceptovatelným a smysluplným nástrojem, na který čekáme.

Všechno jsou to silná media a při jejich užití a zasazování do zažitých kontextů a struktur je potřeba maximální obezřetnosti a, řekl bych, až úspory projevu. VR (virtual reality), AR (augmented reality), XR (extended reality) atd. procházejí počátečními fázemi vývoje, a tak jako každé nové médium, trpí spektakulárností a příslibem bourání hranic doposud nemožného. Pokud mají tato média schopnost popsat oblasti neviděného až nevídaného, o to více apeluji na schopnosti tvůrců jejich obsahů nacházet nová prázdna, filtry, masky vyplňované diváckou individuální zkušeností. Protože jsou to právě tyto podstatné aspekty chybění, na základě kterých se formuluje interaktivní divácká zkušenost.