Patrick Neff / Jan Schacher / Daniel Bisig
State Dependency – Audiovisual interaction through brain states.
In: Proceedings of the 16th Sound and Music Computing Conference (SMC 2019), pages 26–33, Malaga, Spain.
Abstract:
Artistic installations using brain-computer interfaces (BCI) to interact with media in general, and sound in specific, have become increasingly numerous in the last years. Brain or mental states are commonly used to drive musical score or sound generation as well as visuals. Closed loop setups can emerge here which are comparable to the propositions of neurofeedback (NFB). The aim of our audiovisual installation State Dependency, driven by brain states and motor imagery, was to enable the participant to engage in unbound exploration of movement through sound and space unmediated by one’s corporeality. With the aid of an adaptive feedback loop, perception is taken to the edge. We deployed a BCI to collect motor imagery, visual and cognitive neural activity to calculate approximate entropy (a second order measure of neural signal activity) which was in turn used to interact with the surround Immersive Lab installation. The use of entropy measures on motor imagery and various sensory modalities generates a highly accessible, reactive and immediate experience transcending common limitations of the BCI technology. State dependency goes beyond common practice of abstract routing between mental or brain with external audiovisual states. It provides new territory of unrestrained kinaesthetic and polymodal exploration in an immersive audiovisual environment.
Jan Schacher / Daniel Bisig
Das Immersive Lab, Ein Dispositiv zur Erfahrung und Erforschung von Immersion.
In: Cécile Olshausen (Eds.): dissonance, 12 / 2018
Abstract:
Der Begriff der Immersion bildet den Gegenstand einer ästhetischen Kontroverse, die über die Grenzen des Musikdiskurses hinausreicht. Immersion steht für Erfahrungen des Eingenommenseins von sinnlichen Eindrücken, für das Eintauchen in virtuelle Umgebungen oder die verlebendigende Kraft des Scheins. Das immersive Erleben steht somit im Gegensatz zum distanzierten Betrachten, das für lange Zeit den Umgang mit Kunst auszuzeichnen schien. Distanz zu schaffen – zum Wahrgenommenen wie zum eigenen Wahrnehmen – galt als die Stärke der Kunst, besonders der modernen. Denn erst in einer reflektierenden Aneignung, so die Überlegung, komme das kritische Potenzial der Kunst zur Geltung; sei es als Kritik an den Vereinnahmungen der Kulturindustrie, am Eskapismus des gehobenen Kitschs oder an den Überwältigungsstrategien der politischen Propaganda. Diese Ansicht scheint heute an Überzeugungskraft zu verlieren. Die zeitgenössischen Künste, und besonders die Musik und Klangkunst, wollen ihre immersive Macht nicht mehr unterdrücken – eine Macht, die durch die Digitalisierung nur noch verstärkt wurde: Environment und Installationen, inszenierte Konzerte und interaktive Kunstformen involvieren die Betrachter, ziehen sie ins Geschehen hinein. Dabei geben diese Spielformen aber keinesfalls den Anspruch auf, im emphatischen Sinne Kunst zu produzieren – vielmehr scheinen sie eine andere Idee vom Sinn der Kunst einzufordern. Dennoch drängt sich die Frage auf: Passt sich die Kunst auf diese Weise nicht dem allgegenwärtigen Spektakel an? Oder befreit sie sich von einer falschen Selbstbeschränkung? Bezeichnet Immersion immer ein unkritisches Verhalten oder eröffnet sie vielmehr Erfahrungsräume, die uns im Alltag verschlossen bleiben? Die Frage nach der Funktion der Immersion in der Kunst lässt sich nicht im Voraus entscheiden, sondern muss als Streit ausgetragen werden. Wir haben Künstlerinnen und Wissenschaftler gebeten, in dieser Debatte Stellung zu nehmen, von eigenen Erfahrungen und Arbeiten zu berichten und über die Gründe der neuen Attraktivität des Immersiven nachzudenken.
Jan Schacher / Daniel Bisig
Haunting Space, Social Interaction in a Large-Scale Media Environment.
In: R. Bernhaupt et al. (Eds.): INTERACT 2017, Part I, LNCS 10513, pp. 242–262, 2017. Cham, Switzerland: Springer International Publishing DOI: 10.1007/978-3-319-67744-6_17
Abstract:
The Immersive Lab is a platform for the development and experience of large-scale audio-visual and interactive media arts. In this article we investigate questions of audience engagement, artistic strate- gies, and interaction principles, as well as the effects of embodied and social interactions that become evident in this media environment. Using the catalogue of artistic works developed for this platform within the past five years as our material, we carry out qualitative inquiries through interviews and categorisations. The emerging insights generate a clear perspective on the convergence as well as discrepancies between the artist’s intentions and the behaviours of visitors in the media space and allow us to, if not definitively state, then at least speculate about uni- versal aspects that each encounter in the media arts context entails.
Keywords: Social interaction · Interactive media space · Artistic strategies · Interaction principles · Qualitative methods · Multi-modal perception
Daniel Bisig
In Traumwelten eingebettet
In: Zett, Das Magazin der Zürcher Hochchule der Künste, 5. October 2017
Abstract:
Das Immersive Lab ist eine ringförmig angelegte 360-Grad-Installation. Sie kann Bilder und Töne wiedergeben und interagiert mit den Besucherinnen und Besuchern via Berührung. Zudem ist sie sehr anpassungsfähig und lässt sich für vielfältige Experimente nutzen. Der Schweizerische Nationalfonds SNF ermöglicht es nun, das Immersive Lab der ZHdK zu einer didaktischen Experimentierplattform für ein breites Publikum umzubauen.
Online: https://zett.zhdk.ch/2017/10/05/in-traumwelten-eingebettet/
Bojan Milosevic / Jan Schacher
The Immersive Lab: An interactive audio‐visual space for artistic exploration.
In: Proceedings of Korean Electro-Acoustic Music Society’s 2015 Annual Conference (KEAMSAC2015) Seoul, Korea, 2-3 October 2015
Abstract:
This article discusses the Immersive Lab, an artistic and technological research project of the Institute of Computer Music and Sound Technology at the Zurich University of the Arts. The installation is a media space that integrates panoramic video, surround audio with full touch interaction on its screens. The main characteristics of this project as well as the way of functioning and organisation of installation structure are exposed. Through examples of completed artistic works the possibilities provided by the Immersive Lab environment are highlighted, and the realisation of various ideas by a number of artists shows the potential and limitations of this idea.