Abstracts :
Re-sensing light and biosignals
Postdoctoral research fellow
Waseda University, Department of Electric Engineering and Bioscience. Laboratory for Molecular Cell Network & Biomedia Art
Heliotropika is an installation that creates an interface between people and cyanobacteria mediated by light. The project integrates the photosynthetic activity of these microorganisms, the dynamics of environmental light and the bioelectrical activity of the participants. The result is a series of interfaces, soundscapes and visualizations, creating a dynamic feedback system between the two species. By linking physiological processes between humans and cyanobacteria this system stands as means to explore sounds and patterns of coexistence, and study innovate interfaces centered on microcellular activity. It also serves as an approach to look the aesthetics of biological processes beyond human control and the future interplay among organisms.
SysSon: A Sonification platform for Climate Data
Visda Goudarzi
Phd. candidate in Sonification and Audio Engineering
Institute of Electronic Music and Acoustics (IEM), University of Music and Performing Arts Graz
Climate data provide a good working basis for sonifications. Both model data and measured data are assessed in collaboration with the Wegener Center for Climate and Global Change. The multi dimensionality and multi variety of climate data has a great potential for auditory displays. Furthermore, there is consensus on global climate change and the necessity of intensified climate research today in the scientific community and general public. Sonification provides a new means to communicate scientific results and inform a wider audience. SysSon is a user centered auditory platform for climate scientists to analyze data. It gives scientists broader insights by extracting hidden patterns and features from data that is not possible using a single modal visual interface. The platform is an interactive sonification tool which gives the scientists the choice of interacting with the user interface and adjusting the sonification designs and sounds dynamically while analyzing data. There's also a variety of soundscapes to chose from to avoid the fatigue by listening to the long streams of data. The initial needs assessments and user tests made the work process and the terminology of climate scientists clear. Furthermore, experiments evaluated the sound design which led to a more advanced soundscape and improvement of the auditory display.
Pétillements d'Aurores
Jean Lilensten
astronome au CNRS
Institut de Planétologie et d'Astrophysique de Grenoble
&
Olivier Strauch
compositeur, marionnettiste
professeur de musique au CNR de Grenoble
Les aurores polaires sont les manifestations les plus spectaculaires de l'impact de l'activité solaire sur l'atmosphère terrestre. Outre de la lumière, elles produisent des variations du champ magnétique local, mesurées par un réseau de magnétomètres qui s'étend de l'Arctique au sud de la Norvège. En novembre 2000, nous avons unis nos connaissances scientifiques et artistiques pour rapatrier les données des aurores boréales en temps quasi réel, puis les interpréter en musique. La musique était à la fois électroacoustique, automatiquement déclenchée, et interprétée par un choeur de chanteurs en fonction du signal auroral. Ainsi, chaque concert était différent, comme le sont les aurores elles-mêmes. Une mini conférence mettait le public en situation de comprendre la démarche, de réaliser que, par la musique, il allait être à proprement parler en connexion avec le Soleil, via des particules qui en avaient été éjectées quelques heures plus tôt. Une connexion donc physique et non ésotérique, mais une connexion sensible et émotionnelle. Le spectacle a été créé pour le festival des 38èmes Rugissants en novembre 2000 et rejoué en juin 2002 dans le cadre du festival Foliephonies, en agglomération grenobloise.
Synthèse photosonique
Jacques Dudon
chercheur sonore
Les formes créent des sons. Les disques photosoniques sont des "palettes sonores" déployant des ondes conçues géométriquement qu'un musicien va pouvoir interpréter au moyen de sources lumineuses déplacées au-devant d'un instrument lecteur mettant ces disques en rotation, et de divers filtres optiques contrôlés manuellement. Les modulations apportées à la lumière sont captées par des cellules photovoltaïques qui les transforment en signaux électriques directement amplifiables. La création des disques photosoniques passe ainsi par une géométrisation du son : échelles musicales, rythmes, timbres, bruits, mélodies, échelles musicales... et réalise une "sonification" purement analogique de formes imaginaires ou empruntant leurs données à différents domaines spatio-temporels de la nature et de l'univers, des cultures musicales et de l'harmonie des nombres.
Sonification of a navigation process within a hierarchical structure
Nicolas Misdariis
Chargé de Recherche & Développement
Equipe Perception et Design Sonores, IRCAM
Sonification of a tree‐like hierarchical structure has been investigated in numerous previous research studies and software development works in the field of Human-Computer Interface (HCI). The ground principles used for these works – basically dealing with the transformation of one system data set into auditory informations – can be grouped in three main categories: « earcon », synthetic sound for which the sound/meaning relationship is arbitrary, or symbolic, and then needs to be learnt by the user [BSG89]; « auditory icon » that builds a direct, or metaphoric, link between one object and its underlying concept, by refering to a sound derived from our daily environment [Gav86]; « spearcon » (« speech » and « earcon » contraction), sound based on a time-stretched vocal synthesis which produces an unequivocal sonic print of a word, or a group of words, even if some syllables are note identifiable or missing [PW07]. In a real context, this navigation paradigm is often performed in a double-task situation in terms of cognitive attention: vision being hogged by a primary task and audition being requested for fulfilling the main tracking functions in a secondary task. From this point of view, and on the basis of a set of works achieved in the automotive domain, we will present, first, the several sonification strategies imagined and designed by the composer Andrea Cera, and secondly, we will point out the added value of the sonic component, especially in terms of performance for the visual attention.
Le projet See ColOr
Guido Bologna
Senior Lecturer (University of Applied Science, Geneva)
Computer Vision and Multi Media Lab, University of Geneva, Switzerland.
"See ColOr " est une aide à la mobilité qui a pour but d'aider les personnes aveugles à percevoir l'environnement dans lequel elles se trouvent. L'idée de base de cette interface est d'associer des sons d'instruments de musique aux couleurs, ainsi que de représenter la distance par le rythme. Spécifiquement, la sonification des couleurs et des distances de l'environnement proche est réalisée par un petit orchestre, dont les sons émis sont spatialisés latéralement. Nous présenterons plusieurs expériences qui ont été accomplies par le passé à l'aide d'un prototype, ainsi que quelques résultats plus récents. Les expériences que nous avons réalisé avec un certain nombre de participants sont: l'appariement de chaussettes colorées ; le suivi d'un parcours coloré sur le sol ; la localisation d'un objet coloré dans une salle ; la localisation d'obstacles et la reconnaissance d'objets.
The Unexplored Human Potential: Perspective in Training Uncommon Sensory Abilities
Juan Antonio Martínez Rojas
Associate Professor,
Department of Signal Theory and Communications, Radiation and Sensing Group, University of Alcalá
Humans have many sensoy systems to perceive the world, but, until recently, only vision and hearing have been systematically studied. The potential of many of these sensing abilities remains almost unexplored, but could be essential to improve the quality of life of disabled people, among other applications. We'll explore the most promising senses and we'll try to describe new training methodologies to develop these abilities, explaining their strengths and weaknesses. As a special case, we'll study human echolocation and we'll show how new research could change "our vision" about human perception. Actually, our most recent results show that human echolocation is a much more complex phenomenon than previously anticipated, to the point that a completely new sense, not directly related with hearing, could exist.
Musical Representation of Physical Brain Quantities: Sonification versus Biotic Composition
Diego Minciacchi
Professor of Theory and Techniques for Motor and Sport Activities
Department of Experimental and Clinical Medicine, Physiological Sciences Section, Biomedical Area, University of Florence, Italy
My contribution will redraw the theoretical foundations, the essential results, and the possible perspectives, of my research/experience on the relations between the structure and functions of the brain and the processes of musical composition. I will first point up on data and views in support of the notion that music cannot be represented in terms of unambiguous universals. Music is not the exclusive privilege of mankind and its perception is result of a very early chain of events in everyone's life. Besides, for perception and production of music, we use complex and huge cerebral networks, which are largely mixed. Secondly, I will illustrate the process of composition by concentrating on sonification and biotic music procedures as they derive their information from neurosciences and possibly link it to musical parameters. Sonification is the use of a sound structure devoid of linguistic elements to transmit an informative content originated by biological data. Conversely, biotic music can be considered as a musical production where the data of origin are biological. Theoretical stakes and examples of strategies to convert brain data into sound objects are presented. The biotic method here described can contribute to a unitary view of the different sound parameters and of the micro- and macro-formal aspects of music composition.
Entendre la lumière - à l’écoute de l’inaudible
Alexander Mihalic
compositeur, musicologue
résident à l'IMéRA, réalisateur en informatique musicale chargé d'enseignement IRCAM
&
Alexandre Escarguel
MCF
laboratoire PIIM - UMR 7345 Universite d'Aix-Marseille / CNRS, Equipes Turbulence plasma / Diagnostic dans les gaz et les plasmas
Le projet Sonification des spectres lumineux propose de « transformer » les informations visuelles en informations auditives et donner ainsi une nouvelle perspective et une autre dimension à la perception d’un phénomène physique. La sonification des données de spectromètre permet l’observation auditive des informations d’origine visuelle ne pouvant pas être perçues par l’homme ainsi que des spectres de plasma. Le spectromètre analyse la lumière captée en temps réel et la représente à l’écran sous forme d’un graphique fréquences/amplitudes. La sonification des spectres lumineux se fait avec un logiciel crée spécialement pour cette occasion et qui est une variante du logiciel que nous avons créé pour la sonification des données de diffractomètre. Le logiciel récupère les données issues de spectromètre et les transforme en signal audio en agissant sur les paramètres de la synthèse additive.
Cosmophonie@infinie
Jacques Diennet
compositeur
Le Cosmophone se situe au confluent des sciences fondamentales de pointe (astrophysique et physique des particules), des nouvelles technologies (synthèse sonore numérique en temps réel et spatialisation du son) et de l’art contemporain (musique et installations environnementales), domaines dont la fertilisation mutuelle peut être source de développements originaux. En plaçant le spectateur à la croisée de l’infiniment petit (les particules élémentaires qui le transpercent) et de l’infiniment grand (le cosmos dont elles proviennent), le cosmophone met l’auditeur en contact direct avec l’ensemble de notre galaxie et les phénomènes violents qui s’y produisent, stimulant tout un imaginaire qui peut offrir un nouveau champ d’action à la création artistique.
Son musical et sonification : quelques exemples
Jean-Claude Risset
Directeur de recherche émérite, compositeur
Laboratoire de Mécanique et d’Acoustique, Université d’Aix-Marseille / CNRS
On peut parler de sonification lorsqu’un son est structuré par des informations ou des modèles non sonores (compteur Geiger, cordes de piano indiquant la tension dans les barrages). L’exposé évoquera nombre d’exemples originaires ou récents de structuration des sons musicaux par des modèles extérieurs à la musique. La notation musicale a suggéré les transformations du contrepoint et les transpositions de documents graphiques : Melodia di Montanha puis New York Skyline (1939) de Villa-Lobos, Metastasis (1954) de Xenakis, Atlas Eclipticalis (1961) de Cage. Le son numérique fera exploser le champ de la sonification : il permet la modulation de paramètres sonores quelconques par des fonctions limitées en fréquence (cf. FM de Chowning, 1967-..., Inharmonique, 1977, Sud, 1984). La synthèse par modèles physiques (Ruiz, Cadoz, ACROE) – souvent appelée « auralisation » - peut en fait s’appliquer à plusieurs modalités sensorielles : elle donne lieu lieu à l’immersion virtuelle. On mentionnera la version sonore - de mesures physiques ou phonétiques : Earth magnetic field (1970) de Dodge, Das lied von den erde (1974) de Knopoff, Interphone (1977) de Decoust, Electron-Positron (1989), Cosmophone de Kronland, Vallée, Voinier, Diennet, (2000-...) ; - de structures graphiques ou mathématiques : oiseaux, sirènes de Little Boy (1968), lemniscate spatial de Chowning (1973), auralisation des polynômes de Tchebytcheff par Arfib (1977), oiseaux de Songes (1978), scanning de textures visuelles par Arfib et Filatriau (2006).