Abstracts :

(In chronological order)
 

Re-sensing light and biosignals

Juan Manuel Castro

Postdoctoral research fellow

Waseda University, Department of Electric Engineering and Bioscience. Laboratory for Molecular Cell Network & Biomedia Art

 

Heliotropika is an installation that creates an interface between people and cyanobacteria mediated by light. The project integrates the photosynthetic activity of these microorganisms, the dynamics of environmental light and the bioelectrical activity of the participants. The result is a series of interfaces, soundscapes and visualizations, creating a dynamic feedback system between the two species. By linking physiological processes between humans and cyanobacteria this system stands as means to explore sounds and patterns of coexistence, and study innovate interfaces centered on microcellular activity. It also serves as an approach to look the aesthetics of biological processes beyond human control and the future interplay among organisms.

 


SysSon: A Sonification platform for Climate Data

Visda Goudarzi

Phd. candidate in Sonification and Audio Engineering

Institute of Electronic Music and Acoustics (IEM), University of Music and Performing Arts Graz

 

Climate data provide a good working basis for sonifications. Both model data and measured data are assessed in collaboration with the Wegener Center for Climate and Global Change. The multi dimensionality and multi variety of climate data has a great potential for auditory displays. Furthermore, there is consensus on global climate change and the necessity of intensified climate research today in the scientific community and general public. Sonification provides a new means to communicate scientific results and inform a wider audience. SysSon is a user centered auditory platform for climate scientists to analyze data. It gives scientists broader insights by extracting hidden patterns and features from data that is not possible using a single modal visual interface. The platform is an interactive sonification tool which gives the scientists the choice of interacting with the user interface and adjusting the sonification designs and sounds dynamically while analyzing data. There's also a variety of soundscapes to chose from to avoid the fatigue by listening to the long streams of data. The initial needs assessments and user tests made the work process and the terminology of climate scientists clear. Furthermore, experiments evaluated the sound design which led to a more advanced soundscape and improvement of the auditory display.

 


Pétillements d'Aurores

Jean Lilensten

astronome au CNRS

Institut de Planétologie et d'Astrophysique de Grenoble

&

Olivier Strauch

compositeur, marionnettiste

professeur de musique au CNR de Grenoble

 

Les aurores polaires sont les manifestations les plus spectaculaires de l'impact de l'activité solaire sur l'atmosphère terrestre. Outre de la lumière, elles produisent des variations du champ magnétique local, mesurées par un réseau de magnétomètres qui s'étend de l'Arctique au sud de la Norvège. En novembre 2000, nous avons unis nos connaissances scientifiques et artistiques pour rapatrier les données des aurores boréales en temps quasi réel, puis les interpréter en musique. La musique était à la fois électroacoustique, automatiquement déclenchée, et interprétée par un choeur de chanteurs en fonction du signal auroral. Ainsi, chaque concert était différent, comme le sont les aurores elles-mêmes. Une mini conférence mettait le public en situation de comprendre la démarche, de réaliser que, par la musique, il allait être à proprement parler en connexion avec le Soleil, via des particules qui en avaient été éjectées quelques heures plus tôt. Une connexion donc physique et non ésotérique, mais une connexion sensible et émotionnelle. Le spectacle a été créé pour le festival des 38èmes Rugissants en novembre 2000 et rejoué en juin 2002 dans le cadre du festival Foliephonies, en agglomération grenobloise. 

 


Synthèse photosonique

Jacques Dudon

chercheur sonore

 

Les formes créent des sons. Les disques photosoniques sont des "palettes sonores" déployant des ondes conçues géométriquement qu'un musicien va pouvoir interpréter au moyen de sources lumineuses déplacées au-devant d'un instrument lecteur mettant ces disques en rotation, et de divers filtres optiques contrôlés manuellement. Les modulations apportées à la lumière sont captées par des cellules photovoltaïques qui les transforment en signaux électriques directement amplifiables. La création des disques photosoniques passe ainsi par une géométrisation du son : échelles musicales, rythmes, timbres, bruits, mélodies, échelles musicales... et réalise une "sonification" purement analogique de formes imaginaires ou empruntant leurs  données à différents domaines spatio-temporels de la nature et de l'univers, des cultures musicales et de l'harmonie des nombres. 

 


Sonification of a navigation process within a hierarchical structure

Nicolas Misdariis

Chargé de Recherche & Développement

Equipe Perception et Design Sonores, IRCAM 

 

Sonification of a tree‐like hierarchical structure has been investigated in numerous previous research studies and software development works in the field of Human-Computer Interface (HCI). The ground principles used for these works – basically dealing with the transformation of one system data set into auditory informations – can be grouped in three main categories: « earcon », synthetic sound for which the sound/meaning relationship is arbitrary, or symbolic, and then needs to be learnt by the user [BSG89]; « auditory icon » that builds a direct, or metaphoric, link between one object and its underlying concept, by refering to a sound derived from our daily environment [Gav86]; « spearcon » (« speech » and « earcon » contraction), sound based on a time-stretched vocal synthesis which produces an unequivocal sonic print of a word, or a group of words, even if some syllables are note identifiable or missing [PW07]. In a real context, this navigation paradigm is often performed in a double-task situation in terms of cognitive attention: vision being hogged by a primary task and audition being requested for fulfilling the main tracking functions in a secondary task. From this point of view, and on the basis of a set of works achieved in the automotive domain, we will present, first, the several sonification strategies imagined and designed by the composer Andrea Cera, and secondly, we will point out the added value of the sonic component, especially in terms of performance for the visual attention.

 


Le projet See ColOr

Guido Bologna

Senior Lecturer (University of Applied Science, Geneva) 

Computer Vision and Multi Media Lab, University of Geneva, Switzerland.

 

"See ColOr " est une aide à la mobilité qui a pour but d'aider les personnes aveugles à percevoir l'environnement dans lequel elles se trouvent. L'idée de base de cette interface est d'associer des sons d'instruments de musique aux couleurs, ainsi que de représenter la distance par le rythme. Spécifiquement, la sonification des couleurs et des distances de l'environnement proche est réalisée par un petit orchestre, dont les sons émis sont spatialisés latéralement. Nous présenterons plusieurs expériences qui ont été accomplies par le passé à l'aide d'un prototype, ainsi que quelques résultats plus récents. Les expériences que nous avons réalisé avec un certain nombre de participants sont: l'appariement de chaussettes colorées ; le suivi d'un parcours coloré sur le sol ; la localisation d'un objet coloré dans une salle ; la localisation d'obstacles et la reconnaissance d'objets.

 


The Unexplored Human Potential: Perspective in Training Uncommon Sensory Abilities

Juan Antonio Martínez Rojas

Associate Professor,

Department of Signal Theory and Communications, Radiation and Sensing Group, University of Alcalá

 

Humans have many sensoy systems to perceive the world, but, until recently, only vision and hearing have been systematically studied. The potential of many of these sensing abilities remains almost unexplored, but could be essential to improve the quality of life of disabled people, among other applications. We'll explore the most promising senses and we'll try to describe new training methodologies to develop these abilities, explaining their strengths and weaknesses. As a special case, we'll study human echolocation and we'll show how new research could change "our vision" about human perception. Actually, our most recent results show that human echolocation is a much more complex phenomenon than previously anticipated, to the point that a completely new sense, not directly related with hearing, could exist.

 


Musical Representation of Physical Brain Quantities: Sonification versus Biotic Composition

Diego Minciacchi

Professor of Theory and Techniques for Motor and Sport Activities

Department of Experimental and Clinical Medicine, Physiological Sciences Section, Biomedical Area, University of Florence, Italy

 

My contribution will redraw the theoretical foundations, the essential results, and the possible perspectives, of my research/experience on the relations between the structure and functions of the brain and the processes of musical composition. I will first point up on data and views in support of the notion that music cannot be represented in terms of unambiguous universals. Music is not the exclusive privilege of mankind and its perception is result of a very early chain of events in everyone's life. Besides, for perception and production of music, we use complex and huge cerebral networks, which are largely mixed. Secondly, I will illustrate the process of composition by concentrating on sonification and biotic music procedures as they derive their information from neurosciences and possibly link it to musical parameters. Sonification is the use of a sound structure devoid of linguistic elements to transmit an informative content originated by biological data. Conversely, biotic music can be considered as a musical production where the data of origin are biological. Theoretical stakes and examples of strategies to convert brain data into sound objects are presented. The biotic method here described can contribute to a unitary view of the different sound parameters and of the micro- and macro-formal aspects of music composition.

 


Entendre la lumière - à l’écoute de l’inaudible

Alexander Mihalic

compositeur, musicologue

résident à l'IMéRA, réalisateur en informatique musicale chargé d'enseignement IRCAM

&

Alexandre Escarguel

MCF

laboratoire PIIM - UMR 7345 Universite d'Aix-Marseille / CNRS, Equipes Turbulence plasma / Diagnostic dans les gaz et les plasmas

 

Le projet Sonification des spectres lumineux propose de « transformer » les informations visuelles en informations auditives et donner ainsi une nouvelle perspective et une autre dimension à la perception d’un phénomène physique. La sonification des données de spectromètre permet l’observation auditive des informations d’origine visuelle ne pouvant pas être perçues par l’homme ainsi que des spectres de plasma. Le spectromètre analyse la lumière captée en temps réel et la représente à l’écran sous forme d’un graphique fréquences/amplitudes. La sonification des spectres lumineux se fait avec un logiciel crée spécialement pour cette occasion et qui est une variante du logiciel que nous avons créé pour la sonification des données de diffractomètre. Le logiciel récupère les données issues de spectromètre et les transforme en signal audio en agissant sur les paramètres de la synthèse additive.

 


Cosmophonie@infinie

Jacques Diennet

compositeur

 

Le Cosmophone se situe au confluent des sciences fondamentales de pointe (astrophysique et physique des particules), des nouvelles technologies (synthèse sonore numérique en temps réel et spatialisation du son) et de l’art contemporain (musique et installations environnementales), domaines dont la fertilisation mutuelle peut être source de développements originaux. En plaçant le spectateur à la croisée de l’infiniment petit (les particules élémentaires qui le transpercent) et de l’infiniment grand (le cosmos dont elles proviennent), le cosmophone met l’auditeur en contact direct avec l’ensemble de notre galaxie et les phénomènes violents qui s’y produisent, stimulant tout un imaginaire qui peut offrir un nouveau champ d’action à la création artistique.

 


Son musical et sonification : quelques exemples 

Jean-Claude Risset

Directeur de recherche émérite, compositeur

Laboratoire de Mécanique et d’Acoustique, Université d’Aix-Marseille / CNRS

 

On peut parler de sonification lorsqu’un son est structuré par des informations ou des modèles non sonores (compteur Geiger, cordes de piano indiquant la tension dans les barrages). L’exposé évoquera nombre d’exemples originaires ou récents de structuration des sons musicaux par des modèles extérieurs à la musique. La notation musicale a suggéré les transformations du contrepoint et les transpositions de documents graphiques : Melodia di Montanha puis New York Skyline  (1939) de Villa-Lobos, Metastasis (1954) de Xenakis, Atlas Eclipticalis (1961) de Cage. Le son numérique fera exploser le champ de la sonification : il permet la modulation de paramètres sonores quelconques par des fonctions limitées en fréquence (cf. FM de Chowning, 1967-..., Inharmonique, 1977, Sud, 1984). La synthèse par modèles physiques (Ruiz, Cadoz, ACROE) – souvent appelée « auralisation » - peut en fait s’appliquer à plusieurs modalités sensorielles : elle donne lieu lieu à l’immersion virtuelle. On mentionnera la version sonore  - de mesures physiques ou phonétiques : Earth magnetic field  (1970) de Dodge, Das lied von den erde  (1974) de Knopoff, Interphone  (1977) de Decoust, Electron-Positron (1989), Cosmophone de Kronland, Vallée, Voinier, Diennet, (2000-...) ; - de structures graphiques ou mathématiques : oiseaux, sirènes de Little Boy (1968), lemniscate spatial de Chowning (1973), auralisation des polynômes de Tchebytcheff par Arfib (1977), oiseaux de  Songes (1978), scanning de textures visuelles par Arfib et Filatriau (2006).