Research

My main research interest is the exploration of the connections between
3D User Interfaces (3DUI) and Musical Interaction.

In one direction, 3DUIs open many possibilities for musical control,
in particular for the manipulation of rich musical structures
and the visual augmentation of musical performances.

In the other direction, Musical Interaction is
a rich application domain for 3DUIs, with very specific constraints
which both open numerous research questions and provide
interesting opportunities for interaction and visualization techniques.


Projects

Musical Techniques and Immersive Virtual Musical Instruments

Hierarchical Live-looping Tuiles Drile

Visual Feedback and Audio-Visual Mappings

Combined Audiovisual mappings ControllAR

3D Interaction Techniques for and inspired by Musical Interaction

Piivert Tunnels

Musical Collaboration in Virtual and Mixed Reality Environments

Couacs Boeuf

Augmented Performances - Audience Perception

Scenography of Immersive Virtual Musical Instruments Ixmi Project Reflets

Publications

2016

Journal articles

titre
BOEUF: A Unified Framework for Modeling and Designing Digital Orchestras
auteur
Florent Berthaut, Luke Dahl
article
Lecture notes in computer science, springer, 2016, Music, Mind, and Embodiment, 9617, pp.153 - 166. <http://link.springer.com/chapter/10.1007/978-3-319-46282-0_10>. <10.1007/978-3-319-46282-0_10>
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01380373/file/Boeuf.pdf BibTex
titre
Spatial Interfaces and Interactive 3D Environments for Immersive Musical Performances
auteur
Florent Berthaut, Martin Hachet
article
IEEE Computer Graphics and Applications, Institute of Electrical and Electronics Engineers, 2016, 36 (5), pp.82 - 87. <https://www.computer.org/csdl/mags/cg/2016/05/mcg2016050082-abs.html>. <10.1109/MCG.2016.96>
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-01374911/file/CGA.pdf BibTex

Conference papers

titre
ControllAR: Appropriation of Visual Feedback on Control Surfaces
auteur
Florent Berthaut, Alex Jones
article
Interactive Spaces and Surfaces, Nov 2016, Niagara Falls, Canada. Proceedings of ACM Interactive Spaces and Surfaces. <10.1145/2992154.2992170>
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01356239/file/ControllAR.pdf BibTex

2015

Journal articles

titre
Interaction musicale numérique. Recréer les signaux du contrôle et de la perception
auteur
Florent Berthaut, Myriam Desainte-Catherine
article
Traitement du Signal, Lavoisier, 2015, 32 (4), pp.345-363. <10.3166/ts.32.345-363>
Accès au bibtex
BibTex

Conference papers

titre
Dynamir : Optical Manipulations using Dynamic Mirror Brushes
auteur
Florent Berthaut, Deepak Ranjan Sahoo, Jess Mcintosh, Diptesh Das, Sriram Subramanian
article
ACM International Conference on Interactive Tabletops and Surfaces,, Nov 2015, Madeira, Portugal. Proceedings of ACM International Conference on Interactive Tabletops and Surfaces
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01222512/file/Dynamir.pdf BibTex
titre
BOEUF : a Unified Framework for Modeling and Designing Digital Orchestras
auteur
Florent Berthaut, Luke Dahl
article
International Symposium On Computer Music Multidisciplinary Research, Jun 2015, Plymouth, United Kingdom. 2015, Proceedings of the International Symposium On Computer Music Multidisciplinary Research (CMMR)
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01222396/file/Boeuf.pdf BibTex
titre
Liveness Through the Lens of Agency and Causality
auteur
Florent Berthaut, David Coyle, James Moore, Hannah Limerick
article
International Conference on New Interfaces for Musical Expression, May 2015, Baton Rouge, United States. Proceedings of the International Conference on New Interfaces for Musical Expression
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01170032/file/paper_272.pdf BibTex
titre
Reflets: Combining and Revealing Spaces for Musical Performances
auteur
Florent Berthaut, Diego Martinez Plasencia, Martin Hachet, Sriram Subramanian
article
New Interfaces for Musical Expression (NIME), May 2015, Baton Rouge, United States. 2015, <https://nime2015.lsu.edu>
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-01136857/file/paper_190.pdf BibTex

2014

Conference papers

titre
Through the Combining Glass
auteur
Diego Martinez, Florent Berthaut, Abhijit Karnik, Sriram Subramanian
article
ACM Symposium on User Interface Software and Technology, Oct 2014, Honolulu, United States
Accès au bibtex
BibTex
titre
Scenography of immersive virtual musical instruments
auteur
Florent Berthaut, Victor Zappi, Dario Mazzanti
article
VR Workshop: Sonic Interaction in Virtual Environments (SIVE), 2014 IEEE, Mar 2014, Minneapolis, United States. 2014, <10.1109/SIVE.2014.7006285>
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-01222454/file/sceno.pdf BibTex

2013

Conference papers

titre
Rouages: Revealing the Mechanisms of Digital Musical Instruments to the Audience
auteur
Florent Berthaut, Mark Marshall, Sriram Subramanian, Martin Hachet
article
New Interfaces for Musical Expression, May 2013, Daejeon, South Korea. 6 p., 2013
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00807049/file/rouages.pdf BibTex
titre
libTuile : un moteur d'exécution multi-échelle de processus musicaux hiérarchisés
auteur
Florent Berthaut, David Janin, Myriam Desainte-Catherine
article
JIM, May 2013, Saint-Denis, France. pp.45-50, 2013
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00790792/file/RR1468-13.pdf BibTex
titre
Multi-scale design of interactive music systems : the libTuiles experiment
auteur
David Janin, Florent Berthaut, Myriam Desainte-Catherine
article
Roberto Bresin. SMC 2013, 2013, Stockholm, Sweden. pp.123-129, 2013
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00813313/file/RR-1471-13.pdf BibTex
titre
The T-Calculus : towards a structured programing of (musical) time and space
auteur
David Janin, Florent Berthaut, Myriam Desainte-Catherine, Yann Orlarey, Sylvain Salvati
article
FARM 2013, 2013, Boston, United States. pp.23-34, 2013, <10.1145/2505341.2505347>
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00789189/file/RR1466-13.pdf BibTex

Poster communications

titre
Les Passages : Une métaphore pour la Collaboration Musicale en Réalité Virtuelle
auteur
Pierre-Marie Plans, Florent Berthaut
article
25ème conférence francophone sur l'Interaction Homme-Machine, IHM'13, Nov 2013, Bordeaux, France
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-00879603/file/plans.pdf BibTex

Documents associated with scientific events

titre
Atelier: Quelles interfaces pour combiner l' écriture et la manipulation dynamique du temps dans les systèmes musicaux interactifs ?
auteur
Florent Berthaut, Myriam Desainte-Catherine, Joan Bages I. Rubi, Dominique Fober
article
25ème conférence francophone sur l'Interaction Homme-Machine, IHM'13, Nov 2013, Bordeaux, France
Accès au texte intégral et bibtex
https://hal.inria.fr/hal-00881021/file/4-4.pdf BibTex

2012

Journal articles

titre
Advanced Synchronization of Audio or Symbolic Musical Patterns: An Algebraic Approach
auteur
Florent Berthaut, David Janin, Benjamin Martin
article
International Journal of Semantic Computing, World Scientific, 2012, 6 (4), pp.409-427. <10.1142/S1793351X12400132>
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00794196/file/RR-1461-12-V2.pdf BibTex

Conference papers

titre
Advanced Synchronization of Audio or Symbolic Musical Patterns: An Algebraic Approach
auteur
Florent Berthaut, David Janin, Benjamin Martin
article
ICSC, Sep 2012, Palermo, Italy. pp.202-209, 2012, <10.1109/ICSC.2012.11>
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00698963/file/RR-1461-12.pdf BibTex
titre
Beyond the Tunnels: Advanced 3D graphical modulation
auteur
Florent Berthaut
article
2012 IEEE Symposium on 3D User Interfaces (3DUI), Mar 2012, United States. pp.139-140, 2012
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00793580/file/advanced_tunnels.pdf BibTex

2011

Journal articles

titre
Interacting with 3D Reactive Widgets for Musical Performance
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
Journal of New Music Research, Taylor & Francis (Routledge), 2011, 40 (3), pp.253-263
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00633750/file/11jnmr.pdf BibTex

Conference papers

titre
First Person Shooters as Collaborative Multiprocess Instruments
auteur
Florent Berthaut, Haruhiro Katayose, Hironori Wakama, Naoyuki Totani, Yuichi Sato
article
New Interfaces for Musical Expression, May 2011, Oslo, Norway. pp.44-47, 2011
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00631782/file/nime11.pdf BibTex

2010

Conference papers

titre
Drile: An Immersive Environment for hierarchical live-looping
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
New Interface for Musical Expression, Jun 2010, Sydney, Australia. page 192, 2010
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00530071/file/drile.pdf BibTex
titre
Combining audiovisual mappings for 3D musical interaction
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
International Computer Music Conference, Jun 2010, New york, United States. p 100, 2010
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00530076/file/mappings.pdf BibTex
titre
Piivert: Percussion-based Interaction for Immersive Virtual EnviRonmenTs
auteur
Florent Berthaut, Martin Hachet, Myriam Desainte-Catherine
article
Symposium on 3D User Interfaces, Mar 2010, United States. p 15-18, 2010
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00522637/file/berthaut.pdf BibTex

Theses

titre
Construction, manipulation et visualisation de processus sonores dans des environnements virtuels immersifs pour la performance musicale
auteur
Florent Berthaut
article
Informatique [cs]. Université Sciences et Technologies - Bordeaux I, 2010. Français
Accès au texte intégral et bibtex
https://tel.archives-ouvertes.fr/tel-00573382/file/memoire.pdf BibTex

2009

Conference papers

titre
Analyse de l'influence des systèmes de visualisation immersif sur l'assemblage virtuel de fragments en archéologie
auteur
Nicolas Mellado, Patrick Reuter, Florent Berthaut
article
4ème Journées de l'Association Française de Réalité Virtuelle, Dec 2009, Lyon, France. p83, 2009
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00576884/file/template.pdf BibTex
titre
Opportunistic Music
auteur
Martin Hachet, Arash Kian, Florent Berthaut, Jean-Sébastien Franco, Myriam Desainte-Catherine
article
Eurographics. JVRC 2009 (EGVE - ICAT - EuroVR), Dec 2009, Lyon, France. 2009
Accès au texte intégral et bibtex
https://hal.inria.fr/inria-00406390/file/opportun.pdf BibTex
titre
Interaction with the 3D reactive widgets for musical performance.
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
Brazilian Symposium on Computer Music (SBCM09), Sep 2009, Recife, Brazil. pp.0, 2009
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00413339/file/berthaut-desainte_catherine-hachet-3D_reactive_widgets.pdf BibTex
titre
Widgets Réactifs 3D
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
Journées d'informatique musicale, Mar 2009, France. pp.87, 2008
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-00354898/file/Widgets_Reactifs_3D-berthaut-desainte-catherine-hachet.pdf BibTex

2007

Conference papers

titre
Interaction 3D pour la musique
auteur
Florent Berthaut, M. Desainte-Catherine, Martin Hachet
article
Actes des 2emes Journées de lAFRV, 2007, France. pp.75 -- 81, 2007
Accès au bibtex
BibTex

Images, Sounds and Videos available under the Free Art License
Website powered by PmWiki