Research

VR Glasses

I am an Associate Professor (Maître de Conférences) in Computer Science at the Université de Lille, France. I mostly teach at the Applied Foreign Languages Department of the Faculté des Langues, Cultures et Sociétés and conduct my research in the Mint research team of the CRIStAL laboratory.

My main research interest is the exploration of connections between 3D User Interfaces (in Mixed and Virtual Reality) and Musical Interaction. In one direction, 3DUIs open many possibilities for musical expression, in particular for the manipulation of rich musical structures and the visual augmentation of musical performances. In the other direction, Musical Interaction is a rich application domain for 3DUIs, with very specific constraints which both open numerous research questions and provide interesting opportunities for interaction and visualization techniques.

Below are videos of some of the projects i have worked on and a list of publications.
For more details and news on my research, please refer to my team's website and to my profile page.

Selected projects

IXMI

Improving the Audience Experience with Digital Musical Instruments
Rouages : novel approach of revealing mechanisms of DMIs
Attributed agency : perception of causality and liveness
Reflets : novel mixed-reality display for musical performances

ControllAR

Remixing graphical interfaces for visual feedback appropriation on control surfaces

Drile

Immersive Virtual Musical Instrument for Hierarchical Live-Looping

Revealable Volume Displays

Mixed-reality displays for the exploration of virtual content inside or around physical objects

Publications

2024

titre: MagneTip: Reintroducing a Physical Interaction Loop for 3D Musical Drawing in Extended Reality
auteur: Esther Gruy, Florent Berthaut
article: New Interfaces for Musical Expression, Sep 2024, Utrecht (Netherland), Netherlands
Accès au texte intégral et bibtex

titre: IVMI-builder
auteur: Florent Berthaut, Théophile Cosse
article: 2024, ⟨swh:1:dir:15d52307b57be980f1921f70be09e5a962f9d9a9;origin=https://hal.archives-ouvertes.fr/hal-04398716;visit=swh:1:snp:3984bd6ba9ba4de191da1af865d516de8442fb30;anchor=swh:1:rel:c693a321b2db51b628491b27927bf3ec0c1c8189;path=/⟩
Accès au texte intégral et bibtex

2023

titre: Revealing Interactions : Expression and Exploration in Mixed and Virtual Reality
auteur: Florent Berthaut
article: Graphics [cs.GR]. Université de Lille, 2023
Accès au texte intégral et bibtex

titre: AAGRIP - Music : Attributed Agency through Grip Force
auteur: Olivier Capra, Florent Berthaut
article: 2023
Accès au bibtex

titre: Cross-modal interaction of stereoscopy, surface deformation and tactile feedback on the perception of texture roughness in an active touch condition
auteur: Detjon Brahimaj, Florent Berthaut, Frédéric Giraud, Betty Semail
article: IHM'23 - 34e Conférence Internationale Francophone sur l'Interaction Humain-Machine AFIHM, Ines di Loreto, Apr 2023, Troyes, France
Accès au texte intégral et bibtex

2022

titre: Vibrating shapes : Design and evolution of a spatial augmented reality interface for actuated instruments
auteur: Cagan Arslan, Florent Berthaut, Anthony Beuchey, Paul Cambourian, Arthur Paté
article: New Interfaces for Musical Expression, Jun 2022, Auckland, New Zealand. ⟨10.21428/92fbeb44.c28dd323⟩
Accès au texte intégral et bibtex

titre: The Effect of Visualisation Level and Situational Visibility in Co-located Digital Musical Ensembles
auteur: Florent Berthaut, Luke Dahl
article: New Interfaces for Musical Expression, Jun 2022, Auckland, New Zealand. ⟨10.21428/92fbeb44.9d974714⟩
Accès au texte intégral et bibtex

titre: From the Lab to the Stage: Practical Considerations on Designing Performances with Immersive Virtual Musical Instruments
auteur: Victor Zappi, Florent Berthaut, Dario Mazzanti
article: Sonic Interactions In Virtual Environments, Springer VS, In press, 978-3-031-04020-7
Accès au texte intégral et bibtex

2021

titre: The Effect of Rhythm in Mid-air Gestures on the User Experience in Virtual Reality
auteur: Vincent Reynaert, Florent Berthaut, Yosra Rekik, Laurent Grisoni
article: 18th IFIP Conference on Human-Computer Interaction (INTERACT), Aug 2021, Bari, Italy. pp.182-191, ⟨10.1007/978-3-030-85613-7_13⟩
Accès au texte intégral et bibtex

titre: The Effect of Control-Display Ratio on User Experience in Immersive Virtual Musical Instruments
auteur: Vincent Reynaert, Florent Berthaut, Yosra Rekik, Laurent Grisoni
article: International Conference on New Interfaces for Musical Expression, Jun 2021, Shanghai, China
Accès au texte intégral et bibtex

titre: Musical Exploration of Volumetric Textures in Mixed and Virtual Reality
auteur: Florent Berthaut
article: International Conference on New Interfaces for Musical Expression (NIME 2021), Jun 2021, Shangai, China. ⟨10.21428/92fbeb44.6607d04f⟩
Accès au texte intégral et bibtex

titre: Revealable Volume Displays: 3D Exploration of Mixed-Reality Public Exhibitions
auteur: Fatma Ben Guefrech, Florent Berthaut, Patricia Plénacoste, Yvan Peter, Laurent Grisoni
article: IEEE Conference on Virtual Reality and 3D User Interfaces, Mar 2021, Lisbonne (Virtual ), Portugal. ⟨10.1109/VR50410.2021.00023⟩
Accès au texte intégral et bibtex

titre: Levels of Detail in Visual Augmentations for the Novice and Expert Audiences
auteur: Olivier Capra, Florent Berthaut, Laurent Grisoni
article: Computer Music Journal, In press
Accès au texte intégral et bibtex

2020

titre: Adapting & Openness: Dynamics of Collaboration Interfaces for Heterogeneous Digital Orchestras
auteur: Florent Berthaut, Luke Dahl
article: New Interfaces for Musical Expression, Jul 2020, Birmingham, United Kingdom
Accès au texte intégral et bibtex

titre: A Taxonomy of Spectator Experience Augmentation Techniques
auteur: Olivier Capra, Florent Berthaut, Laurent Grisoni
article: NIME 2020 - The 20th International Conference of New Interfaces for Musical Expression, Jul 2020, Royal Birmingham Conservatoire, United Kingdom
Accès au texte intégral et bibtex

titre: All You Need Is LOD : Levels of Detail in Visual Augmentations for the Audience
auteur: Olivier Capra, Florent Berthaut, Laurent Grisoni
article: The 20th International Conference of New Interfaces for Musical Expression, Jul 2020, Royal Birmingham Conservatoire, United Kingdom
Accès au texte intégral et bibtex

titre: Have a SEAT on Stage : Restoring Trust with Spectator Experience Augmentation Techniques
auteur: Olivier Capra, Florent Berthaut, Laurent Grisoni
article: Designing Interactive Systems (DIS), Jul 2020, Eindhoven, Netherlands. ⟨10.1145/3357236.3395492⟩
Accès au texte intégral et bibtex

titre: Investigating the semantic perceptual space of synthetic textures on an ultrasonic based haptic tablet
auteur: Maxime Dariosecq, Patricia Plénacoste, Florent Berthaut, Anis Kaci, Frédéric Giraud
article: HUCAPP 2020, Feb 2020, Valletta, Malta
Accès au texte intégral et bibtex

titre: 3D interaction techniques for musical expression
auteur: Florent Berthaut
article: Journal of New Music Research, In press, ⟨10.1080/09298215.2019.1706584⟩
Accès au texte intégral et bibtex

titre: GdPd
auteur: Florent Berthaut
article: 2020, ⟨swh:1:dir:4d7287465ba3cfd9f0b6ec32bc248d5e6e82f657;origin=https://hal.archives-ouvertes.fr/hal-04398764;visit=swh:1:snp:1425e00871d886e6ae574c8573991ea9e41cdf08;anchor=swh:1:rel:baeb1b122fe25cbaeee4cc2471dc0cfb5919338b;path=/⟩
Accès au texte intégral et bibtex

2018

titre: Toward Augmented Familiarity of the Audience with Digital Musical Instruments
auteur: Olivier Capra, Florent Berthaut, Laurent Grisoni
article: Music Technology with Swing, Springer, pp.558-573, 2018, 978-3-030-01691-3
Accès au texte intégral et bibtex

titre: The Phone with the Flow: Combining Touch + Optical Flow in Mobile Instruments
auteur: Cagan Arslan, Florent Berthaut, Jean Martinet, Ioan Marius Bilasco, Laurent Grisoni
article: NIME 2018 - 18th International Conference on New Interfaces for Musical Expression, Jun 2018, Blacksburg, VA, United States
Accès au texte intégral et bibtex

2017

titre: Toward Augmented Familiarity of the Audience with Digital Musical Instruments
auteur: Olivier Capra, Florent Berthaut, Laurent Grisoni
article: International Symposium on Computer Music Multidisciplinary Research, Sep 2017, Matosinhos, Portugal
Accès au texte intégral et bibtex

titre: bf-pd: Enabling Mediated Communication and Cooperation in Improvised Digital Orchestras
auteur: Luke Dahl, Florent Berthaut, Antoine Nau, Patricia Plenacoste
article: CMMR 2017 - 13th International Symposium on Computer Music Multidisciplinary Research, Sep 2017, Matosinhos, Porto, Portugal
Accès au texte intégral et bibtex

titre: Enriching Musical Interaction on Tactile Feedback Surfaces with Programmable Friction
auteur: Farzan Kalantari, Florent Berthaut, Laurent Grisoni
article: International Symposium on Computer Music Multidisciplinary Research (CMMR 2017), Sep 2017, Porto, Portugal
Accès au texte intégral et bibtex

titre: Revgest: Augmenting Gestural Musical Instruments with Revealed Virtual Objects
auteur: Florent Berthaut, Cagan Arslan, Laurent Grisoni
article: International Conference on New Interfaces for Musical Expression, May 2017, Copenhagen, Denmark
Accès au texte intégral et bibtex

2016

titre: ControllAR: Appropriation of Visual Feedback on Control Surfaces
auteur: Florent Berthaut, Alex Jones
article: Interactive Spaces and Surfaces, ACM, Nov 2016, Niagara Falls, Canada. ⟨10.1145/2992154.2992170⟩
Accès au texte intégral et bibtex

titre: BOEUF: A Unified Framework for Modeling and Designing Digital Orchestras
auteur: Florent Berthaut, Luke Dahl
article: Lecture Notes in Computer Science, 2016, Music, Mind, and Embodiment, 9617, pp.153 - 166. ⟨10.1007/978-3-319-46282-0_10⟩
Accès au texte intégral et bibtex

titre: Spatial Interfaces and Interactive 3D Environments for Immersive Musical Performances
auteur: Florent Berthaut, Martin Hachet
article: IEEE Computer Graphics and Applications, 2016, 36 (5), pp.82 - 87. ⟨10.1109/MCG.2016.96⟩
Accès au texte intégral et bibtex

titre: ControllAR
auteur: Florent Berthaut
article: 2016, ⟨swh:1:dir:c3ba45aad8444ad0fa857758e6639ea2a4165d99;origin=https://hal.archives-ouvertes.fr/hal-04398710;visit=swh:1:snp:cc1748d87057b256114ba84868a3a40d62795d56;anchor=swh:1:rel:25f607d4bad7ef146e2e18d0c8ab2431b0a8ddda;path=/⟩
Accès au texte intégral et bibtex

2015

titre: Dynamir : Optical Manipulations using Dynamic Mirror Brushes
auteur: Florent Berthaut, Deepak Ranjan Sahoo, Jess Mcintosh, Diptesh Das, Sriram Subramanian
article: ACM International Conference on Interactive Tabletops and Surfaces,, Nov 2015, Madeira, Portugal
Accès au texte intégral et bibtex

titre: Interaction musicale numérique. Recréer les signaux du contrôle et de la perception
auteur: Florent Berthaut, Myriam Desainte-Catherine
article: Traitement du Signal, 2015, 32 (4), pp.345-363. ⟨10.3166/ts.32.345-363⟩
Accès au bibtex

titre: BOEUF : a Unified Framework for Modeling and Designing Digital Orchestras
auteur: Florent Berthaut, Luke Dahl
article: International Symposium On Computer Music Multidisciplinary Research, Jun 2015, Plymouth, United Kingdom
Accès au texte intégral et bibtex

titre: Liveness Through the Lens of Agency and Causality
auteur: Florent Berthaut, David Coyle, James Moore, Hannah Limerick
article: International Conference on New Interfaces for Musical Expression, May 2015, Baton Rouge, United States
Accès au texte intégral et bibtex

titre: Reflets: Combining and Revealing Spaces for Musical Performances
auteur: Florent Berthaut, Diego Martinez Plasencia, Martin Hachet, Sriram Subramanian
article: New Interfaces for Musical Expression (NIME), May 2015, Baton Rouge, United States
Accès au texte intégral et bibtex

titre: Rivill
auteur: Florent Berthaut
article: 2015, ⟨swh:1:dir:3d308510d91628f48f31b117a27e00e63710c09c;origin=https://hal.archives-ouvertes.fr/hal-04398695;visit=swh:1:snp:6604ce09a297f1d63d32cc4b7229f567c5781fa5;anchor=swh:1:rel:80e0f63d083ea31f7b76974f8157ba75117468cc;path=/⟩
Accès au texte intégral et bibtex

2014

titre: Through the Combining Glass
auteur: Diego Martinez, Florent Berthaut, Abhijit Karnik, Sriram Subramanian
article: ACM Symposium on User Interface Software and Technology, Oct 2014, Honolulu, United States
Accès au bibtex

titre: Scenography of immersive virtual musical instruments
auteur: Florent Berthaut, Victor Zappi, Dario Mazzanti
article: VR Workshop: Sonic Interaction in Virtual Environments (SIVE), 2014 IEEE, Mar 2014, Minneapolis, United States. ⟨10.1109/SIVE.2014.7006285⟩
Accès au texte intégral et bibtex

2013

titre: Les Passages : Une métaphore pour la Collaboration Musicale en Réalité Virtuelle
auteur: Pierre-Marie Plans, Florent Berthaut
article: 25ème conférence francophone sur l'Interaction Homme-Machine, IHM'13, Nov 2013, Bordeaux, France
Accès au texte intégral et bibtex

titre: Atelier: Quelles interfaces pour combiner l' écriture et la manipulation dynamique du temps dans les systèmes musicaux interactifs ?
auteur: Florent Berthaut, Myriam Desainte-Catherine, Joan Bages I. Rubi, Dominique Fober
article: 25ème conférence francophone sur l'Interaction Homme-Machine, IHM'13, Nov 2013, Bordeaux, France
Accès au texte intégral et bibtex

titre: Rouages: Revealing the Mechanisms of Digital Musical Instruments to the Audience
auteur: Florent Berthaut, Mark T. Marshall, Sriram Subramanian, Martin Hachet
article: New Interfaces for Musical Expression, May 2013, Daejeon, South Korea. 6 p
Accès au texte intégral et bibtex

titre: libTuile : un moteur d'exécution multi-échelle de processus musicaux hiérarchisés
auteur: Florent Berthaut, David Janin, Myriam Desainte-Catherine
article: Journées d'Informatique Musicale, May 2013, Saint-Denis, France. pp.45-50
Accès au texte intégral et bibtex

titre: The T-Calculus : towards a structured programing of (musical) time and space
auteur: David Janin, Florent Berthaut, Myriam Desainte-Catherine, Yann Orlarey, Sylvain Salvati
article: FARM 2013, 2013, Boston, United States. pp.23-34, ⟨10.1145/2505341.2505347⟩
Accès au texte intégral et bibtex

titre: Multi-scale design of interactive music systems : the libTuiles experiment
auteur: David Janin, Florent Berthaut, Myriam Desainte-Catherine
article: SMC 2013, 2013, Stockholm, Sweden. pp.123-129
Accès au texte intégral et bibtex

2012

titre: Advanced Synchronization of Audio or Symbolic Musical Patterns: An Algebraic Approach
auteur: Florent Berthaut, David Janin, Benjamin Martin
article: ICSC, Sep 2012, Palermo, Italy. pp.202-209, ⟨10.1109/ICSC.2012.11⟩
Accès au texte intégral et bibtex

titre: Beyond the Tunnels: Advanced 3D graphical modulation
auteur: Florent Berthaut
article: 2012 IEEE Symposium on 3D User Interfaces (3DUI), Mar 2012, United States. pp.139-140
Accès au texte intégral et bibtex

titre: Advanced Synchronization of Audio or Symbolic Musical Patterns: An Algebraic Approach
auteur: Florent Berthaut, David Janin, Benjamin Martin
article: International Journal of Semantic Computing, 2012, 6 (4), pp.409-427. ⟨10.1142/S1793351X12400132⟩
Accès au texte intégral et bibtex

2011

titre: Interacting with 3D Reactive Widgets for Musical Performance
auteur: Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article: Journal of New Music Research, 2011, 40 (3), pp.253-263
Accès au texte intégral et bibtex

titre: First Person Shooters as Collaborative Multiprocess Instruments
auteur: Florent Berthaut, Haruhiro Katayose, Hironori Wakama, Naoyuki Totani, Yuichi Sato
article: New Interfaces for Musical Expression, May 2011, Oslo, Norway. pp.44-47
Accès au texte intégral et bibtex

2010

titre: Construction, manipulation et visualisation de processus sonores dans des environnements virtuels immersifs pour la performance musicale
auteur: Florent Berthaut
article: Informatique [cs]. Université Sciences et Technologies - Bordeaux I, 2010. Français. ⟨NNT : ⟩
Accès au texte intégral et bibtex

titre: Drile: An Immersive Environment for hierarchical live-looping
auteur: Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article: New Interface for Musical Expression, Jun 2010, Sydney, Australia. page 192
Accès au texte intégral et bibtex

titre: Combining audiovisual mappings for 3D musical interaction
auteur: Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article: International Computer Music Conference, Jun 2010, New york, United States. p 100
Accès au texte intégral et bibtex

titre: Piivert: Percussion-based Interaction for Immersive Virtual EnviRonmenTs
auteur: Florent Berthaut, Martin Hachet, Myriam Desainte-Catherine
article: Symposium on 3D User Interfaces, Mar 2010, United States. p 15-18
Accès au texte intégral et bibtex

2009

titre: Analyse de l'influence des systèmes de visualisation immersif sur l'assemblage virtuel de fragments en archéologie
auteur: Nicolas Mellado, Patrick Reuter, Florent Berthaut
article: 4ème Journées de l'Association Française de Réalité Virtuelle, Dec 2009, Lyon, France. p83
Accès au texte intégral et bibtex

titre: Opportunistic Music
auteur: Martin Hachet, Arash Kian, Florent Berthaut, Jean-Sébastien Franco, Myriam Desainte-Catherine
article: JVRC 2009 (EGVE - ICAT - EuroVR), Dec 2009, Lyon, France
Accès au texte intégral et bibtex

titre: Interaction with the 3D reactive widgets for musical performance.
auteur: Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article: Brazilian Symposium on Computer Music (SBCM09), Sep 2009, Recife, Brazil. pp.0
Accès au texte intégral et bibtex

2008

titre: Widgets Réactifs 3D pour l’interaction musicale
auteur: Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article: Journées d'informatique musicale, GMEA, Mar 2008, Albi, France. pp.87
Accès au texte intégral et bibtex

2007

titre: Interaction 3D pour la musique
auteur: Florent Berthaut, M. Desainte-Catherine, Martin Hachet
article: Actes des 2emes Journées de lAFRV, 2007, France. pp.75 -- 81
Accès au bibtex