Research

VR Glasses

I am an Associate Professor (Maître de Conférences) in Computer Science at the Université de Lille, France. I mostly teach at the Applied Foreign Languages Department of the Faculté des Langues, Cultures et Sociétés and conduct my research in the Mint research team of the CRIStAL laboratory.

My main research interest is the exploration of connections between 3D User Interfaces (in Mixed and Virtual Reality) and Musical Interaction. In one direction, 3DUIs open many possibilities for musical expression, in particular for the manipulation of rich musical structures and the visual augmentation of musical performances. In the other direction, Musical Interaction is a rich application domain for 3DUIs, with very specific constraints which both open numerous research questions and provide interesting opportunities for interaction and visualization techniques.

Below are videos of some of the projects i have worked on and a list of publications.
For more details and news on my research, please refer to my team's website and to my profile page.

Selected projects

IXMI

Improving the Audience Experience with Digital Musical Instruments
Rouages : novel approach of revealing mechanisms of DMIs
Attributed agency : perception of causality and liveness
Reflets : novel mixed-reality display for musical performances

ControllAR

Remixing graphical interfaces for visual feedback appropriation on control surfaces

Drile

Immersive Virtual Musical Instrument for Hierarchical Live-Looping

Revealable Volume Displays

Mixed-reality displays for the exploration of virtual content inside or around physical objects

Publications

2024

titre
MagneTip: Reintroducing a Physical Interaction Loop for 3D Musical Drawing in Extended Reality
auteur
Esther Gruy, Florent Berthaut
article
New Interfaces for Musical Expression, Sep 2024, Utrecht (Netherland), Netherlands
Accès au texte intégral et bibtex
https://hal.science/hal-04649511/file/MagneTip.pdf BibTex
titre
IVMI-builder
auteur
Florent Berthaut, Théophile Cosse
article
2024, ⟨swh:1:dir:15d52307b57be980f1921f70be09e5a962f9d9a9;origin=https://hal.archives-ouvertes.fr/hal-04398716;visit=swh:1:snp:3984bd6ba9ba4de191da1af865d516de8442fb30;anchor=swh:1:rel:c693a321b2db51b628491b27927bf3ec0c1c8189;path=/⟩
Accès au texte intégral et bibtex
https://hal.science/hal-04398716/file/ivmi-builder-main.zip BibTex

2023

titre
Revealing Interactions : Expression and Exploration in Mixed and Virtual Reality
auteur
Florent Berthaut
article
Graphics [cs.GR]. Université de Lille, 2023
Accès au texte intégral et bibtex
https://hal.science/tel-04425551/file/HDR_Berthaut.pdf BibTex
titre
AAGRIP - Music : Attributed Agency through Grip Force
auteur
Olivier Capra, Florent Berthaut
article
2023
Accès au bibtex
BibTex
titre
Cross-modal interaction of stereoscopy, surface deformation and tactile feedback on the perception of texture roughness in an active touch condition
auteur
Detjon Brahimaj, Florent Berthaut, Frédéric Giraud, Betty Semail
article
IHM'23 - 34e Conférence Internationale Francophone sur l'Interaction Humain-Machine AFIHM, Ines di Loreto, Apr 2023, Troyes, France
Accès au texte intégral et bibtex
https://hal.science/hal-04014962/file/dBrahimaj_authorVersion_ihm23.pdf BibTex

2022

titre
Vibrating shapes : Design and evolution of a spatial augmented reality interface for actuated instruments
auteur
Cagan Arslan, Florent Berthaut, Anthony Beuchey, Paul Cambourian, Arthur Paté
article
New Interfaces for Musical Expression, Jun 2022, Auckland, New Zealand. ⟨10.21428/92fbeb44.c28dd323⟩
Accès au texte intégral et bibtex
https://hal.science/hal-03712843/file/30.pdf BibTex
titre
The Effect of Visualisation Level and Situational Visibility in Co-located Digital Musical Ensembles
auteur
Florent Berthaut, Luke Dahl
article
New Interfaces for Musical Expression, Jun 2022, Auckland, New Zealand. ⟨10.21428/92fbeb44.9d974714⟩
Accès au texte intégral et bibtex
https://hal.science/hal-03704678/file/31.pdf BibTex
titre
From the Lab to the Stage: Practical Considerations on Designing Performances with Immersive Virtual Musical Instruments
auteur
Victor Zappi, Florent Berthaut, Dario Mazzanti
article
Sonic Interactions In Virtual Environments, Springer VS, In press, 978-3-031-04020-7
Accès au texte intégral et bibtex
https://hal.science/hal-03790049/file/ScenoVR.pdf BibTex

2021

titre
The Effect of Rhythm in Mid-air Gestures on the User Experience in Virtual Reality
auteur
Vincent Reynaert, Florent Berthaut, Yosra Rekik, Laurent Grisoni
article
18th IFIP Conference on Human-Computer Interaction (INTERACT), Aug 2021, Bari, Italy. pp.182-191, ⟨10.1007/978-3-030-85613-7_13⟩
Accès au texte intégral et bibtex
https://hal.science/hal-03338088/file/Rhythm_Fatigue_VR.pdf BibTex
titre
The Effect of Control-Display Ratio on User Experience in Immersive Virtual Musical Instruments
auteur
Vincent Reynaert, Florent Berthaut, Yosra Rekik, Laurent Grisoni
article
International Conference on New Interfaces for Musical Expression, Jun 2021, Shanghai, China
Accès au texte intégral et bibtex
https://hal.science/hal-03265169/file/c47be986-444a-423c-ab81-83abab65d3e0.pdf BibTex
titre
Musical Exploration of Volumetric Textures in Mixed and Virtual Reality
auteur
Florent Berthaut
article
International Conference on New Interfaces for Musical Expression (NIME 2021), Jun 2021, Shangai, China. ⟨10.21428/92fbeb44.6607d04f⟩
Accès au texte intégral et bibtex
https://hal.science/hal-03260466/file/Volsound.pdf BibTex
titre
Revealable Volume Displays: 3D Exploration of Mixed-Reality Public Exhibitions
auteur
Fatma Ben Guefrech, Florent Berthaut, Patricia Plénacoste, Yvan Peter, Laurent Grisoni
article
IEEE Conference on Virtual Reality and 3D User Interfaces, Mar 2021, Lisbonne (Virtual ), Portugal. ⟨10.1109/VR50410.2021.00023⟩
Accès au texte intégral et bibtex
https://hal.science/hal-03186282/file/Reveam.pdf BibTex
titre
Levels of Detail in Visual Augmentations for the Novice and Expert Audiences
auteur
Olivier Capra, Florent Berthaut, Laurent Grisoni
article
Computer Music Journal, In press
Accès au texte intégral et bibtex
https://hal.science/hal-03106626/file/AVAALOD__MIT_CMJ_.pdf BibTex

2020

titre
Adapting & Openness: Dynamics of Collaboration Interfaces for Heterogeneous Digital Orchestras
auteur
Florent Berthaut, Luke Dahl
article
New Interfaces for Musical Expression, Jul 2020, Birmingham, United Kingdom
Accès au texte intégral et bibtex
https://hal.science/hal-02561064/file/BOEUF_NIME_2020.pdf BibTex
titre
A Taxonomy of Spectator Experience Augmentation Techniques
auteur
Olivier Capra, Florent Berthaut, Laurent Grisoni
article
NIME 2020 - The 20th International Conference of New Interfaces for Musical Expression, Jul 2020, Royal Birmingham Conservatoire, United Kingdom
Accès au texte intégral et bibtex
https://hal.science/hal-02560931/file/A_Taxonomy_of_Spectator_Experience_Augmentation_Techniques.pdf BibTex
titre
All You Need Is LOD : Levels of Detail in Visual Augmentations for the Audience
auteur
Olivier Capra, Florent Berthaut, Laurent Grisoni
article
The 20th International Conference of New Interfaces for Musical Expression, Jul 2020, Royal Birmingham Conservatoire, United Kingdom
Accès au texte intégral et bibtex
https://hal.science/hal-02560794/file/All_you_need_is_LOD.pdf BibTex
titre
Have a SEAT on Stage : Restoring Trust with Spectator Experience Augmentation Techniques
auteur
Olivier Capra, Florent Berthaut, Laurent Grisoni
article
Designing Interactive Systems (DIS), Jul 2020, Eindhoven, Netherlands. ⟨10.1145/3357236.3395492⟩
Accès au texte intégral et bibtex
https://hal.science/hal-02560916/file/Have_a_SEAT_on_Stage.pdf BibTex
titre
Investigating the semantic perceptual space of synthetic textures on an ultrasonic based haptic tablet
auteur
Maxime Dariosecq, Patricia Plénacoste, Florent Berthaut, Anis Kaci, Frédéric Giraud
article
HUCAPP 2020, Feb 2020, Valletta, Malta
Accès au texte intégral et bibtex
https://hal.science/hal-02434298/file/HUCAPP_2020_20_CR.pdf BibTex
titre
3D interaction techniques for musical expression
auteur
Florent Berthaut
article
Journal of New Music Research, In press, ⟨10.1080/09298215.2019.1706584⟩
Accès au texte intégral et bibtex
https://hal.science/hal-02430634/file/interactapasample_auth.pdf BibTex
titre
GdPd
auteur
Florent Berthaut
article
2020, ⟨swh:1:dir:4d7287465ba3cfd9f0b6ec32bc248d5e6e82f657;origin=https://hal.archives-ouvertes.fr/hal-04398764;visit=swh:1:snp:1425e00871d886e6ae574c8573991ea9e41cdf08;anchor=swh:1:rel:baeb1b122fe25cbaeee4cc2471dc0cfb5919338b;path=/⟩
Accès au texte intégral et bibtex
https://hal.science/hal-04398764/file/gdpd-master.zip BibTex

2018

titre
Toward Augmented Familiarity of the Audience with Digital Musical Instruments
auteur
Olivier Capra, Florent Berthaut, Laurent Grisoni
article
Music Technology with Swing, Springer, pp.558-573, 2018, 978-3-030-01691-3
Accès au texte intégral et bibtex
https://hal.science/hal-01954791/file/book-chp_cmmr2018.pdf BibTex
titre
The Phone with the Flow: Combining Touch + Optical Flow in Mobile Instruments
auteur
Cagan Arslan, Florent Berthaut, Jean Martinet, Ioan Marius Bilasco, Laurent Grisoni
article
NIME 2018 - 18th International Conference on New Interfaces for Musical Expression, Jun 2018, Blacksburg, VA, United States
Accès au texte intégral et bibtex
https://hal.science/hal-01809210/file/Nime_18_PwF.pdf BibTex

2017

titre
Toward Augmented Familiarity of the Audience with Digital Musical Instruments
auteur
Olivier Capra, Florent Berthaut, Laurent Grisoni
article
International Symposium on Computer Music Multidisciplinary Research, Sep 2017, Matosinhos, Portugal
Accès au texte intégral et bibtex
https://hal.science/hal-01577953/file/CMMR_2017.pdf BibTex
titre
bf-pd: Enabling Mediated Communication and Cooperation in Improvised Digital Orchestras
auteur
Luke Dahl, Florent Berthaut, Antoine Nau, Patricia Plenacoste
article
CMMR 2017 - 13th International Symposium on Computer Music Multidisciplinary Research, Sep 2017, Matosinhos, Porto, Portugal
Accès au texte intégral et bibtex
https://hal.science/hal-01577942/file/BOEUF_Maroilles.pdf BibTex
titre
Enriching Musical Interaction on Tactile Feedback Surfaces with Programmable Friction
auteur
Farzan Kalantari, Florent Berthaut, Laurent Grisoni
article
International Symposium on Computer Music Multidisciplinary Research (CMMR 2017), Sep 2017, Porto, Portugal
Accès au texte intégral et bibtex
https://inria.hal.science/hal-01580750/file/CMMR_2017.pdf BibTex
titre
Revgest: Augmenting Gestural Musical Instruments with Revealed Virtual Objects
auteur
Florent Berthaut, Cagan Arslan, Laurent Grisoni
article
International Conference on New Interfaces for Musical Expression, May 2017, Copenhagen, Denmark
Accès au texte intégral et bibtex
https://hal.science/hal-01518579/file/RevGest.pdf BibTex

2016

titre
ControllAR: Appropriation of Visual Feedback on Control Surfaces
auteur
Florent Berthaut, Alex Jones
article
Interactive Spaces and Surfaces, ACM, Nov 2016, Niagara Falls, Canada. ⟨10.1145/2992154.2992170⟩
Accès au texte intégral et bibtex
https://hal.science/hal-01356239/file/ControllAR.pdf BibTex
titre
BOEUF: A Unified Framework for Modeling and Designing Digital Orchestras
auteur
Florent Berthaut, Luke Dahl
article
Lecture Notes in Computer Science, 2016, Music, Mind, and Embodiment, 9617, pp.153 - 166. ⟨10.1007/978-3-319-46282-0_10⟩
Accès au texte intégral et bibtex
https://hal.science/hal-01380373/file/Boeuf.pdf BibTex
titre
Spatial Interfaces and Interactive 3D Environments for Immersive Musical Performances
auteur
Florent Berthaut, Martin Hachet
article
IEEE Computer Graphics and Applications, 2016, 36 (5), pp.82 - 87. ⟨10.1109/MCG.2016.96⟩
Accès au texte intégral et bibtex
https://inria.hal.science/hal-01374911/file/CGA.pdf BibTex
titre
ControllAR
auteur
Florent Berthaut
article
2016, ⟨swh:1:dir:c3ba45aad8444ad0fa857758e6639ea2a4165d99;origin=https://hal.archives-ouvertes.fr/hal-04398710;visit=swh:1:snp:cc1748d87057b256114ba84868a3a40d62795d56;anchor=swh:1:rel:25f607d4bad7ef146e2e18d0c8ab2431b0a8ddda;path=/⟩
Accès au texte intégral et bibtex
https://hal.science/hal-04398710/file/controllar-master.zip BibTex

2015

titre
Dynamir : Optical Manipulations using Dynamic Mirror Brushes
auteur
Florent Berthaut, Deepak Ranjan Sahoo, Jess Mcintosh, Diptesh Das, Sriram Subramanian
article
ACM International Conference on Interactive Tabletops and Surfaces,, Nov 2015, Madeira, Portugal
Accès au texte intégral et bibtex
https://hal.science/hal-01222512/file/Dynamir.pdf BibTex
titre
Interaction musicale numérique. Recréer les signaux du contrôle et de la perception
auteur
Florent Berthaut, Myriam Desainte-Catherine
article
Traitement du Signal, 2015, 32 (4), pp.345-363. ⟨10.3166/ts.32.345-363⟩
Accès au bibtex
BibTex
titre
BOEUF : a Unified Framework for Modeling and Designing Digital Orchestras
auteur
Florent Berthaut, Luke Dahl
article
International Symposium On Computer Music Multidisciplinary Research, Jun 2015, Plymouth, United Kingdom
Accès au texte intégral et bibtex
https://hal.science/hal-01222396/file/Boeuf.pdf BibTex
titre
Liveness Through the Lens of Agency and Causality
auteur
Florent Berthaut, David Coyle, James Moore, Hannah Limerick
article
International Conference on New Interfaces for Musical Expression, May 2015, Baton Rouge, United States
Accès au texte intégral et bibtex
https://hal.science/hal-01170032/file/paper_272.pdf BibTex
titre
Reflets: Combining and Revealing Spaces for Musical Performances
auteur
Florent Berthaut, Diego Martinez Plasencia, Martin Hachet, Sriram Subramanian
article
New Interfaces for Musical Expression (NIME), May 2015, Baton Rouge, United States
Accès au texte intégral et bibtex
https://inria.hal.science/hal-01136857/file/paper_190.pdf BibTex
titre
Rivill
auteur
Florent Berthaut
article
2015, ⟨swh:1:dir:3d308510d91628f48f31b117a27e00e63710c09c;origin=https://hal.archives-ouvertes.fr/hal-04398695;visit=swh:1:snp:6604ce09a297f1d63d32cc4b7229f567c5781fa5;anchor=swh:1:rel:80e0f63d083ea31f7b76974f8157ba75117468cc;path=/⟩
Accès au texte intégral et bibtex
https://hal.science/hal-04398695/file/rivill-main.zip BibTex

2014

titre
Through the Combining Glass
auteur
Diego Martinez, Florent Berthaut, Abhijit Karnik, Sriram Subramanian
article
ACM Symposium on User Interface Software and Technology, Oct 2014, Honolulu, United States
Accès au bibtex
BibTex
titre
Scenography of immersive virtual musical instruments
auteur
Florent Berthaut, Victor Zappi, Dario Mazzanti
article
VR Workshop: Sonic Interaction in Virtual Environments (SIVE), 2014 IEEE, Mar 2014, Minneapolis, United States. ⟨10.1109/SIVE.2014.7006285⟩
Accès au texte intégral et bibtex
https://hal.science/hal-01222454/file/sceno.pdf BibTex

2013

titre
Les Passages : Une métaphore pour la Collaboration Musicale en Réalité Virtuelle
auteur
Pierre-Marie Plans, Florent Berthaut
article
25ème conférence francophone sur l'Interaction Homme-Machine, IHM'13, Nov 2013, Bordeaux, France
Accès au texte intégral et bibtex
https://inria.hal.science/hal-00879603/file/plans.pdf BibTex
titre
Atelier: Quelles interfaces pour combiner l' écriture et la manipulation dynamique du temps dans les systèmes musicaux interactifs ?
auteur
Florent Berthaut, Myriam Desainte-Catherine, Joan Bages I. Rubi, Dominique Fober
article
25ème conférence francophone sur l'Interaction Homme-Machine, IHM'13, Nov 2013, Bordeaux, France
Accès au texte intégral et bibtex
https://inria.hal.science/hal-00881021/file/4-4.pdf BibTex
titre
Rouages: Revealing the Mechanisms of Digital Musical Instruments to the Audience
auteur
Florent Berthaut, Mark T. Marshall, Sriram Subramanian, Martin Hachet
article
New Interfaces for Musical Expression, May 2013, Daejeon, South Korea. 6 p
Accès au texte intégral et bibtex
https://hal.science/hal-00807049/file/rouages.pdf BibTex
titre
libTuile : un moteur d'exécution multi-échelle de processus musicaux hiérarchisés
auteur
Florent Berthaut, David Janin, Myriam Desainte-Catherine
article
Journées d'Informatique Musicale, May 2013, Saint-Denis, France. pp.45-50
Accès au texte intégral et bibtex
https://hal.science/hal-00790792/file/RR1468-13.pdf BibTex
titre
The T-Calculus : towards a structured programing of (musical) time and space
auteur
David Janin, Florent Berthaut, Myriam Desainte-Catherine, Yann Orlarey, Sylvain Salvati
article
FARM 2013, 2013, Boston, United States. pp.23-34, ⟨10.1145/2505341.2505347⟩
Accès au texte intégral et bibtex
https://hal.science/hal-00789189/file/RR1466-13.pdf BibTex
titre
Multi-scale design of interactive music systems : the libTuiles experiment
auteur
David Janin, Florent Berthaut, Myriam Desainte-Catherine
article
SMC 2013, 2013, Stockholm, Sweden. pp.123-129
Accès au texte intégral et bibtex
https://hal.science/hal-00813313/file/RR-1471-13.pdf BibTex

2012

titre
Advanced Synchronization of Audio or Symbolic Musical Patterns: An Algebraic Approach
auteur
Florent Berthaut, David Janin, Benjamin Martin
article
ICSC, Sep 2012, Palermo, Italy. pp.202-209, ⟨10.1109/ICSC.2012.11⟩
Accès au texte intégral et bibtex
https://hal.science/hal-00698963/file/RR-1461-12.pdf BibTex
titre
Beyond the Tunnels: Advanced 3D graphical modulation
auteur
Florent Berthaut
article
2012 IEEE Symposium on 3D User Interfaces (3DUI), Mar 2012, United States. pp.139-140
Accès au texte intégral et bibtex
https://hal.science/hal-00793580/file/advanced_tunnels.pdf BibTex
titre
Advanced Synchronization of Audio or Symbolic Musical Patterns: An Algebraic Approach
auteur
Florent Berthaut, David Janin, Benjamin Martin
article
International Journal of Semantic Computing, 2012, 6 (4), pp.409-427. ⟨10.1142/S1793351X12400132⟩
Accès au texte intégral et bibtex
https://hal.science/hal-00794196/file/RR-1461-12-V2.pdf BibTex

2011

titre
Interacting with 3D Reactive Widgets for Musical Performance
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
Journal of New Music Research, 2011, 40 (3), pp.253-263
Accès au texte intégral et bibtex
https://hal.science/hal-00633750/file/11jnmr.pdf BibTex
titre
First Person Shooters as Collaborative Multiprocess Instruments
auteur
Florent Berthaut, Haruhiro Katayose, Hironori Wakama, Naoyuki Totani, Yuichi Sato
article
New Interfaces for Musical Expression, May 2011, Oslo, Norway. pp.44-47
Accès au texte intégral et bibtex
https://hal.science/hal-00631782/file/nime11.pdf BibTex

2010

titre
Construction, manipulation et visualisation de processus sonores dans des environnements virtuels immersifs pour la performance musicale
auteur
Florent Berthaut
article
Informatique [cs]. Université Sciences et Technologies - Bordeaux I, 2010. Français. ⟨NNT : ⟩
Accès au texte intégral et bibtex
https://theses.hal.science/tel-00573382/file/memoire.pdf BibTex
titre
Drile: An Immersive Environment for hierarchical live-looping
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
New Interface for Musical Expression, Jun 2010, Sydney, Australia. page 192
Accès au texte intégral et bibtex
https://hal.science/hal-00530071/file/drile.pdf BibTex
titre
Combining audiovisual mappings for 3D musical interaction
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
International Computer Music Conference, Jun 2010, New york, United States. p 100
Accès au texte intégral et bibtex
https://hal.science/hal-00530076/file/mappings.pdf BibTex
titre
Piivert: Percussion-based Interaction for Immersive Virtual EnviRonmenTs
auteur
Florent Berthaut, Martin Hachet, Myriam Desainte-Catherine
article
Symposium on 3D User Interfaces, Mar 2010, United States. p 15-18
Accès au texte intégral et bibtex
https://hal.science/hal-00522637/file/berthaut.pdf BibTex

2009

titre
Analyse de l'influence des systèmes de visualisation immersif sur l'assemblage virtuel de fragments en archéologie
auteur
Nicolas Mellado, Patrick Reuter, Florent Berthaut
article
4ème Journées de l'Association Française de Réalité Virtuelle, Dec 2009, Lyon, France. p83
Accès au texte intégral et bibtex
https://hal.science/hal-00576884/file/template.pdf BibTex
titre
Opportunistic Music
auteur
Martin Hachet, Arash Kian, Florent Berthaut, Jean-Sébastien Franco, Myriam Desainte-Catherine
article
JVRC 2009 (EGVE - ICAT - EuroVR), Dec 2009, Lyon, France
Accès au texte intégral et bibtex
https://inria.hal.science/inria-00406390/file/opportun.pdf BibTex
titre
Interaction with the 3D reactive widgets for musical performance.
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
Brazilian Symposium on Computer Music (SBCM09), Sep 2009, Recife, Brazil. pp.0
Accès au texte intégral et bibtex
https://hal.science/hal-00413339/file/berthaut-desainte_catherine-hachet-3D_reactive_widgets.pdf BibTex

2008

titre
Widgets Réactifs 3D pour l’interaction musicale
auteur
Florent Berthaut, Myriam Desainte-Catherine, Martin Hachet
article
Journées d'informatique musicale, GMEA, Mar 2008, Albi, France. pp.87
Accès au texte intégral et bibtex
https://hal.science/hal-00354898/file/Widgets_Reactifs_3D-berthaut-desainte-catherine-hachet.pdf BibTex

2007

titre
Interaction 3D pour la musique
auteur
Florent Berthaut, M. Desainte-Catherine, Martin Hachet
article
Actes des 2emes Journées de lAFRV, 2007, France. pp.75 -- 81
Accès au bibtex
BibTex