VT2022 IoAuT fiche

Auteurs

Lola Drouin - lola.drouin@etu.univ-grenoble-alpes.fr

Théo Teyssier - theo.teyssier@etu.univ-grenoble-alpes.fr

Résumé

L’internet des objets (IoT) permet à un large éventail d'appareils de communiquer entre eux. Au cours des dernières années, ce domaine s’est élargi aux champs de la musique, de l'audio et du multimédia. Le domaine de l’Internet des Objets Audio (IoAuT) s’est ainsi développé. L’IoAuT est donc une spécification de l’IoT qui se concentre sur les applications audio. Les systèmes IoAuT s’appuient sur différentes technologies pour fonctionner. Toutefois, l’IoAuT est encore un domaine émergent. En tant que tel, il doit faire face à de nombreux défis. Il hérite notamment de nombreux challenges de l’IoT et doit faire face à des problèmes d’interopérabilité et de sécurité et confidentialité des données.

Mots clés

IoAuT, IoT, Réseau de capteurs, communication sans fil, confidentialité des données

Abstract

The Internet of Things (IoT) enables a wide range of devices to communicate with each other. In recent years, this field has expanded to include music, audio and multimedia. The field of the Internet of Audio Objects (IoAuT) has thus developed. IoAuT is therefore an IoT specification that focuses on audio applications. IoAuT systems rely on different technologies to operate. However, IoAuT is still an emerging field. As such, it faces many challenges. In particular, it inherits many of the challenges of the IoT and faces issues of interoperability and data security and privacy.

Keywords

IoAuT, IoT, Sensors network, wireless communication, data confidentiality

Présentation de l’internet des objets audio

L'Internet des objets audio, Internet of Audio Things (IoAuT) en anglais, est un domaine émergeant positionné à l'intersection de l'Internet des objets, de l'interaction homme-machine, et de l'intelligence artificielle appliquée aux contextes audio. Il peut être considéré comme une spécialisation de l’IoT dont l'un des principaux objectifs est de permettre le traitement et la transmission de données et d'informations audio.

L’Internet des Objets (IoT) décrit l'augmentation des objets physiques du quotidien qui s’interconnectent et échangent des données à l'aide des technologies de l'information et de la communication.

Ces dernières années l’IoT s’est répandu dans le domaine de la musique, de l’audio et du multimédia. De plus, de nombreuses applications IoT recoupant les domaines de l'informatique sonore et musicale et de l'audio sémantique sont apparues. Avec ces nouveaux champs d’intérêt, les domaines de l’IoMT, IoMusT et IoAuT ont émergé.

L’IoAuT peut être considéré comme un sous-domaine de l'Internet des objets multimédias (IoMT). En effet, l’IoMT décrit un réseau d'objets capables de détecter, d'acquérir, d'actionner ou de traiter des médias ou des métadonnées. Il traite donc différents aspects du multimédia tandis que l’IoAuT se concentre sur les applications audio. Ainsi, l’IoAuT se définit comme un ensemble d'interfaces, de protocoles et de représentations d'informations qui permettent des services et des applications pour la communication d'informations relatives à l'audio dans les domaines physiques et/ou numériques.

Comme l’IoT, l’IoAuT peut s’organiser en écosystème comportant 3 composants principaux :

• Objets audio : Entités qui peuvent être utilisées pour produire du contenu audio ou pour analyser des phénomènes associés à des événements audio. Ils peuvent être connectés à un réseau local et/ou distant et agir comme émetteur et/ou récepteur.
• Connectivité : Permet la communication entre les objets audio. L'interconnexion d’objets audio sur des réseaux locaux et/ou Internet est réalisée au moyen de technologies matérielles et logicielles. Il existe un grand nombre de normes et de protocoles régissant la communication parmi lesquels les organisations peuvent choisir.
• Applications et services : Ciblent différents utilisateurs en fonction de l'objectif des objets audio. Les services peuvent être utilisés par des objets audio via des API Web. Les applications font partie d'une couche supérieure de l'architecture Web des Objets audio. Elles permettent aux utilisateurs d'interagir directement avec les objets audio.

Les flux de données peuvent être de 2 types :

• Flux provenant de l’objet audio : Flux audio et messages constitués de caractéristiques extraites des signaux audio capturés par les microphones de l'objet audio ou d'autres capteurs produisant un signal audio.

• Flux arrivant à l’objet audio : Flux audio rendus sous forme de sons et messages de contrôles commandant les objets audio.

Technologies liées à l’IoAuT

L’IoAuT englobe et s’appuie sur différentes technologies et paradigmes.

L’une des technologies les plus importantes de l’IoAuT sont les réseaux de capteurs acoustiques sans fil, Wireless Acoustic Sensors Networks (WASNs). Les WASNs sont une technologie de nouvelle génération pour l’acquisition et le traitement audio. Ils utilisent un réseau composé d’un grand nombre de nœuds de faible puissance et peu coûteux basé sur des microphones. Ces nœuds sont capables de recueillir, traiter et transmettre des données de manière autonome. Ceci permet de couvrir une grande zone d’intérêt ainsi que de localiser des sources sonores ciblées et d’annuler, au besoin, les sources sonores interférentes. Cette technologie est utilisée dans différents cas comme la surveillance de nuisance sonore, celle de l’environnement ou de la faune.

L’audio sémantique est un domaine interdisciplinaire fournissant des techniques basées sur l’analyse de l’audio pour en extraire des informations significatives structurées. Ce concept est particulièrement important dans le cadre de l’IoAuT car il permet d’analyser et de comprendre le contenu des flux audio.

La technologie de transmission de données acoustiques d'appareil à appareil, fournit un moyen de communication de proximité entre des appareils colocalisés. Elle offre une alternative à des solutions plus répandues et courantes telles que les communications bluetooth. Les informations à transmettre sont codées en ultrasons inaudibles qui peuvent être captées par des microphones conventionnels.

L’API Web Audio permet la synthèse et le traitement du son en temps réel sur les navigateurs Web simplement en écrivant du code JavaScript. Il représente une base prometteuse pour la création d'applications audio distribuées telles que celles envisagées dans l'IoAuT.

Une autre technologie utilisée plus rarement dans le cadre de l’IoAuT est la sonification. La sonification est la transformation de données en signaux acoustiques non verbaux afin de transmettre ou percevoir des données.

Défis et limites

Bien que l’IoAuT soit un domaine prometteur, il doit faire face à de nombreux enjeux. En effet, l’IoAuT hérite de nombreux défis du domaine de l’IoT.

Ainsi l’IoAuT doit faire face à des contraintes techniques comme les contraintes de connectivité sans fil, la latence, des capacités de calculs réduites, la synchronisation des ressources de calculs distribuées ou encore la faible puissance des batteries des appareils mobiles.

Toutefois, les défis les plus importants auxquels l’IoAuT doit faire face sont l’interopérabilité de l’IoAuT et la confidentialité et la sécurité des données.

L’ioAuT est un domaine fragmenté. Les recherches se concentrent généralement sur des technologies individuelles ou des domaines d'application uniques isolés. Ce problème de fragmentation et de faible interopérabilité ralentit le développement de l’IoAuT. L’adoption d’une normalisation et de formats standardisés est donc nécessaire pour assurer l’interopérabilité et la fiabilité des systèmes IoAuT.

La protection de la vie privée apparaît également comme un défi majeur de l’IoAuT. Les objets audio sont omniprésents et collectent, analysent et échangent les données des utilisateurs. Il faut donc s’assurer de la confidentialité des données et régler le problème de la propriété de ces données. De plus, les objets audio sont soumis aux risques de sécurité des communications sans fil et au piratage matériel. Les objets audio devront donc assurer un cryptage robuste, ce qui pose le problème de la puissance de ces objets. Une norme de sécurité uniforme devra être développée pour assurer la sécurité des données.

Exemple d’application : le système SONYC

Un exemple d’application en cours de développement est le système SONYC. Le système SONYC ou Sounds of New York City est un projet visant à étudier et surveiller la pollution sonore dans les villes, ici l’objet d’étude est New York.

New York étant une des villes les plus densément peuplée d’Amérique du Nord, la ville est très soucieuse de la pollution sonore et a notamment mis en place un système d’appel pour la population afin d’indiquer et de se plaindre d’une pollution sonore. Le système est sur la base du volontariat et dépend d’agents qui doivent venir sur le terrain. Les agents doivent vérifier et réprimander la source des bruits, de ce fait le système n’est pas très efficace. Le projet SONYC vise à automatiser le processus de recueillement de sons.

Le projet SONYC projette la mise en place de dispositifs dans la ville de New York. Ils vont enregistrer les sons produits pendant 10 secondes à des intervalles aléatoires, traiter et analyser les différentes sources de bruits et leur intensité et envoyer ces données à un serveur permettant leur visualisation.

Actuellement une étude a déjà été mise en place de 2017 à 2018, à l’aide 56 dispositifs répartis entre Manhattan, Brooklyn, le Queens et Greenwich village. Ces dispositifs utilisent une raspberry Pi pour le contrôleur et un microphone MEMS. Et pour transmettre les informations au serveur ils étaient connectés en WIFI. Grâce à ce matériel, le coût d’un dispositif a été ramené à 80$ mais il est voué à baisser. L’analyse de sons s’est faite via une IA entraînée avec un algorithme k-means. Une compression est effectuée pour réduire le coût de la transmission avec l’algorithme de compression sans perte FLAC, et la transmission est sécurisée avec un algorithme RSA.

Ces dispositifs sont en train d’être améliorés. Premièrement au niveau des connexions des dispositifs. Actuellement ils doivent tous être connectés au réseau WIFI. Cependant pour parer le manque d’une connexion, le système est retravaillé pour pouvoir communiquer entre eux via un signal radio afin qu’un seul dispositif ait à être connecté au réseau WIFI.

Le but final serait de pouvoir avoir une carte avec des données en temps réel représentant la distribution des différents bruits dans une ville et de pouvoir mesurer l'efficacité de la mise en place de projets visant à réduire la pollution sonore. De plus, grâce au protocole encore en construction, ce projet pourrait constituer une des bases d’une communication IoAuT. Des réflexions en termes de sécurité et de transmission de l'information ont déjà été faites.

Références

Présentation générale de l’IoAuT:

Turchet, L., Fazekas, G., Lagrange, M., Ghadikolaei, H. S. & Fischione, C. (2020). The Internet of Audio Things : State of the Art, Vision, and Challenges. IEEE Internet of Things Journal, 7(10), 10233‑10249. https://doi.org/10.1109/jiot.2020.2997047

AudioLabs - Internet of Things in the audio domain. (s. d.). https://www.audiolabs-erlangen.de/research/iot

IoT:

Wikipedia contributors. (2022, 29 novembre). Internet of things. Wikipedia. https://en.wikipedia.org/wiki/Internet_of_things

Atzori, L., Iera, A. & Morabito, G. (2010b). The Internet of Things : A survey. Computer Networks, 54(15), 2787‑2805. https://doi.org/10.1016/j.comnet.2010.05.010

van Kranenburg, R. & Bassi, A. (2012). IoT Challenges. Communications in Mobile Computing, 1(1). https://doi.org/10.1186/2192-1121-1-9

WASN:

Bertrand, A. (2011). Applications and trends in wireless acoustic sensor networks : A signal processing perspective. 2011 18th IEEE Symposium on Communications and Vehicular Technology in the Benelux (SCVT). https://doi.org/10.1109/scvt.2011.6101302

Transmission de données acoustiques d'appareil à appareil:

Mehrabi, A., Mazzoni, A., Jones, D. & Steed, A. (2019). Evaluating the user experience of acoustic data transmission. Personal and Ubiquitous Computing, 24(5), 655‑668. https://doi.org/10.1007/s00779-019-01345-7

audio sémantique:

Wikipedia contributors. (2021b, juillet 1). Semantic audio. Wikipedia. https://en.wikipedia.org/wiki/Semantic_audio

Fazekas, G., Raimond, Y., Jacobson, K. & Sandler, M. (2010). An Overview of Semantic Web Activities in the OMRAS2 Project. Journal of New Music Research, 39(4), 295‑311. https://doi.org/10.1080/09298215.2010.536555

API Web Audio:

Introduction to the Web Audio API. (s. d.-c). ui.dev. https://ui.dev/web-audio-api

Sonification:

Wikipedia contributors. (2022a, mars 19). Sonification. https://fr.wikipedia.org/wiki/Sonification

Sonyc:

Association for Computing Machinery (ACM). (2019, 29 janvier). CACM Feb. 2019 - SONYC : A System for Monitoring, Analyzing, and Mitigating Urban Noise Pollution [Vidéo]. YouTube. https://www.youtube.com/watch?v=0JLRoqkj9rQ&feature=youtu.be

Bello, J. P., Silva, C., Nov, O., Dubois, R. L., Arora, A., Salamon, J., Mydlarz, C. & Doraiswamy, H. (2019). SONYC. Communications of the ACM, 62(2), 68‑77. https://doi.org/10.1145/3224204