Les Smartwatches offrent aux gens une méthode privée pour recevoir des notifications sur leur environnement, comme un appel téléphonique, des alertes de santé ou une livraison de colis à venir.
Contents
SoundWatch
Des chercheurs de l’université de Washington ont mis au point SoundWatch, une application de surveillance intelligente destinée aux sourds, aux malentendants et aux malentendants qui souhaitent être informés des sons émis à proximité. Lorsque la smartwatch capte un son, l’utilisateur est intéressé, par exemple par une sirène, un bip de micro-ondes ou le gazouillis d’un oiseau – SoundWatch l’identifie et envoie à l’utilisateur un buzz convivial accompagné d’informations sur le son.
Informatique et l’accessibilité
L’équipe a présenté ces résultats le 28 octobre 2020 à la conférence de l’ACM sur l’informatique et l’accessibilité.
« Cette technologie permet aux gens de faire l’expérience de sons qui nécessitent une action – comme par exemple, prendre de la nourriture dans le micro-ondes lorsqu’il émet un bip. Mais ces appareils peuvent également améliorer l’expérience des gens et les aider à se sentir plus connectés au monde », a déclaré l’auteur principal Dhruv Jain, un étudiant en doctorat de l’UW à la Paul G. Allen School of Computer Science & Engineering. « J’utilise le prototype de montre pour remarquer le gazouillis des oiseaux et le bruit des chutes d’eau lorsque je fais de la randonnée. Cela me donne l’impression d’être présent dans la nature. J’espère que d’autres personnes sourdes et malentendantes qui s’intéressent aux sons trouveront également SoundWatch utile ».
L’équipe a commencé ce projet en concevant un système pour les personnes sourdes et malentendantes qui voulaient être en mesure de savoir ce qui se passait autour de leur maison.
HomeSound
Le premier système, appelé HomeSound, utilise les tablettes Microsoft Surface dispersées dans la maison qui agissent comme un réseau d’écrans interconnectés. Chaque écran fournit un plan de base de la maison et avertit l’utilisateur de la présence d’un son et de sa source. Les écrans affichent également les formes d’onde du son, pour aider les utilisateurs à identifier le son, et stockent un historique de tous les sons qu’un utilisateur aurait pu manquer lorsqu’il n’était pas chez lui.
Les chercheurs ont testé le système HomeSound dans les maisons de la région de Seattle de six participants sourds ou malentendants pendant trois semaines. Les participants ont été invités à mener une vie normale et à remplir des questionnaires hebdomadaires.
Sur la base des résultats, un deuxième prototype a utilisé l’apprentissage machine pour classer les sons en temps réel. Les chercheurs ont créé un ensemble de données de plus de 31 heures de 19 sons domestiques courants, tels qu’un aboiement de chien ou un miaulement de chat, les pleurs d’un bébé et un coup de porte.
Les chercheurs ont ensuite pivoté vers un système de surveillance intelligente, qui permet aux utilisateurs d’obtenir des alertes sonores où qu’ils soient, même dans des endroits où ils n’ont pas leur téléphone, comme au gymnase.
Comme les montres intelligentes ont des capacités de stockage et de traitement limitées, l’équipe avait besoin d’un système qui ne mange pas la pile de la montre et qui soit également rapide et précis. Les chercheurs ont d’abord comparé une version compressée du classificateur HomeSound à trois autres classificateurs de son disponibles. La variante HomeSound était la plus précise, mais aussi la plus lente.
Pour accélérer le système, l’équipe a demandé à la montre d’envoyer le son à un appareil plus puissant – le téléphone de l’utilisateur – pour la classification. Le fait qu’un téléphone classifie les sons et renvoie les résultats à la montre permet non seulement de gagner du temps, mais aussi de préserver la vie privée de l’utilisateur, car les sons ne sont transférés qu’entre les propres appareils de l’utilisateur.
Les chercheurs ont testé l’application SoundWatch en mars 2020, avant que l’État de Washington n’ordonne aux personnes de rester chez elles, avec huit participants sourds et malentendants de la région de Seattle. Les utilisateurs ont testé l’application à trois endroits différents sur le campus de l’Université de Washington ou dans ses environs : dans un bureau d’étudiant diplômé, dans un salon d’immeuble et à un arrêt de bus.
Les utilisateurs ont trouvé que l’application était utile pour leur faire savoir s’il y avait quelque chose à laquelle ils devaient prêter attention. Par exemple : qu’ils avaient laissé le robinet ouvert ou qu’une voiture klaxonnait. D’un autre côté, elle permettait parfois de mal classer les sons (en désignant une voiture qui passe par là comme de l’eau courante) ou était lente à avertir les utilisateurs (un utilisateur a été surpris par une personne entrant dans la pièce bien avant que la montre n’envoie une notification concernant l’ouverture d’une porte).
L’équipe développe également l’HoloSound, qui utilise la réalité augmentée pour fournir des légendes en temps réel et d’autres informations sonores grâce aux lunettes HoloLens.
« Nous voulons exploiter l’émergence d’une technologie d’apprentissage automatique de pointe pour créer des systèmes qui améliorent la vie des gens dans diverses communautés », a déclaré l’auteur principal Jon Froehlich, professeur associé à l’école Allen.
Une utilisation pour plus de sécurité
Un autre objectif actuel est de développer une méthode permettant de distinguer des sons spécifiques du bruit de fond, et d’identifier la direction d’où provient un son, comme une sirène.
Test en cours
L’application SoundWatch est en cours d’essai et sera bientôt disponible au public sous forme de téléchargement Android. D’ici là, les utilisateurs intéressés peuvent s’inscrire pour un test bêta. Les chercheurs sont impatients de recevoir des commentaires afin de rendre l’application plus utile.
« Le handicap est très personnel, et nous voulons que ces appareils permettent aux gens de vivre des expériences plus profondes », a déclaré M. Jain. « Nous cherchons maintenant des moyens de personnaliser ces systèmes pour répondre à leurs besoins spécifiques. Nous voulons que les gens soient informés des sons qui leur importent : la voix du conjoint ou le discours général, l’ouverture de la porte arrière ou de la porte avant, etc.