Dans une nouvelle étude publiée dans Nature Machine Intelligence*, les chercheurs présentent une avancée significative vers une intelligence artificielle exploitable sur des appareils locaux tels que les smartphones et dans des applications de type réalité virtuelle, tout en protégeant la vie privée.
Ils démontrent comment des neurones semblables à ceux du cerveau, associés à de nouvelles méthodes d’apprentissage, permettent d’entraîner rapidement et de manière écoénergétique des réseaux de neurones à impulsions de grande envergure. Les applications potentielles vont de l’IA portable à la reconnaissance vocale et à la réalité augmentée.
Bien que les réseaux de neurones artificiels modernes constituent l’épine dorsale de la révolution actuelle de l’IA, ils ne sont que vaguement inspirés des réseaux de neurones biologiques réels, tels que notre cerveau. Cependant, le cerveau est un réseau bien plus vaste et écoénergétique, capable de réagir ultra-rapidement lorsqu’il est stimulé par des événements extérieurs.
Les réseaux de neurones à impulsions sont des types particuliers de réseaux de neurones qui imitent de manière plus étroite le fonctionnement des neurones biologiques: les neurones de notre système nerveux communiquent en échangeant des impulsions électriques et le font de manière parcimonieuse.
Implémentés dans des puces, appelées matériel neuromorphique, ces réseaux de neurones à impulsions promettent de rapprocher les programmes d’IA des utilisateurs, sur leurs propres appareils. Ces solutions locales sont bénéfiques pour la confidentialité, la robustesse et la réactivité. Les applications vont de la reconnaissance vocale dans les jouets et les appareils électroménagers, à la surveillance de la santé et à la navigation des drones, en passant par la surveillance locale.
Tout comme les réseaux de neurones artificiels classiques, les réseaux de neurones à impulsions doivent être entraînés pour bien accomplir ces tâches. Cependant, la manière dont ces réseaux communiquent pose de sérieux défis. « Les algorithmes nécessaires à cela requièrent beaucoup de mémoire informatique, nous permettant seulement d’entraîner de petits modèles de réseaux principalement pour des tâches plus petites. Cela freine jusqu’à présent de nombreuses applications pratiques de l’IA« , déclare Sander Bohté du groupe d’apprentissage automatique du CWI. Dans le cadre du projet Human Brain, il travaille sur des architectures et des méthodes d’apprentissage pour le traitement cognitif hiérarchique.
Imiter le cerveau en apprentissage
L’aspect apprentissage de ces algorithmes représente un grand défi, et ils ne peuvent rivaliser avec les capacités d’apprentissage de notre cerveau. Le cerveau peut facilement apprendre immédiatement à partir de nouvelles expériences, en changeant les connexions ou même en en créant de nouvelles. Le cerveau a également besoin de beaucoup moins d’exemples pour apprendre quelque chose et fonctionne de manière plus écoénergétique. « Nous voulions développer quelque chose de plus proche de la façon dont notre cerveau apprend« , explique Bojian Yin.
Yin explique comment cela fonctionne : si vous faites une erreur lors d’une leçon de conduite, vous en tirez immédiatement une leçon. Vous corrigez votre comportement sur-le-champ et non une heure plus tard. « Vous apprenez, pour ainsi dire, en intégrant la nouvelle information. Nous voulions imiter cela en donnant à chaque neurone du réseau de neurones un peu d’information qui est constamment mise à jour. Ainsi, le réseau apprend comment l’information évolue et n’a pas besoin de se souvenir de toute l’information précédente. C’est la grande différence avec les réseaux actuels, qui doivent travailler avec tous les changements précédents. La manière actuelle d’apprendre nécessite une énorme puissance de calcul et donc beaucoup de mémoire et d’énergie. »
Six millions de neurones
Le nouvel algorithme d’apprentissage en ligne permet d’apprendre directement à partir des données, rendant possible la mise en place de réseaux de neurones à impulsions beaucoup plus grands. En collaboration avec des chercheurs de l’Université de Technologie d’Eindhoven et du partenaire de recherche Holst Centre, Bohté et Yin ont démontré cela dans un système conçu pour reconnaître et localiser des objets.
Yin montre une vidéo d’une rue animée d’Amsterdam : le réseau de neurones à impulsions sous-jacent, SPYv4, a été entraîné de telle manière qu’il peut distinguer les cyclistes, les piétons et les voitures et indiquer exactement où ils se trouvent.
« Auparavant, nous pouvions entraîner des réseaux de neurones comptant jusqu’à 10 000 neurones ; maintenant, nous pouvons le faire assez facilement pour des réseaux avec plus de six millions de neurones« , déclare Bohté. « Avec cela, nous pouvons entraîner des réseaux de neurones à impulsions très performants comme notre SPYv4. »
Futur
Et où cela nous mène-t-il ? Maintenant que de telles solutions d’IA puissantes reposant sur des réseaux de neurones à impulsions existent, des puces sont en cours de développement pour exécuter ces programmes d’IA à très faible consommation d’énergie et finiront par apparaître dans de nombreux appareils intelligents, tels que les aides auditives et les lunettes de réalité augmentée ou virtuelle.
Bojian Yin, Federico Corradi et Sander M. Bohté : Accurate online training of dynamical spiking neural networks through forward propagation through time. Nature Machine Intelligence, 8 mai 2023. DOI: 10.1038/s42256-023-00650-4
