Assas Recherche | Estimation du flux optique à partir des données issues des capteurs événementiels avec des réseaux de neurones impulsionnels

Estimation du flux optique à partir des données issues des capteurs événementiels avec des réseaux de neurones impulsionnels (Document en Anglais)

Accès au(x) document(s)

Accéder au(x) document(s) :

Ce document est protégé en vertu du Code de la Propriété Intellectuelle.

Modalités de diffusion de la thèse :

Thèse consultable sur internet, en texte intégral.

Informations sur les contributeurs

Auteur : Cuadrado Anibarro Javier

Cuadrado Anibarro, Javier

Nom

Cuadrado Anibarro

Prénom

Javier

Nationalité

Français

Date de soutenance : 24-09-2024

Directeur(s) de thèse : Masquelier Timothée

Masquelier, Timothée

Nom

Masquelier

Prénom

Timothée

Etablissement de soutenance : Université de Toulouse (2023-....)

Université de Toulouse (2023-....)

Nom

Université de Toulouse (2023-....)

Laboratoire : Centre de recherche Cerveau et Cognition (Toulouse ; 1993-....)

Centre de recherche Cerveau et Cognition (Toulouse ; 1993-....)

Nom

Centre de recherche Cerveau et Cognition (Toulouse ; 1993-....)

Ecole doctorale : École doctorale Mathématiques, informatique et télécommunications (Toulouse)

École doctorale Mathématiques, informatique et télécommunications (Toulouse)

Nom

École doctorale Mathématiques, informatique et télécommunications (Toulouse)

Informations générales

Discipline : Informatique et Télécommunications
Classification : Bibliothéconomie et sciences de l'information

Mots-clés libres : Apprentissage machine, Vision basée sur des événements, Bio-inspiration, Réseaux de neurones impulsionnels
Mots-clés :

Apprentissage automatique
Capteurs optiques
Vision artificielle (robotique)

Résumé : Ces travaux de thèse ont pour but le développement d'un modèle de vision artificielle prenant des données issues d'une caméra basée sur des événements pour l'estimation du flux optique dans la scène visuelle. Ce projet repose donc sur trois piliers : premièrement, le flux optique, grandeur associée à la fois à la profondeur et au déplacement relatif entre l'observateur et le monde autour de lui, et qui représente la distribution du champ de vitesses dans la scène visuelle. Cette grandeur, d'importance clé pour la navigation des animaux, est de plus en plus recherchée en vue de ses potentielles applications dans de nouvelles technologies telles que les voitures autonomes. Deuxièmement, les caméras basées sur des événements (EC), un type de capteur bio-inspiré dont les pixels fournissent une information sur les variations locales de la luminosité de façon asynchrone et en temps réel : une augmentation locale de la luminosité déclencherait un événement positif au pixel concerné, tandis qu'une diminution de la luminosité déclencherait un événement négatif. C'est en effet cette information temporelle qui rend les EC aussi intéressantes en tant que capteur pour la vision artificielle, et notamment pour des tâches temporelles telle que l'estimation du flux optique. Ce type de capteurs présente certains avantages par rapport aux caméras conventionnelles : latence inférieure, gamme dynamique très large et efficacité énergétique. Ces avantages sont mitigés par une résolution spatiale inférieure, ainsi que par un manque d'information sur la luminosité absolue dans la scène. Finalement, les réseaux de neurones impulsionnels (SNN) sont des algorithmes d'apprentissage profond composé de neurones bio-inspirées. D'une part les neurones impulsionnels sont dotés d'une mémoire au niveau de leur potentiel de membrane, d'autre part l'information n'est propagée que quand ce potentiel dépasse un certain seuil. Ces neurones sont caractérisés par leur efficacité énergétique quand déployés sur des puces dédiées, car une absence d'information se traduit dans une absence d'impulsions, et par conséquent dans une très faible consommation énergétique. Ainsi, la triade flux optique - EC - SNN se présente comme un système fermé et cohérent : des capteurs liés au mouvement (avec absence d'information si le déplacement relatif est nul), avec des neurones bio-inspirés à propriétés similaires, et tout cela appliqué pour l'estimation d'une grandeur essentiellement liée à la temporalité du mouvement. Nos travaux ont commencé par le développement d'un SNN capable d'estimer le flux optique à partir des données issues des EC. Finalement, nos efforts ont abouti à une publication en mai 2023 dans Frontiers en Neuroscience, introduisant le meilleur SNN de l'état de l'art pour cette tâche. Notre modèle, disponible dans https://github.com/J-Cuadrado/OF_EV_SNN, présente un SNN sans mémoire capable d'exploiter la temporalité des données évènementielles grâce à des convolutions le long de la dimension temporelle pour une représentation améliorée de cette information au niveau du bottleneck en augmentant son champ récepteur effectif. Nous avons continué nos travaux avec une étude sur l'intégration des images en niveau de gris dans un modèle plus complexe pour améliorer les performances du modèle. Bien que nos résultats aient été encourageants jusqu'à présent, nous n'avons pas encore réussi à systématiquement battre nos meilleurs résultats. Ainsi, il s'avère que l'information contenue dans des images standard pourrait en effet ne pas être nécessaire pour l'estimation du flux optique. Par conséquent, nous allons poursuivre nos travaux sur cette ligne de recherche, soit pour vérifier cette hypothèse, soit pour effectivement améliorer les performances de notre modèle grâce à l'exploitation d'une information bimodale.

Informations techniques

Type de contenu : Text
Format : PDF

Informations complémentaires

Entrepôt d'origine :

STAR : dépôt national des thèses électroniques françaises

Identifiant : 2024TLSES183
Type de ressource : Thèse