Détail du sujet

10/12/2018 Sujet 77 :  Interface d'une caméra DVS avec un réseau de neurones impulsionnels pour la vision
Auteur : Jean Martinet  Ecrire Site
(Responsable Informatique : Jean Martinet  Ecrire )

Le projet proposé se situe dans le domaine de la vision par ordinateur. Il porte sur sur la reconnaissance de motifs temporels dans les vidéos à l’aide de réseaux de neurones impulsionnels (Spiking Neural Networks, SNN). Il s’agit d’un type particulier de modèle de neurones, proche du modèle biologique, dans lequel les neurones émettent des impulsions sortantes (spikes) de manière asynchrone, en fonction des stimulations entrantes, asynchrones elles aussi. L’apprentissage avec de tels réseaux est non supervisé, et repose sur une règle “Spike-Timing Dependent Plasticity”, qui met à jour les poids synaptiques au cours d'une simulation en fonction des relations de cause à effet constatées entre les impulsions entrantes et sortantes. Le but de cette règle est le renforcement des connexions entrantes qui sont la cause des impulsions sortantes.

Nous nous intéressons aux données vidéo issues de capteurs non-conventionnels de type Dynamic Vision Sensor (DVS), qui se distinguent ainsi des capteurs vidéo classiques en cela qu’au lieu de produire des séquences d’images RGB ou niveau de gris, ils encodent les informations visuelles directement dans un format événementiel Address-Event Representation (AER).  Ce format encode de manière binaire, indépendamment pour chaque pixel, une variation de luminosité (positive ou négative). Ainsi, chaque variation p (polarité positive ou négative) d’un pixel (x,y) à l’instant (t) se traduit par un événement (x,y,t,p) transmis de manière asynchrone. Par conséquent, une scène immobile ne génèrera aucun événement (autrement dit, on ne “voit” que les mouvements), ce qui élimine une grande partie de redondance dans l’information. Le caractère asynchrone des SNN se prête bien au traitement de ce format : les événements générés par le capteur peuvent directement nourrir la couche d’entrée du réseau.

Nous avons développé dans l'équipe des modèles de SNN pour la vision à l'aide de la librairie BRIAN2 (écrite en Python). L'objectif de ce projet est d'interfacer notre capteur DVS (via la librairie jAER écrite en Java)  avec les modèles de SNN afin de tester les performances de ces modèles.

Liens associés :
Sujet non-attribué