Les réseaux de neurones formels et le connexionnisme

La question fondamentale du connexionnisme est :

comment rendre compte des processus cognitifs à partir d'un ensemble d'unités, dotées chacunes d'une faible puissance de calcul et interconnectées en réseau ?

La définition de réseaux de neurones formels et l'expérimentation menée sur ces réseaux permettent d'étudier et de tester cette hypothèse.

Quelques étapes dans la formalisation des réseaux de neurones :

• Première définition d'un neurone formel par McCulloch et Pitts en 1943
• Les percepts ou concepts sont physiquement représentés dans le cerveau par l'entrée en activité (simultanée) d'une assemblée de neurones (Donald Hebb, 1949). L'hypothèse concurrente est la spécialisation de certains neurones dans des taches cognitives complexes (cf le fameux neurone ``grand-mère'').
• deux neurones entrant en activité simultanément vont être associés (c'est-à-dire que leur contacts synaptiques vont être renforcés). On parle de loi de Hebb et d'associationnisme
• Le perceptron de Frank Rosenblatt (1958) : le premier modèle pour lequel un processus d'apprentissage a pu être défini.
• Le livre de Minski et Papert "Perceptrons" (1969). Cet ouvrage contient une étude critique très complète des perceptrons. On lui reproche parfois violemment d'avoir sonné le glas des recherches sur les réseaux neuronaux dans les années 70, ce que nient leurs auteurs. Ce livre a été réédité en 1980, avec des ajouts et corrections manuscrites dans les marges, sans doute pour qu'on ne puisse pas les accuser de camoufler la première version du texte !
• l'algorithme de rétropropagation du gradient dans les réseaux multi-couches découvert au début des années 80
• le modèle de Hopfield (1982) : mémoire associative et attracteurs.
• la machine de Boltzman (1985)
• les réseaux auto-constructifs

Nous n'étudierons dans ce cours qu'une version simplifiée du Perceptron, ancêtre des réseaux de neurones formels et brique de base des modèles plus complexes, et l'algorithme de rétropropagation du gradient appliqué aux réseaux multicouches, le premier modèle vraiment convaincant.