Christophe Lecerf
ECArt/LRIA
L'intensification de la recherche autour des modèles connexionnistes s'est accompagnée d'une multiplication du nombre de modèles proposés dans la littérature [1, 4, 5, 8, 9, 10, 11, 15, 16, 17, 19, 20]. Chacun de ces modèles est adapté à la représentation et à la résolution d'une classe de problèmes (par exemple la classification, la représentation de séquences temporelles,...), et cette diversité fait apparaître une lacune : fort peu de modèles sont dotés de mécanismes et d'une architecture tels qu'ils permettent la construction modulaire et incrémentale de réseaux. Nous proposons dans cet article une approche théorique du problème qui répond à cette préoccupation.
D'autre part, la mise en oeuvre de ces modèles, c'est-à-dire le principe du mécanisme interne de chacun d'eux, introduit le plus souvent une distinction1 des phases d'acquisition (apprentissage) et de reconnaissance (exploitation des acquis) [-c'est le cas en particulier de la Machine de Boltzmann [9], du recuit simulé [10], et de la rétro-propagation de gradients [15], à l'exception notable du CMAC [1] et de [8]-]. Cette propriété est certainement un avantage majeur pour la fidélité et la stabilité des résultats dans un problème de classification par exemple. Toutefois, elle apparaît comme un handicap certain pour l'utilisation d'un modèle connexionniste comme système de contrôle d'un robot (à l'image de la réalisation de [Albus 80]), car cette distinction empêche toute évolutivité en dehors d'une intervention extérieure, et fait poser la question de l'existence d'éventuels effets cachés liés aux choix des instants du changement de mode de fonctionnement (acquisition/exploitation). En réponse à ce problème, notre approche de l'apprentissage dans les réseaux cellulaires réalise l'unification des mécanismes permettant l'acquisition des représentations et la reconnaissance de ces représentations, conduisant ainsi à un apprentissage permanent et non supervisé.
Nous présentons ici un modèle du développement des représentations dans un réseau, c'est-à-dire une théorie de l'apprentissage et de la reconnaissance d'éléments extérieurs au réseau, qui surmonte les deux obstacles cités précédemment. La théorie et le modèle connexionniste correspondant portent le nom de NYMEI, et les représentations développées dans le réseau sont appelées des Objets Mentaux Nymei. Ce modèle est une illustration de la thèse de Hebb [7] et apporte, à travers une nouvelle technique d'apprentissage permanent non supervisé, l'identité des mécanismes d'acquisition et de reconnaissance des représentations, ainsi qu'une architecture modulaire, récurrente et incrémentale compatible avec la construction d'une machine.
Le chapitre II est consacré à la théorie des objets mentaux Nymei, et se compose de deux parties. La première donne une description succinte de la machine et de ses composants. La seconde partie expose les concepts initiaux de la théorie des objets mentaux proprement dite. On y trouvera la définition et la description du mode de constitution des objets mentaux Nymei.
Le chapitre III présente les propriétés des objets mentaux Nymei. On y verra pourquoi ces propriétés des objets mentaux décrivent le fonctionnement global d'une machine Nymei, et fournissent un cadre pour l'interprétation des comportements de cette dernière.
Nous concluons en montrant comment les machines Nymei répondent au problème d'un apprentissage automatique et permanent, et offrent des fonctionnalités multiples avec une architecture modulaire unifiée.
retour à la table des matières
Introduction .
La théorie des objets mentaux Nymei a été conçue simultanément au modèle connexionniste Nymei qui a été implanté en machine afin de vérifier les propriétés des Objets Mentaux prédites par la théorie. Ces travaux ont fait l'objet de publications antérieures ([12] et [13]).
La notion de niveau d'échelle d'observation revêt une importance particulière pour la bonne intelligence de notre approche. En effet, nous adoptons le principe selon lequel pour tout phénomène émergent à un niveau donné, les propriétés de ce phénomène sont l'expression d'interactions ou de propriétés propres des éléments d'un niveau inférieur à celui du phénomène observé. Par exemple, les propriétés de l'eau pure (liquide incompressible,...) découlent de la nature des molécules (H 2O) et des interactions entre ces molécules (force de Van der Waals,...). Dans cette perspective d'interactions entre éléments, la quantité devient une qualité puisqu'elle permet l'émergence d'épiphénomènes "inconcevables" par la connaissance du (des) comportement(s) microscopiques(s) de chacun des éléments et des interactions. En effet, les propriétés d'un ensemble (le niveau supérieur) sont conceptuellement différentes des propriétés de chaque élément du niveau inférieur, et ne sont pas forcément simplement réductibles aux seules propriétés strictes des éléments composant l'ensemble. En corollaire, il existe un effet de masque lors de l'observation d'un phénomène : l'observation de caractéristiques globales oblitère souvent l'observation directe des propriétés des éléments mis en jeu.
Nous exprimerons ce principe dans la démarche de notre exposé. Nous débuterons par la description du niveau le plus bas de la machine Nymei, les cellules, puis nous montrerons comment les propriétés de la machine découlent des caractéristiques de ces cellules et des relations entre celles-ci.
retour à la table des matières
Nous définissons ici les concepts qui fixent le cadre dans lequel se situe notre théorie. Une machine Nymei est essentiellement un réseau de neuromimes mis en relation avec un environnement au moyen d' interfaces . Nous étudierons le comportement de cette machine dans le temps, qui est observable au niveau des interfaces, et qui retrace l'histoire du réseau. Enfin, un réseau de neuromimes est composé de cellules indépendantes et identiques, et de connexions unidirectionnelles entre ces cellules.
Les interfaces et l'environnement.
Les interfaces doivent appartenir à l'une ou l'autre des catégories sensitive ou effectrice, chacune des catégories étant représentée et faisant partie intégrante de la machine. Nous distinguerons la machine de son environnement extérieur, en précisant dès à présent que ce dernier est indispensable pour son fonctionnement. Les interfaces de la machine forment son enveloppe, délimitant un espace intérieur et un monde extérieur. Les éventuelles relations câblées entre les interfaces font partie de la machine, elles sont internes à celle-ci.
La connexion
Une connexion est une liaison unidirectionnelle entre deux cellules, liaison qui assure le transfert des informations. Elle est orientée de l'émetteur vers la cible. La jonction entre la liaison et la cellule cible, et par extension la connexion, est caractérisée par un poids qui module l'information émise par la cellule émettrice. Ce poids introduit une modulation (comprise entre 0 et 1) de la valeur numérique véhiculée sur la liaison avant sa transmission effective à la cellule cible. L'effet de la modulation d'une connexion est une variation de la valeur fonctionnelle de celle-ci. Par exemple, une modulation à 0 provoque une valeur fonctionnelle nulle, comme si la connexion était inexistante. L'ensemble des connexions forme les chemins de circulation des informations dans le réseau, c'est-à-dire sa structure.
La cellule
Une cellule est toujours à l'origine de toutes les informations circulant dans le réseau. Au niveau des interfaces, les interfaces sensitives transmettent des informations correspondant à des événements extérieurs au moyen de cellules dont les caractéristiques sont comparables à celles du réseau. Une interface sensitive réalise la traduction en événement interne (un signal) d'un événement extérieur. De la même manière, une interface effectrice transforme un signal interne en une action réalisée dans l'environnement. Une cellule est représentée dans notre modèle par un automate à seuil doté d'un état interne, et produisant une information codée par une valeur numérique.
L'algorithme qui régit le comportement de l'automate est commun à toutes les cellules et contrôle d'une part l'évolution de l'état interne de la cellule, et d'autre part l'évolution des poids des connexions parvenant à la cellule (afférences), en fonction des informations afférentes reçues par la cellule. Chaque cellule reçoit en afférences des liaisons en provenance d'un nombre limité de cellules, et émet des liaisons (efférences) vers un nombre limité de cellules, autrement dit le graphe de connectivité décrivant le réseau n'est pas complet. Il n'existe pas de connexion d'une cellule sur elle- même, c'est-à-dire qu'il n'y a pas d'auto-excitation ou auto-inhibition possible.
Le réseau
Un réseau de cellules dispose au moment de sa construction d'un "héritage génétique" exprimé en termes de structure d'une part, et de capacité d'évolution d'autre part.
En effet, il reçoit par construction une structure initiale sous la forme de connexions établies entre les cellules, chacune étant dotée d'un poids qui lui est propre. Cette structure décrit les chemins de circulations potentiels du réseau. Par ailleurs, le réseau dispose de mécanismes au niveau cellulaire (l'algorithme régissant le comportement de l'automate) qui permettent de faire évoluer la valeur fonctionnelle de la structure initiale en modifiant les poids des connexions. C'est la structure du réseau qui va être le support de l'apprentissage, sous forme d'une modification de structure, témoin d'un apprentissage .
La structure initiale du réseau impose évidemment que ses évolutions se fassent à l'intérieur d'une enveloppe de variation finie, de même que les mécanismes cellulaires fixés par construction permettent, ou pas, l'obtention de telle ou telle évolution à partir d'une structure initiale. Ainsi, toutes les évolutions théoriquement possibles (calculables) à l'intérieur d'une enveloppe de variation n'ont pas la même probabilité d'apparition.
Le comportement
Le comportement d'une machine Nymei désigne par extension celui du réseau neuronal qui la constitue. Le comportement du réseau est la traduction au niveau externe, à l'échelle globale des interactions entre le réseau et son environnement, des interactions entre les cellules du réseau de neuromimes, qui sont des interactions internes à l'échelle du composant du réseau. Cette approche permet le suivi explicite de l'activité d'un réseau neuronal de manière globale, à un niveau d'observation extérieur au réseau, mais toujours représentatif de ses modifications internes. Le comportement est observable au niveau des interfaces de la machine sous forme d'informations physiques issues de (ou parvenant à) ces interfaces et en fonction du temps : c'est le régime d'échange entre le réseau et son environnement.
Les signaux échangés, leur signification et leur
effet global
La machine NYMEI établit un découplage entre la valeur
d'un signal intercellulaire et la signification de ce signal. Ainsi,
l'interprétation d'une information, c'est-à-dire sa
valeur fonctionnelle pour le réseau neuronal (traduite
notamment par une action sur l'environnement), est directement
liée au rôle fonctionnel du groupe cellulaire dont elle
est issue. Au contraire, la forme d'une information est unique dans
tout le réseau, indépendamment de la fonction des
groupes cellulaires, et se ramène à la valeur d'une
cellule codée sous forme d'un nombre.
Par ailleurs, les signaux échangés au sein du réseau ont un effet global sur celui-ci à travers le phénomène de débit circulant exposé plus loin (cf II.2.3 Le processus de constitution des objets mentaux). Là encore, dans la machine Nymei, le phénomène mesuré à grande échelle (le débit) est découplé de son support à l'échelle cellulaire.
retour à la table des matières
II.2.1 La rétroaction ou le couplage Machine-Environnement
Réaliser un apprentissage au travers d'une interaction nécessite clairement un couplage physique entre la machine et son environnement. Trois conditions réalisent celui-ci. Tout d'abord, il doit exister une relation entre le réseau et son environnement, c'est-à-dire qu'un échange d'informations au travers des interfaces est possible. Ensuite, la machine doit pouvoir exercer une action sur l'environnement par ses interfaces effectrices. Enfin, il existe une réaction de l'environnement sur la machine, perceptible par le réseau neuronal au travers de ses interfaces sensitives. Pour simplifier, nous dirons que les niveaux d'échelle des interfaces et de l'environnement doivent se recouvrir.
Au delà de cette acceptation classique, nous donnons un sens plus fort à cette notion de rétroaction. Dans la théorie Nymei, toute acquisition est le résultat d'un phénomène dynamique d'adaptation du réseau à l'environnement. Dans ce cadre, le couplage physique classique est doublé d'une action effective du comportement global du réseau, dans sa tentative d'adaptation à l'environnement, sur chacun de ses éléments constitutifs. Cet effet est l'expression de la validation par l'environnement de l'adaptation globale du réseau. Ainsi, le réseau s'adapte à l'environnement en même temps que l'environnement intègre l'action du réseau, et le régime d'échange se stabilise. Cette rétroaction est la sanction, au sens générique, de l'environnement sur le comportement adaptatif du réseau.
Disposer d'un vecteur explicite de la rétroaction de l'environnement sur le réseau est une condition élémentaire de l'apprentissage. Pouvoir identifier ce vecteur comme le signal circulant dans le réseau selon les mêmes voies et sous la même forme que le signal relatif au contenu de l'apprentissage est une propriété originale des réseaux Nymei. Une de ses conséquences est notamment le couplage indissociable entre fonction de l'acquisition et existence de son réseau support (cf plus loin §II.2.3 le support es objets mentaux).
Le vecteur concret de la rétroaction est, dans un réseau Nymei, l'exploitation de la double nature information/énergie des signaux circulants. Chaque signal circulant dans le réseau est ainsi une parcelle d'information sur l'environnement, et simultanément l'expression de la sanction de l'environnement sur l'apprentissage en cours dans le réseau. Le réseau Nymei est ainsi capable d'un apprentissage non supervisé, le vecteur de la rétroaction sur le réseau étant identifié et traité en tant que tel par le réseau.
A ce double rôle information/énergie des signaux circulants correspond un double rôle des cellules : traitement de l'information, comsommation d'énergie. Le traitement du signal/information permet l'acquisition du contenu de l'apprentissage, la consommation du signal/énergie permet la réalisation de l'apprentissage comme propriété émergente de la collectivité des composants du réseau.
Dans la théorie Nymei, où toute acquisition est le résultat d'un phénomène dynamique d'adaptation, le couplage physique classique est doublé d'une action effective du comportement global du réseau sur chacun de ses éléments constitutifs, expression de la validation par l'environnement de l'adaptation globale du réseau. Le couplage machine/environnement est compris dans un sens fort.
La théorie Nymei associe l'existence d'un Objet Mental à l'observation d'un régime d'échange stabilisé entre un réseau neuronal et son environnement. Un objet mental Nymei est ainsi associé à un comportement identifiable du réseau Nymei qui est le support matériel de cette représentation. Le comportement qui signe l'apparition d'un objet mental est l'expression qualitative de l'adaptation du réseau à son environnement. L'empreinte de l'environnement a été imprimée dans la structure du réseau. La structure est stabilisée et le flux d'échange aussi.
Un Objet Mental est la représentation dans le réseau d'un trait permanent de l'environnement modulo son expression sur les interfaces sensitives du réseau. Autrement dit, une propriété permanente de l'environnement, exprimée au niveau de l'interface sensitive, a imposé une évolution du réseau telle qu'il existe une trace de cette propriété dans le réseau. Lors de l'établissement pour la première fois de l'équilibre des échanges, nous dirons que cette image a été acquise et, dans ce cas, elle signe la capacité d'apprentissage. Nous appellerons activation d'un objet mental la réapparition ultérieure d'un équilibre lors d'une seconde apparition d'un même trait de l'environnement (voir propriété C dans la section III.2.1).
La constitution des objets mentaux résulte d'un processus
d'évolution spontané du réseau Nymei,
contrôlé seulement par les lois d'évolution des
éléments du réseau. Ce processus
d'évolution du réseau, quand il conduit à
l'établissement d'un équilibre dynamique dans
l'interaction
réseau/environnement, lequel se traduit par la stabilisation
des échanges entre le réseau et son environnement,
prouve l'apparition d'un Objet Mental dans le réseau (cf
définition § II.2.2). Ce simple critère
fonctionnel est opératoire pour qualifier une évolution
d'ensemble de chaque élément du réseau sous
l'effet des mécanismes cellulaires et des échanges avec
l'environnement.
L'objet mental doit être considéré comme une propriété émergente (épiphénomène) du réseau neuronal par rapport aux propriétés de ses constituants (cellules et connexions). Cette propriété n'existe qu'à l'échelle d'observation du réseau, et n'a pas de contrepartie (ni de sens) à l'échelle des cellules. Pourtant, sans les mécanismes d'évolution des cellules qui régissent l'évolution globale du réseau, il n'y aurait pas d'objets mentaux ; et de même, l'existence des objets mentaux favorise le fonctionnement des composants du réseau en maintenant un débit de circulation (cf plus loin : transfert des informations).
L'objet mental constitué est le résultat de l'action coopérative de toutes les cellules du réseau Nymei. Par ailleurs, l'objet mental favorise l'existence fonctionnelle du réseau. Objet mental Nymei et réseau Nymei sont de ce fait indissociables.
Le processus
Le processus de constitution des objets mentaux peut être décrit sous deux aspects fondamentaux, l'un externe et l'autre interne, complémentaires pour l'exposé de son fonctionnement, mais absolument simultanés et indissociables quand on considère dans le détail l'exécution du processus lui-même.
Du point de vue externe, de dynamique à grande échelle, un objet mental correspond à une stabilisation du flux des échanges entre le réseau et l'environnement, c'est-à-dire à la constitution d'une boucle de rétroaction réseau/environnement qui entretient l'équilibre atteint (dans la mesure où l'environnement lui-même est stable). Cette boucle de rétroaction du réseau sur lui-même, dépendante de la permanence de l'environnement et qui contribue à sa propre rémanence, conduit à une interprétation systémique du processus de constitution des objets mentaux sous forme d'équilibre dynamique de flux.
D'un point de vue interne, de structure à petite échelle, la stabilisation des échanges correspond à la stabilisation des poids des connexions et des échanges dans le réseau, c'est-à-dire à la stabilisation d'une structure dérivée de la structure initiale sous l'influence de l'environnement. Cette évolution des caractéristiques des connexions vers une structure stabilisée représente l'aspect connexionniste du processus de constitution des objets mentaux.
Bien que relevant de perspectives bien différentes, ces deux aspects sont indissociables car ils sont l'expression, aux deux niveaux d'échelle d'observation du réseau, d'un facteur unique, implanté au coeur des cellules et des connexions. Ce facteur est le mécanisme de transfert des informations dans le réseau, doté d'une double influence sur le flux et la structure. Il est le vecteur de la rétroaction réseau/environnement. Ce facteur assure le couplage intégral et permanent des phénomènes systémiques et connexionnistes dans la théorie Nymei (voir section III.2, propriétés C et F).
Le mécanisme de transfert des informations
Une analogie utile pour en saisir le mécanisme est de concevoir chaque signal transitant dans le réseau comme doté d'une double nature : fonctionnelle et énergétique. L'aspect fonctionnel correspond au comportement du réseau (rôle intégrateur d'informations de la cellule), l'aspect énergétique supporte la dimension correspondant à l'action en retour nécessaire à tout apprentissage. L'emploi du terme "énergétique" décrit bien que l'action en retour détermine l'existence même du réseau via le rôle de transmetteur de la cellule.
A la double nature du signal correspond un double rôle des cellules : traiter les informations / consommer et produire de l'énergie/information. Ce double rôle est à l'origine des couplages Objet Mental/réseau, fonction/existence, apprentissage non supervisé/adaptation à l'environnement (l'information est le vecteur du feedback).
Pour l'aspect "fonction" du signal, le neuromime Nymei est classique. Après collection, modulation et sommation des signaux reçus, on utilise une fonction à seuil et la cellule produit un signal propagé via ses efférences. Les afférences d'une cellule sont mises en compétition par l'existence d'un facteur de stabilisation disponible en quantité limitée. Cette caractéristique est l'équivalent informatique du phénomène biologique d'épigénèse ([3] et [6]) qui permet la stabilisation sélective des connexions les plus souvent utilisées de manière efficace, c'est-à-dire provoquant l'émission par la cellule d'un signal effectif. Ces connexions stabilisées modifient favorablement le débit d'informations car elles sont dotées d'une pondération plus proche de l'unité.
Pour l'aspect "énergétique" du signal, les cellules d'un réseau Nymei sont rendues dépendantes du flux circulant, plus précisément du nombre de signaux leur parvenant. Chaque cellule "consomme" une partie des signaux reçus avant même de les traiter. Dans ce cas, la valeur du signal reçu n'est pas prise en compte, seule son existence est signficative. La cellule traduit son niveau énergétique par un état interne, dont la quantité de signaux consommés au cycle suivant dépend.
Elles sont dotées d'un mécanisme tel que les connexions peuvent passer à un poids 0 (connexion non fonctionnelle) et les cellules à un état fonctionnel bloquant (pas de transmission des signaux reçus). Cette évolution défavorable est facilement obtenue, notamment quand on impose un environnement instable au réseau ou quand on supprime ses échanges avec l'environnement. Autrement dit, un réseau Nymei est programmé pour se déconnecter et "mourir". Ceci se produit dès que le débit atteint une limite inférieure minimale.
Le seul moyen pour le réseau d'échapper à cette disparition programmée est tout simplement de s'adapter à son environnement de manière à avoir des échanges réguliers avec lui. Une cellule "en bonne santé" transmet bien le résultat du traitement des stimuli reçus et remplit parfaitement son rôle de transmetteur dans le réseau, une cellule altérée transmet mal le résultat du traitement des stimuli reçus. Elle se comporte alors comme un frein à la propagation des stimuli dans le réseau, et à l'extrême, comme un blocage, diminuant de toutes façons le débit des informations dans le réseau. La dépendance des cellules et de la structure du réseau par rapport au débit d'informations circulant est une caractéristique importante du modèle Nymei. Cette dépendance a pour conséquence de lier organiquement le modèle physique et les objets mentaux qui apparaissent sur ce support (voir plus loin la section III.1).
L'effet en retour de l'objet mental sur chaque cellule du réseau
Les influences simultanées de ces deux caractéristiques, associées à la boucle de rétroaction réseau/environnement, ont pour conséquence un effet en retour sur chacune des cellules du réseau du comportement global du réseau. Cet effet en retour a pour vecteur le flux d'informations qui alimente les cellules et contrebalance leur dépendance par rapport à la quantité d'excitations reçues. En effet, toute émission d'informations du réseau neuronal vers l'interface effectrice produit, à travers celle-ci, une action qui provoque la réaction de l'environnement. L'interface sensitive traduit alors cette réaction en un flux d'informations qui se propage dans le réseau en réactivant les mécanismes d'évolution des poids et des états internes. Il en résulte qu'à un équilibre dynamique des échanges réseau/environnement correspond toujours un équilibre des influences internes faisant évoluer le réseau neuronal dans sa structure. La description externe systémique d'un réseau correspond donc toujours qualitativement à la description interne connexionniste de ce réseau. Il y a ainsi équivalence formelle stricte entre ces deux descriptions, systémique et connexionniste, d'un réseau Nymei.
La création des objets mentaux est un processus permanent et spontané.
Le processus de constitution des objets mentaux est permanent car il ne dépend que des caractéristiques des constituants du réseau (les cellules) et de l'histoire du réseau. Ce processus est aussi spontané, en ce sens qu'aucune intervention n'est nécessaire pour faire apparaître un objet mental une fois un réseau neuronal mis en relation avec un environnement. Ainsi, la création des objets mentaux Nymei est automatique.
Par rapport à ce processus interne au réseau qu'est l'activité cellulaire, l'objet mental lui-même est un épiphénomène, un "effet secondaire" perceptible à l'extérieur du réseau. De nombreuses propriétés de la machine à objets mentaux, examinées dans la section suivante de cet article, découlent du caractère automatique de ce processus de constitution et de la structure d'un objet mental.
retour à la table des matières
Nous avons présenté jusqu'alors les caractéristiques des composants d'un réseau Nymei qui sont des conditions nécessaires au processus de constitution d'un objet mental. Nous abordons maintenant l'aspect des relations nécessaires entre les composants pour l'apparition d'un objet mental, c'est-à- dire la description de la structure d'un objet mental.
Un réseau est le siège de transfert d'informations orientés dans le sens des connexions (voir figure 1). Nous appellerons niveau l'ensemble des cellules et de leurs connexions qui permet la propagation d'un stimulus d'un point à un autre du réseau. Un niveau constitue un chemin de circulation des informations dans le réseau, tout comme l'environnement constitue un chemin de circulation des informations à l'extérieur du réseau. Les deux chemins de circulations, interne et externe, repectivement propres au réseau et à l'environnement, sont supposés provoquer une transformation des informations. Dans l'environnement, cette transformation traduit la réaction de l'environnement à l'action de la machine Nymei.
La fermeture fonctionnelle.
La description faite plus haut permet d'introduire la notion de fermeture fonctionnelle . La fermeture fonctionnelle d'un niveau est le chemin de circulation des informations qui relie le point de sortie du niveau au point d'entrée de ce niveau. La fermeture fonctionnelle constitue un chemin de bouclage.
Le niveau inter-interfaces, la structure cablée de la machine Nymei.
Considérons les points particuliers de la machine Nymei que sont ses interfaces avec l'environnement. Les relations mécaniques réflexes, stables et induites par construction, entre certaines perceptions et certaines actions sont représentées par le niveau inter-interfaces. Dans ce chemin de circulation, les informations sont transformées mais le réseau n'est pas capable d'évolution par apprentissage. Les traitements appliqués aux informations sont cablés. Ce niveau représente la structure interne de la machine Nymei.
Ainsi, l'environnement de la machine représente la fermeture fonctionnelle externe du réseau, et les interfaces sont les points de passage des échanges machine/environnement. On décrit de la même manière la fermeture fonctionnelle du réseau Nymei (modifiable) via la structure interne (fixe) et l'environnement, et la fermeture fonctionnelle de la structure interne via le réseau modifiable et l'environnement.
Du point de vue de la signification (ou valeur fonctionnelle) des informations, cette construction en miroir est cohérente. En effet, la nature de l'environnement du réseau est indifférente car le seul vecteur des informations est la "valeur" d'une cellule. Autrement dit, la forme des informations en entrée d'un réseau sera toujours un signal cellulaire. Il en résulte qu'un réseau peut parfaitement représenter l'environnement d'un autre réseau, et en particulier qu'un niveau peut représenter l'environnement d'un autre niveau.
La double boucle.
Un objet mental Nymei peut être décrit comme une structure reposant sur trois chemins de circulations distincts, que nous assimilerons à des niveaux dans la suite. Nous désignerons ces niveaux par N1, N2, N3. Les relations entre ces niveaux sont telles que les informations produites en sortie (output) par le niveau N2 sont les informations d'entrée (input) des niveaux N1 et N3, et que les output de N1 et N3 forment l'input de N2 (voir figure 3a).
Un objet mental a donc une structure de double boucle, constituée de trois niveaux, dans laquelle chaque niveau voit sa fermeture fonctionnelle assurée par un autre niveau. Du fait de la nature dynamique du processus d'évolution interne du réseau, une telle structure introduit une interdépendance des trois niveaux. Si l'on suppose en effet que le niveau 1 est en fait un environnement réel extérieur à la machine Nymei (voir figure 3b), perçu au travers d'interfaces, alors l'évolution des niveaux 2 et 3 est régie par les caractéristiques de cet environnement. Dans ces conditions et après stabilisation des échanges entre le réseau et l'environnement, nous dirons que la boucle constituée de l'environnement et du niveau 2 est une image primaire de l'environnement, et que la boucle constituée de 3 et de 2 est une image secondaire de l'environnement. Dans cette description simplifiée, la structure interne de la machine Nymei, représentée par le niveau inter-interfaces décrit plus haut, est considérée comme intégrée à l'environnement. Cette simplification n'altère en rien le principe de la double boucle comme support de l'objet mental.
L'objet mental est un système attracteur
La structure d'un objet mental peut aussi être décrite comme deux boucles de rétroaction interpénétrées dont les évolutions sont étroitement dépendantes. Le caractère auto-entretenu de l'équilibre dynamique ainsi obtenu fait que chacune des boucles tend à accroitre la stabilité de l'autre, et donc celle du système tout entier. Un objet mental constitué apparaît ainsi comme un système attracteur vers un état stable. Toutefois, cette action d'attracteur ne saurait dépasser certaines limites de variation en dehors desquelles le système ne peut s'auto-entretenir et donc disparaît. Ce phénomène de bascule tout-ou-rien (existence-inexistence) est à l'origine de certaines propriétés des objets mentaux examinées plus loin (section II.3.2 de cet article).
retour à la table des matières
Nous présentons dans ce chapitre quelques propriétés importantes des objets mentaux qui découlent du processus de constitution de ceux-ci et de leur structure. Nous rappelons que ces propriétés peuvent être considérées comme des propriétés de la machine à objets mentaux car, d'une part, un objet mental est inconcevable sans un réseau pour le supporter et, d'autre part, l'inexistence physique d'un réseau est la conséquence de la non apparition d'un objet mental.
L'exposé des mécanismes de la constitution des objets mentaux Nymei a permis d'établir que l'existence d'un objet mental était indissociable de l'existence d'un réseau organisé qui est le support de cet objet mental. En fait, l'apparition d'un objet mental représente le cas favorable de l'évolution d'un réseau en interaction avec un environnement, c'est-à-dire le cas où cette évolution a conduit à l'établissement d'un régime d'échange permanent, un système auto-entretenu.
Examinons maintenant la situation dans laquelle il n'y a pas de stabilisation des échanges entre un réseau donné et son environnement, c'est-à-dire pas d'objet mental constitué pour ce réseau. Nous ferons quatre remarques. D'abord, il est évident que ce réseau n'a a priori aucune valeur fonctionnelle selon nos critères puisqu'il n'est le siège d'aucune représentation. Son étude de ce point de vue n'aurait aucun sens. Ensuite, l'absence de boucle de rétroaction rend ce réseau entièrement dépendant du débit d'informations disponible en entrée, lequel débit est sous l'influence exclusive de l'environnement du réseau considéré. Troisième remarque, la diminution de ce débit d'informations circulantes en dessous d'un certain seuil favorise par elle-même l'altération de l'état des cellules, et donc une diminution du débit auto-induite. Cette diminution du débit favorise en retour l'altération de l'état des cellules, et conduit irrémédiablement au passage de toutes les connexions et de toutes les cellules du réseau à un état bloquant le transfert d'informations. En d'autres termes, le réseau n'existe plus. Autrement dit, l'absence d'objet mental constitué fragilise le réseau et est susceptible d'entraîner sa disparition. L'incapacité à évoluer vers des échanges stabilisés peut être sanctionnée par une perte fonctionnelle dans le réeau, puis structurelle (état bloquant). Enfin, et ce sera notre quatrième remarque, il faut noter qu'un réseau non stabilisé, qui n'a pas de valeur fonctionnelle vis-à-vis de l'adaptation à l'environnement, peut quand même contribuer au fonctionnement de la machine tant qu'il produit des informations et participe ainsi au maintien d'un débit circulant minimum.
L'objet mental est le résultat d'une adaptation active
Le fait qu'un réseau Nymei soit "naturellement" destiné à disparaître, du fait des caractéristiques indiquées plus haut du mécanisme d'évolution inscrit dans les cellules (altération du débit notamment), appelle une autre conclusion importante. Il résulte en effet de ces caractéristiques que la constitution d'un objet mental est un processus d'adaptation actif à son environnement sous l'influence de celui-ci, la constitution de cet objet mental contribuant en retour à maintenir l'existence du réseau (qui le supporte) face à son environnement.
retour à la table des matières
Nous exposerons dans cette section les principales propriétés des objets mentaux et de la machine à objets mentaux. Nous insisterons sur le fait que ces propriétés découlent immédiatement de la nature des objets mentaux et de leur structure en classant les différentes propriétés en fonction de leur rapport de causalité.
L'impulsion
Notre première remarque sur la dimension temporelle des objets mentaux Nymei introduira la notion d' impulsion. L'impulsion est la durée de présence d'un trait dans l'environnement du réseau nécessaire à l'établissement du système attracteur correspondant à ce trait. Selon que ce trait a déjà fait l'objet d'un apprentissage ou pas, l'établissement du système correspond respectivement à l'acquisition et à l'activation de l'objet mental correspondant. Les impulsions nécessaires à l'acquisition et à l'activation d'un objet mental ont des durées différentes car les mécanismes mis en jeu sont différents. Pendant l'apprentissage, l'impulsion doit être grande car le réseau doit faire évoluer sa structure (les poids des connexions) jusqu'à l'apparition d'un système. La durée est donc le temps nécessaire à l'établissement d'un système. Après l'apprentissage, l'impulsion peut être beaucoup plus petite, car il suffit de provoquer le basculement d'un état stable vers un autre état stable qui a déjà existé. La durée de l'impulsion nécessaire est alors le temps de commutation du réseau d'un attracteur vers un autre attracteur.
La durée d'activation
Notre deuxième remarque introduira la notion de distance et de durée d'activation . La distance, mesurée en termes de nombre d'étapes d'intégration entre le système considéré et les interfaces de perception, a une influence considérable sur la durée d'activation de l'objet mental correspondant. En effet, un objet mental dont une des boucles de rétroaction passe par l'environnement externe de la machine dépend directement des propriétés exprimées de ce dernier. Toute modification des caractéristiques de cet environnement se traduit immédiatement par une modification des flux d'information et remet en cause le système attracteur de l'objet mental considéré. A l'inverse, un objet mental non directement lié à une structure sensitive sera plus indépendant de variations externes, et aura ainsi une durée d'activation rémanente plus longue. De plus, le caractère d'attracteur de l'objet mental lui confère une certaine inertie, et contribue ainsi à augmenter la durée de l'existence d'un système constitué par rapport aux conditions qui ont conduit à son établissement.
L'association temporelle
Enfin, et ce sera notre troisième remarque, l'objet mental permet l'association temporelle d'éléments hétérogènes d'origines diverses, il est essentiellement associatif. La simultanéité de deux événements est un des cas naturellement susceptibles de provoquer une association. Un autre cas est la fixation de séquences temporelles, chaque objet mental activé entrainant l'activation d'un autre objet mental selon le principe de la réaction en chaîne. Cette propriété représente une réponse au problème de la séquence d'actions identifié par [Albus 80] et pour lequel des modèles connexionnistes particuliers ont même été conçus ([4] et [11]).
Le mécanisme du niveau cellulaire et l'organisation du réseau sont seuls responsables de l'acquisition d'une représentation et de la reconnaissance ensuite de cette représentation. L'unicité du mécanisme implanté au niveau cellulaire qui supporte deux fonctions observables au niveau de réseau signe le caractère de propriété émergente de ces fonctions.
Par ailleurs, à cette propriété de reconnaissance correspond une autre propriété importante et intéressante, celle de comparaison . En effet, le réseau agit exactement comme un comparateur qui vérifie à chaque instant l'adéquation et la correspondance de deux flux. Dans l'exemple cité plus haut, il s'agissait de flux d'origines interne et externe. Toutefois, la fonction de comparateur peut être étendue à tout type de flux dans une machine Nymei, en particulier à des flux correspondant à deux images internes. Il est à noter que les modèles les plus généraux de l'apprentissage, par exemple ceux de [Albus 80], de [Changeux 83] et [Minsky 86], font appel à cette fonction de comparateur sans pouvoir, contrairement à Nymei, en rattacher l'origine au fonctionnement propre des modèles considérés.
Les objets mentaux ont une structure de double boucle (cf dans ce chapitre, la section 2.3), les deux boucles étant imbriquées par le partage d'un segment commun. Pour la bonne intelligence de l'exposé qui suit, il convient de rappeler la nature de ces boucles qui sont des chemins de circulation de la rétroaction de l'environnement d'une partie du réseau (un niveau par exemple) sur lui-même.
Nous appellerons opérande un trait statique de
l'environnement, c'est à dire un trait qui ne transforme pas
de manière active les informations produites par le
réseau, les input sont constants. La taille d'un objet solide,
comme un cube de bois, est un exemple de trait statique de
l'environnement car elle ne dépend pas de la force
exercée sur lui. Nous appellerons opérateur un
trait dynamique de l'environnement, c'est à dire une
propriété qui s'exprime par une transformation de
l'output du réseau avant sa transmission vers l'input.
Typiquement, un opérateur est une relation entre deux
éléments, ce qui est traduit par une relation qui lie
au moins deux éléments des vecteurs
d'informations output et input. La taille d'un objet mou, une
éponge par exemple, varie en fonction de la pression
exercée sur elle et les inputs successifs dans le
réseau seront dans ce cas variables.
La sélection d'une structure connexionniste correspondant à un objet statique découle directement du caractère déterministe des transitions lors de l'évolution du réseau. Un opérande se traduit par un input constant dans le réseau, et entraîne directement la stabilisation d'une structure à l'origine d'une image secondaire. La représentation sous forme d'objet mental d'un opérande est alors réalisée, et peut devenir le point de départ d'autres représentations.
L'acquisition d'une structure stabilisée dans le cas d'un opérateur, caractérisé par un input variable en fonction de l'output du réseau, met en jeu l'aspect dynamique de la constitution des objets mentaux. Comme nous l'avons vu précédemment, si les effets de la coopération entre les éléments au travers des mécanismes d'évolution du réseau n'entraînent pas l'apparition d'un système, alors il n'y a pas de représentation de l'opérateur dans le réseau. Si au contraire, ces effets conduisent à l'établissement d'un système, nous sommes alors ramenés au cas d'un input constant. Celui-ci est la conséquence d'un output lui-même constant, et tend à maintenir la constance de l'output. Cet état est obtenu après une période transitoire pendant laquelle input et output varient simultanément. Dans ce cas, la structure support de la représentation de l'opérateur est identique à celle de la représentation de l'opérande : il s'agit d'une double boucle de rétroaction. Le nombre de cellules et l'organisation nécessaires pour la fixation de l'image d'un opérande et celle d'un opérateur peuvent différer notablement, mais la structure de ces deux images est identique (voir figures 4a et 4b).
Toutefois ces deux représentations ont un rôle fonctionnel différent, l'opérateur représentant une perception de l'environnement plus abstraite que l'opérande. Leurs localisations dans une machine Nymei seront donc différentes, car correspondant à une spécialisation fonctionnelle particulière de l'un et l'autre des ensembles cellulaires. L'unicité de la forme des objets mentaux Nymei quel que soit le sens de ce qu'ils représentent, c'est-à-dire l'unicité de nature de leurs supports, permet d'envisager l'application spontanée d'opérateurs à des opérandes, c'est-à-dire la transformation d'images internes par des images internes. Le résultat de cette transformation peut lui-même conduire à la création de nouveaux objets mentaux, ou au simple renforcement (ou affaiblissement) d'autres objets et de structures pré-existantes.
retour à la table des matières
Le caractère incrémental des objets Nymei est lié à leur structure, ce qui rend notre modèle plus général que la proposition de [Dorffner 89] dans laquelle la construction incrémentale est liée à l'architecture du modèle. La composition d'objets (ou de parties d'objets) est possible structurellement soit de manière verticale, comme dans [Albus 80] mais elle est plus riche grâce au format unique des objets (propriété G), soit de manière horizontale sous forme d'associations (voir propriété C).
Nous terminerons cette présentation des propriétés de la machine à objets mentaux en remarquant que l'existence d'une fermeture fonctionnelle externe doublée d'une fermeture fonctionnelle interne est une condition nécessaire à l'apparition d'un apprentisage en fonction du comportement. Cette double fermeture est une caractéristique de la machine Nymei, et le reflet concret de la structure des objets mentaux Nymei.
retour à la table des matières
Ce chapitre présente les atouts du modèle Nymei de l'apprentissage en rattachant les propriétés de la machine à objets mentaux à la solution de problèmes identifiés.
Par son aspect connexionniste, le modèle Nymei tire bénéfice de l'utilisation parallèle d'un grand nombre de petits éléments simples (les cellules) pour réaliser des fonctionnalités complexes. D'autre part, l'aspect systémique du modèle permet de faire apparaître de nombreuses propriétés émergentes d'un tel ensemble de cellules.
C'est ainsi qu'avec un mécanisme d'évolution unique du réseau, la machine à objets mentaux :
La question du principe de réalisation de l'apprentissage automatique et permanent trouve ainsi une réponse dans la machine Nymei, en permettant une indépendance totale de chaque niveau composant la machine.
Par ailleurs, l'architecture d'une machine Nymei est décomposable de manière uniforme en structures de doubles boucles. A cette structure unique, on associe :
La machine à objets mentaux permet ainsi des fonctionnalités multiples avec une architecture unifiée . Enfin, son architecture incrémentale associée à un cadre théorique d'analyse unifié réduit considérablement les difficultés de réalisation d'une machine complexe .
retour à la table des matières
[1] ALBUS J.S. (1980)
Brains behaviour and robotics
Byte books, McGraw Hill 1980.
[2] CHANGEUX J.P. (1983)
L'homme neuronal
Fayard Paris 1983.
[3] Damasio A.R. (1995) L'erreur de Descartes, Editions Odile Jacob, Paris 1995.
[3b] DANCHIN A. et COURREGE P. et CHANGEUX J.P. (1973)
A theory of epigenesis of neural networks by selective stabilization
of synapses Proceedings of national academy of sciences of USA 70,
2974-2978 1973.
[4] DORFFNER G. (1989)
Cascaded associative networks for complex learning tasks.
in Neural Networks from models to applications.
PERSONNAZ L., DREYFUS G. editors, pp 244-253, I.D.S.E.T., Paris,
1989.
[5] FELDMAN J.A. et BALLARD D.H. (1981)
Computing with connections
University of Rochester, TR 72, April 1981.
[6] GOUZE J.L. et LASRY J.M. et CHANGEUX J.P. (1983)
Selective stabilization of muscle innervation during
developpement
Biological cybernetics 1983, vol 46, n°3 207-16.
[7] HEBB D. (1958)
Psychophysiologie du comportement
PUF Paris 1958
et The organization of Behaviour Wiley NYC 1949.
[8] HERAULT J. et ANS B. (1984)
Réseau de neurones à synapses modifiables :
décodage de messages sensoriels composites par apprentissage
non supervisé et permanent
CRAS Paris série III, 299 :13, p 525-528 1984.
[9] HINTON G.E. et SEJNOWSKI T.J. et ACKLEY D.H.
(1984)
Boltzmann Machine : constraint satisfaction networks that learn
Carnegie Mellon University, Technical Report CMU-CS-84-119 1984.
[10] HOPFIELD J.J. (1982)
Neural networks and physical systems with emergent collective
computational abilities Proceedings of the National Academy of
Sciences USA, 79, 2554-2558 1982.
[11] KUHN R.,van HEMMEN J.L., RIEDEL U. (1989)
Complex temporal association in neural nets.
in Neural Networks from models to applications.
PERSONNAZ L., DREYFUS G. editors, pp 289-298, I.D.S.E.T., Paris,
1989.
[12] LECERF C. (1985)
Un modèle incrémental et récursif des images
mentales.
Actes de Cognitva'85, Paris, 1985.
[13] LECERF C. (1987)
Contribution à la modélisation des réseaux
neuronaux et à l'apprentissage automatique dans les
ordinateurs parallèles.
Thèse pour le doctorat en informatique, Université
Paris VIII Vincennes, 1987.
[14] LE CUN Y. et FOGELMAN SOULIE F. (1986)
Modèles connexionnistes de l'apprentissage
Intellectica, revue de l'Association pour la Recherche Cognitive,
numéro spécial "Apprentissage et Machine" 1986.
[15] MINSKY M. et PAPERT S. (1969)
Perceptrons
M.I.T Press London 1969.
[16] MINSKY M. (1986)
The society of mind
Simon and Schuster, NYC 1986.
[17] ROSENBLATT F. (1962)
A comparison of several perceptron models
Self organizing systems 1962.
[18] RUMELHART D.E. et ZIPSER D. (1985)
Feature discovery by competitive learning
Cognitive Science 9, 75-112, 1985.