Accueil Général Tromper les voitures autonomes, un jeu d’enfant ?

Tromper les voitures autonomes, un jeu d’enfant ?

590
24
PARTAGER
Expérimentation pour tromper les algorithmes deep learning
Expérimentation pour tromper les algorithmes deep learning

Des chercheurs aux USA ont mis en évidence une grosse faiblesse des algorithmes par apprentissage profond utilisés dans les voitures autonomes. Pas forcément notées par les conducteurs, certaines modifications subtiles sur les panneaux peuvent induire les algorithmes en erreur. Erreurs potentiellement catastrophiques.

Les algorithmes neuronaux, force et faiblesse de la voiture autonome

L’un des grands chantiers des voitures autonomes est la reconnaissance de son environnement, véhicules, piétons mobilier urbains, et particulièrement des panneaux routiers. Or si les constructeurs et les sociétés qui développent les systèmes de reconnaissance font tout pour que ceux-ci soient les plus précis possible, d’autres cherchent (pour la bonne cause) à piéger les systèmes par des moyens complexes. Ou, comme ici, des moyens tellement enfantins que c’en est inquiétant.

Huit chercheurs de quatre universités américaines ont mis en commun leurs efforts pour berner les algorithmes par apprentissage profond (ou deep learning) des véhicules autonomes. En effet, actuellement, on utilise des réseaux neuronaux qui apprennent par expérience à reconnaître les panneaux. Pour cela, on donne à l’algorithme une base d’images classifiées qui représentent différents panneaux sous différents angles, lumière, usure, etc. Une fois l’apprentissage fait, l’algorithme est censé pouvoir se débrouiller dans toutes les situations, même celles auxquelles il n’a pas directement été confronté lors de l’apprentissage.

Modifications légères, conséquences fâcheuses

Pour l’expérience, les chercheurs ont pris un algorithme « classique » de classification des panneaux et lui ont fait passer la phase d’apprentissage sur une base restreinte de 17 panneaux seulement. Chaque panneau est présent dans la base d’apprentissage entre 92 et 500 fois pour un total de près de 4600 images de panneaux.

Les chercheurs ont prévu plusieurs « attaques » pour tromper l’algorithme de reconnaissance. La première consiste à reproduire un panneau (Stop en l’occurrence) en lui appliquant de subtiles modifications (de couleurs par exemple). Ce faux panneau est totalement lisible par un œil humain qui notera sans doute les variations de couleurs mais lira bien STOP. Or, l’algorithme testé se plante systématiquement et voit un panneau de limitation à 45 mph. Pire, l’algorithme est totalement sûr de lui, à plus de 70% dans pratiquement tous les cas. La voiture ne s’arrêterait donc certainement pas.

La deuxième attaque est sensiblement la même. Mais, ici, un panneau « tourner à droite » est recouvert partiellement. Seule la flèche est couverte d’un damier dégradé. Le dégradé est fait de telle manière que l’angle à 90° de la flèche est perturbé. Le reste du panneau n’est pas altéré et il est totalement reconnaissable…pour un humain. En revanche pour l’algorithme, il se transforme en panneau STOP ou en « ligne ajoutée ». Si le panneau « ligne ajoutée » se comprend (il s’agit d’un panneau jaune avec deux flèches au lieu d’une)à cause du dégradé perturbateur, le panneau STOP semble assez peu compréhensible. Pourtant, l’algorithme est là encore plutôt sûr de lui (entre 40 et 50%).

De simples autocollants

Les deux premières attaques supposent qu’il y a volonté de nuire (ou alors que les panneaux sont vraiment dégradés !). Mais, les deux autres attaques sont, malheureusement, des cas concrets que l’on croise dans la réalité. En effet, la troisième attaque consiste à apposer des autocollants (ici LOVE et HATE) qui viennent perturber la lecture du panneau. Pour un humain, le message principal « STOP » n’est pas altéré. Mais, une nouvelle fois, l’algorithme se trompe au-delà d’une certaines distance. A proche distance, il reconnait le panneau STOP mais avec une confiance plutôt faible, ou une hésitation entre deux possibilités.

La dernière attaque est encore plus commune puisqu’il s’agit d’apposer des autocollants noirs ou blancs sur le panneaux. Ces stickers de publicité ou « d’art » viennent brouiller la lecture de l’algorithme. Ce dernier se trompe dans 100% des cas, reconnaissant une limitation à 45. On notera tout de même que la seconde hypothèse est souvent le panneau STOP.

Des bases d’amélioration pour les voitures autonomes

Evidemment, le but des chercheurs n’est pas de démontrer que le véhicule autonome est dangereux. Ils cherchent à pointer les faiblesses possibles pour l’améliorer. Ils comptent d’ailleurs réaliser d’autres tests avec de nouvelles perturbations que l’on peut rencontrer tous les jours.

Il serait intéressant de confronter les véhicules autonomes (ou pseudo autonomes) avec ce genre de tests. Sera-ce un test Euro NCAP dans le futur ?

Source et illustration : « Robust Physical-World Attacks on Machine Learning Models » – pour lire la publication (en Anglais) en entier, c’est par > ICI <.

Poster un Commentaire

24 Commentaires sur "Tromper les voitures autonomes, un jeu d’enfant ?"

Notification de
avatar
Trier par:   plus récent | plus ancien | plus de votes
Juxee
Invité

Sujet intéressant… mais c’est sur que ce ne sera pas simple, c’est déja pas simple pour les humains quands les panneaux sont masqués, dégradés, ou placés à des endrois qui portent à confusion…
Quand la techno aura un certain niveau de maturité, je pense qu’il sera aussi interessant que les voitures puissent remonter automatiquement les cas qu’elles ont percu comme litigieux, ca peut être une bonne base de travail pour améliorer la signalisation réelle.

ART
Invité

On n’a pas fini de rire et de pleurer…

seb
Invité
Il ne faut jamais oublier qu’une machine (ordinateur, smartphone, voiture…) est bête par définition. Une machine fait bêtement ce qu’on lui demande. Si elle plante c’est qu’on lui demande de faire un truc pour lequel elle n’est pas prévue, un cas qui n’a pas été imaginé par l’humain qui l’a créé/programmé. Où j’hallucine un peu en lisant l’article, c’est que la voiture n’est même pas capable de reconnaitre une forme ou une couleur. Un gamin de maternelle sait faire la différence entre un octogone rouge et un carré jaune et on ne lui demande pas de conduire une voiture, par… Lire la suite >>
Will
Invité
C’est clair, il est bidon leur algorithme. Déjà en roulant, on « pré-sélectionne » les panneaux qu’on risque de rencontrer suivant la situation, le long d’une autoroute il est peu probable qu’il y ait un STOP, alors que c’est très probable à un croisement. Après comme tu le dis on détermine la forme et/ou la couleur (ça change déjà le degré d’importance qu’on donne au panneau, puis enfin on le décrypte complètement. Imaginez que tous les panneaux soient de simples textes noir sur fond blanc, sur une forme rectangulaire, on galèrerait bien aussi tout humain qu’on est. J’ose espérer que l’IA de… Lire la suite >>
gigi4lm
Invité

Plutôt que d’utiliser un système passif (lecture du panneau) on pourrait envisager un système communiquant, le panneau émettant un signal le définissant. Il serait « vu » par le véhicule qu’il soit caché ou dégradé.

samuel
Invité

Pas mal cette idée….faut vite que j´aille la breveté !!
A chaque fois que je vois un panneau stop en ville, je vois souvent des autocollants dessus comme « eat animals » etc..

seb
Invité

Même si l’idée est bonne je ne pense pas que ce soit envisageable dans un premier temps.
Il faudrait déjà avoir une norme de communication commune à toutes les marques, il faudrait ensuite changer tous les panneaux de circulation et amener l’électricité (via le réseau, un panneau solaire ou une mini éolienne) sur le moindre panneau en pleine cambrousse.

Georges
Invité

Donc ce n’est plus sur route ouverte non aménagée, de plus il faut gérer la panne du panneau émetteur qui arrivera toujours.

Will
Invité
Mais de toute façon, un panneau physique bien basique peut aussi tomber, donc il faut que les systèmes de la bagnole analysent l’environnement constamment et sous différents axes (cameras, capteurs, gps). Je me dis que le big data par GPS sera vraiment très utile. Faut juste pas que ça merde lors des changements en temps réel. S’il y a un obstacle, les premières voitures qui arrivent doivent le détecter sans se planter, puis en quelques véhicules, les données qu’elles auront envoyé pour signaler un ralentissement/déviation seront rapidement dispatchées aux autres véhicules (c’est déjà ce que fait google maps avec le… Lire la suite >>
eresse
Invité
Bonjour, dans ce cas, on aura un système actif avec le quel on peut interférer et éventuellement modifier la signification du message (je remplace le stop par un balise de priorité, bonjour le massacre). On pourrait avoir une cartographie extrêmement précise répertoriant tous les signaux en place mais bonjour la mise à jour et la sécurisation. Une simple modification à la base peut causer d’énormes préjudices humains. On envisage la communication inter véhicule (80211p) mais celle ci ne sera pas sécurisée. Se reposer sur l’analyse du véhicule précédant implique les mes risques que la panneau actif. Un mix pourrait être… Lire la suite >>
Not
Invité
Article intéressant, mais il serait encore mieux de comparer les résultats de ces réseaux de neurones avec des lectures humaines. Et la, je parie qu’il y aurait des surprises, car il est clair qu’en situation réelle, il y a un paquet de conducteurs qui ne voient pas les panneaux (en tout cas, on n’est pas à 100%). Et si on rajoute en plus tout ce qui les voient et qui n’en tiennent pas compte, on peut encore nettement augmenter le nombre. (car une voiture autonome, dans certains cas, ne verra pas un panneau stop mais si elle le voit, elle… Lire la suite >>
eresse
Invité

On pourrait croire que tu n’as jamais vu quelqu’un griller un stop intentionnellement

wpDiscuz