CaptionBot L'auto-description de Microsoft

 

 

Avec CaptionBot, Microsoft dévoile son propre système d’auto-description

 

Source : H mag Magazine

Microsoft CaptionBot auto-description d'images

IA

Le système d’auto-description de Facebook n’a qu’a bien se tenir. Il n’a pas fallu plus d’une semaine à son rival Microsoft pour répondre avec sa propre invention : CaptionBot.

Une bonne occasion pour Microsoft de faire étalage de son savoir-faire en matière d’intelligence artificielle tout en se rattrapant de la débandade causée par les dérapages de son bot Tay sur les réseaux sociaux. Tout comme l’auto-description de Facebook, qui permet de légender des photos pour les aveugles, CaptionBot, est une intelligence artificielle qui analyse et digère les photos qu’on lui soumet pour leur attribuer une légende descriptive.

Le système de Microsoft opère en trois temps. Tout d’abord, le logiciel de vision API (Application Programming Interface) identifie les différents éléments composant la photographie, pour ensuite les soumettre aux données récoltées par son moteur de recherche Bing. Enfin, une fois repérés, les visages sont passés au crible de son Emotion API qui détecte les expressions du visage.

Le service des sciences cognitives de Microsoft (Microsoft Cognitive Services) avait déjà fait parler de lui en proposant une gamme de bots intelligents capables d’analyser des photos. Il y eut d’abord How Old Do I Look, un dispositif permettant, comme son nom l’indique, de déterminer avec plus ou moins de succès, votre âge à partir d’une photo. Un autre permet de retrouver la célébrité qui vous ressemble le plus. Mais soyons honnête, ces différents systèmes de reconnaissance élaborés par Microsoft sont loin d’être efficaces.

Nous avons pu tester nous-même la puissance de CaptionBot. D’abord il faut souligner les efforts réalisés par Caption Bot par rapport à ses camarades précédents. Celui-ci, rate moins souvent son coup, sans pour autant taper dans le mille… Si l’IA de Microsoft parvient à déterminer les éléments principaux qui constituent une photo, comme ce qui se trouve à l’arrière-plan (arbres, ciel, bâtiments), son expérience lui fait défaut, et elle ne rafle bien souvent que la moitié de la mise. Démonstration en images.

Ça, c’est ce que Microsoft prétend pouvoir savoir d’une image grâce à ses APIs :

microsoft API intelligence artificielle

Et, ça, ce sont des exemples très basiques qui montrent les inexactitudes de Caption-Bot :

Dans cet exemple, l’IA n’est pas complètement à côté de la plaque. Voyant un oiseau elle en a conclu qu’il s’agissait d’un mangeoire pour oiseaux.. Probablement que les photos d’oiseaux soumises au préalable à l’IA comportaient des mangeoires à oiseaux. Toujours est-il que sur ce point elle n’a pas complètement tort, mais a loin d’avoir raison…

De la même manière, sur cette image où l’on aperçoit des frites, l’IA y voit curieusement aussi un hot-dog. Une IA un peu trop américanisée probablement…

Ici, nous avons soumis deux photos très nettes du candidat républicain Donald Trump. Bizzarrement, sur la première, l’IA n’y comprend rien. Tandis que sur la seconde, il ne fait aucun doute qu’il s’agit de “Donald Trump en costume, avec un air mécontent”. Là pour le coup, l’IA tape dans le mille. Mais pourquoi n’a t-elle pas proposé la même analyse pour la première photo ?

Enfin, nous avons également soumis deux personnalités extrêmement célèbres à CaptionBot. Pour Mark Zuckerberg, aucun doute. Mais pour Barack Obama, qui doit compter des milliers de photos sur les moteurs de recherche (même sur Bing), l’IA n’y voit qu’un homme heureux portant un costume-cravate. Disons que l’ordinateur a passé le test à 80%, mais il manque quand même le nom du président des Etats-Unis…

En bref, si l’intention était de laver l’affront de Taytweets, c’est plutôt réussi. Mais s’il s’agissait de prouver la finesse d’analyse et de description de son nouveau Bot, il faut paradoxalement admettre que Tay semblait beaucoup plus performante dans ce domaine, d’où les dérives que l’on sait.

Retrouvez les différentes applications développées par le service sciences cognitives de Microsoft ici : 

https://www.microsoft.com/cognitive-services
Tester CaptionBot

 

Page d'accueil

Aucune note. Soyez le premier à attribuer une note !