{"id":13607,"date":"2021-05-07T18:15:27","date_gmt":"2021-05-07T18:15:27","guid":{"rendered":"https:\/\/timi.eu\/?p=13607"},"modified":"2022-01-20T12:05:19","modified_gmt":"2022-01-20T12:05:19","slug":"so-you-think-ai-classifies-well","status":"publish","type":"post","link":"https:\/\/timi.eu\/fr\/blog-fr\/anatella-fr\/so-you-think-ai-classifies-well\/","title":{"rendered":"La pr\u00e9cision des mod\u00e8les de l&rsquo;IA vous impressionne?"},"content":{"rendered":"\n<div\n\t class=\"wpml-ls-statics-shortcode_actions wpml-ls wpml-ls-legacy-dropdown js-wpml-ls-legacy-dropdown\">\n\t<ul>\n\n\t\t<li tabindex=\"0\" class=\"wpml-ls-slot-shortcode_actions wpml-ls-item wpml-ls-item-fr wpml-ls-current-language wpml-ls-item-legacy-dropdown\">\n\t\t\t<a href=\"#\" class=\"js-wpml-ls-item-toggle wpml-ls-item-toggle\">\n                                                    <img\n            class=\"wpml-ls-flag\"\n            src=\"https:\/\/timi.eu\/wp-content\/plugins\/sitepress-multilingual-cms\/res\/flags\/fr.png\"\n            alt=\"\"\n            width=18\n            height=12\n    \/><span class=\"wpml-ls-native\">Fran\u00e7ais<\/span><\/a>\n\n\t\t\t<ul class=\"wpml-ls-sub-menu\">\n\t\t\t\t\n\t\t\t\t\t<li class=\"wpml-ls-slot-shortcode_actions wpml-ls-item wpml-ls-item-en wpml-ls-first-item\">\n\t\t\t\t\t\t<a href=\"https:\/\/timi.eu\" class=\"wpml-ls-link\">\n                                                                <img\n            class=\"wpml-ls-flag\"\n            src=\"https:\/\/timi.eu\/wp-content\/plugins\/sitepress-multilingual-cms\/res\/flags\/en.png\"\n            alt=\"\"\n            width=18\n            height=12\n    \/><span class=\"wpml-ls-display\">Anglais<\/span><\/a>\n\t\t\t\t\t<\/li>\n\n\t\t\t\t\n\t\t\t\t\t<li class=\"wpml-ls-slot-shortcode_actions wpml-ls-item wpml-ls-item-es\">\n\t\t\t\t\t\t<a href=\"https:\/\/timi.eu\/es\/\" class=\"wpml-ls-link\">\n                                                                <img\n            class=\"wpml-ls-flag\"\n            src=\"https:\/\/timi.eu\/wp-content\/plugins\/sitepress-multilingual-cms\/res\/flags\/es.png\"\n            alt=\"\"\n            width=18\n            height=12\n    \/><span class=\"wpml-ls-display\">Espagnol<\/span><\/a>\n\t\t\t\t\t<\/li>\n\n\t\t\t\t\n\t\t\t\t\t<li class=\"wpml-ls-slot-shortcode_actions wpml-ls-item wpml-ls-item-nl\">\n\t\t\t\t\t\t<a href=\"https:\/\/timi.eu\/nl\/\" class=\"wpml-ls-link\">\n                                                                <img\n            class=\"wpml-ls-flag\"\n            src=\"https:\/\/timi.eu\/wp-content\/plugins\/sitepress-multilingual-cms\/res\/flags\/nl.png\"\n            alt=\"\"\n            width=18\n            height=12\n    \/><span class=\"wpml-ls-display\">N\u00e9erlandais<\/span><\/a>\n\t\t\t\t\t<\/li>\n\n\t\t\t\t\n\t\t\t\t\t<li class=\"wpml-ls-slot-shortcode_actions wpml-ls-item wpml-ls-item-ru wpml-ls-last-item\">\n\t\t\t\t\t\t<a href=\"https:\/\/timi.eu\/ru\/\" class=\"wpml-ls-link\">\n                                                                <img\n            class=\"wpml-ls-flag\"\n            src=\"https:\/\/timi.eu\/wp-content\/plugins\/sitepress-multilingual-cms\/res\/flags\/ru.png\"\n            alt=\"\"\n            width=18\n            height=12\n    \/><span class=\"wpml-ls-display\">Russe<\/span><\/a>\n\t\t\t\t\t<\/li>\n\n\t\t\t\t\t\t\t<\/ul>\n\n\t\t<\/li>\n\n\t<\/ul>\n<\/div>\n\n<h1>La pr\u00e9cision des mod\u00e8les de l&rsquo;IA vous impressionne?<\/h1>\n\n\n<p>J&rsquo;ai r\u00e9cemment regard\u00e9 une <a href=\"https:\/\/www.linkedin.com\/feed\/update\/urn:li:activity:6789889986486501376\/\" data-type=\"URL\" data-id=\"https:\/\/www.linkedin.com\/feed\/update\/urn:li:activity:6789889986486501376\/\">vid\u00e9o int\u00e9ressante<\/a> de Eric Siegel, dans laquelle il parle de l&rsquo;erreur de pr\u00e9cision (Accuracy Fallacy). C&rsquo;est un th\u00e8me dont je parle souvent et que j&rsquo;ai abord\u00e9 (bien que pas aussi clairement que lui) dans un <a href=\"https:\/\/timi.eu\/blog\/anatella\/classification-problems-lift-curve-or-classification-table\/\">autre billet<\/a> il y a quelques ann\u00e9es, lorsque j&rsquo;ai \u00e9crit sur la classification, les courbes ROC et Lift (Gain). Siegel a vraiment bien invent\u00e9 le terme et m&rsquo;a motiv\u00e9 \u00e0 \u00e9crire ce petit billet, et c&rsquo;est un terme que j&rsquo;utiliserai fr\u00e9quemment \u00e0 partir de maintenant.<br>Dans la communaut\u00e9 de la science des donn\u00e9es, nous avons une mauvaise tendance \u00e0 exag\u00e9rer la qualit\u00e9 de nos mod\u00e8les, souvent de mani\u00e8re inconsciente. Nous sommes tout simplement form\u00e9s \u00e0 utiliser les mauvais indicateurs de performance, et la population g\u00e9n\u00e9rale les comprend encore moins bien que nous.<br>Lorsque j&rsquo;ai appris les techniques de classification \u00e0 la fin des ann\u00e9es 90\/d\u00e9but 2000, le KPI que nous utilisions tous \u00e9tait la table de classification, exprim\u00e9e en pourcentage, et cela ne semblait poser de probl\u00e8me \u00e0 personne.<br>Puis, le ROC a pris le relais, ce qui est d\u00e9j\u00e0 une \u00e9norme am\u00e9lioration, car il exprime la composante dynamique d&rsquo;une table de classification. La classification suppose un seuil constant en termes de probabilit\u00e9, souvent 50% ou un point \u00ab\u00a0optimal\u00a0\u00bb fix\u00e9 pour maximiser le taux de r\u00e9ussite, ou la pr\u00e9cision. Lorsque ce point bouge, la courbe ROC se forme.<br>Mais cela donne une confiance tr\u00e8s trompeuse.<br>Prenons l&rsquo;exemple simple d&rsquo;un tr\u00e8s bon mod\u00e8le pr\u00e9dictif.<\/p>\n\n\n\n<p class=\"has-text-align-center\"><img decoding=\"async\" loading=\"lazy\" width=\"468\" height=\"223\" class=\"wp-image-13574\" style=\"width: 350px\" src=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/Hit-Rate.png\" alt=\"\" srcset=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/Hit-Rate.png 468w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/Hit-Rate-300x143.png 300w\" sizes=\"(max-width: 468px) 100vw, 468px\" \/><\/p>\n\n\n\n<p>Ceci semble en effet g\u00e9nial. La conclusion est que le mod\u00e8le nous donne 85% de taux de r\u00e9ussite (la moyenne entre 88,2 et 81,8), ou de pr\u00e9cision, et que nous ne devrions pas nous attendre \u00e0 tout un tas d&rsquo;erreurs de classification.<\/p>\n\n\n\n<p>Mais est-ce correct?<\/p>\n\n\n\n<p>Souvent, la r\u00e9alit\u00e9 est vraiment d\u00e9s\u00e9quilibr\u00e9e, et la probabilit\u00e9 apriori est de 1 ou 2%. Prenons un exemple, disons la probabilit\u00e9 de d\u00e9clarer un revenu \u00e9lev\u00e9, qui elle est d&rsquo;environ 6%. La courbe ROC aurait bien s\u00fbr l&rsquo;air aussi bonne que &#8211; ou m\u00eame meilleure que &#8211; le tableau de classification :<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><img decoding=\"async\" loading=\"lazy\" width=\"672\" height=\"672\" src=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI.png\" alt=\"\" class=\"wp-image-13583\" srcset=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI.png 672w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI-300x300.png 300w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI-100x100.png 100w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI-600x600.png 600w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI-150x150.png 150w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/ROC-TIMI-85x85.png 85w\" sizes=\"(max-width: 672px) 100vw, 672px\" \/><\/figure><\/div>\n\n\n\n<p>Alors, que concluons-nous maintenant ? Nous avons un mod\u00e8le incroyable, avec une qualit\u00e9 de 85 \u00e0 92,5 % ! Rien ne peut aller mal, et ce qu&rsquo;un non sp\u00e9cialiste des donn\u00e9es comprendra, c&rsquo;est que tous les contribuables seront identifi\u00e9s, avec peut-\u00eatre 7,5 \u00e0 15% d&rsquo;erreur. Ce n&rsquo;est pas le cas, et cette mauvaise (effrayante !) interpr\u00e9tation est de notre faute.<\/p>\n\n\n\n<p>Regardons comment les donn\u00e9es sont <em><span style=\"text-decoration: underline\">r\u00e9ellement <\/span><\/em>class\u00e9es, en chiffres absolus. Et au lieu de nous concentrer sur le nombre de vrais et faux positifs et n\u00e9gatifs en pourcentage, regardons ce que le mod\u00e8le nous dit \u00eatre un positif :<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" loading=\"lazy\" width=\"493\" height=\"217\" src=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/Hit-Rate-2.png\" alt=\"\" class=\"wp-image-13589\" srcset=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/Hit-Rate-2.png 493w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/Hit-Rate-2-300x132.png 300w\" sizes=\"(max-width: 493px) 100vw, 493px\" \/><\/figure>\n\n\n\n<p>Cela donne une image compl\u00e8tement diff\u00e9rente. Parmi notre classification des \u00ab\u00a0VRAIS\u00a0\u00bb, 75% des enregistrements sont en fait des \u00ab\u00a0FAUX\u00a0\u00bb (16,920\/(5,768+16,920)). Cela signifie que si nous examinons les payeurs de taxes dans ce groupe, nous ne trouverons pas 85-92% de payeurs r\u00e9els, mais seulement 25%.<\/p>\n\n\n\n<p>La courbe de GAIN nous aide a mieux comprendre ce ph\u00e9nom\u00e8ne. <\/p>\n\n\n\n<div class=\"wp-block-image is-style-default\"><figure class=\"aligncenter size-large\"><img decoding=\"async\" loading=\"lazy\" width=\"640\" height=\"530\" src=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/lift.png\" alt=\"\" class=\"wp-image-13592\" srcset=\"https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/lift.png 640w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/lift-600x497.png 600w, https:\/\/timi.eu\/wp-content\/uploads\/2021\/05\/lift-300x248.png 300w\" sizes=\"(max-width: 640px) 100vw, 640px\" \/><\/figure><\/div>\n\n\n\n<p>Lorsque nous s\u00e9lectionnons 20% de la population (sur l&rsquo;axe des X), nous constatons effectivement que 85% des cibles sont identifi\u00e9es. Mais nous voyons aussi que nous avons s\u00e9lectionn\u00e9 un \u00e9chantillon environ 3 fois plus grand que notre groupe apriori (visible sur la ligne verte : 6% sur l&rsquo;axe X), donc nous pouvons nous attendre \u00e0 ce que BEAUCOUP d&rsquo;enregistrements dans ce groupe soient en fait n\u00e9gatifs. A 20% de la population s\u00e9lectionn\u00e9e, la probabilit\u00e9 d&rsquo;\u00eatre vrai pour l&rsquo;enregistrement le moins probable est d&rsquo;environ 6-7% (voir la courbe bleu clair).<\/p>\n\n\n\n<p>Soyons un peu r\u00e9alistes: nous ne classons pas vraiment les choses. Et si nous le faisons, admettons que nous sommes nuls \u00e0 ce jeu. Ce que nous pouvons faire correctement &#8211; comme indiqu\u00e9 ici &#8211; s&rsquo;appelle la priorisation. Les mod\u00e8les de priorisation sont un outil incroyable pour hi\u00e9rarchiser et trier les donn\u00e9es, ils aident \u00e0 prendre des d\u00e9cisions qui g\u00e9n\u00e8rent des millions d&rsquo;euros dans de nombreuses industries. Mais nous sommes loin du point o\u00f9 un algorithme pourra nous dire avec une faible marge d&rsquo;erreur qui est un mauvais payeur, qui est un futur mauvais \u00e9tudiant, un futur mauvais employ\u00e9, ou qui est sur le point de commettre un d\u00e9lit. Il nous guidera dans la bonne direction, mais \u00e0 moins que la probabilit\u00e9 r\u00e9elle d&rsquo;un \u00e9v\u00e9nement pour une observation soit &gt;0,99, il est dangereux, et irresponsable, de dire que nous l&rsquo;avons \u00ab\u00a0class\u00e9\u00a0\u00bb.<\/p>\n\n\n\n<p>Arr\u00eatez d&rsquo;avoir peur de la v\u00e9rit\u00e9 : C&rsquo;est un excellent mod\u00e8le, si vous prenez les 2% les plus \u00e9lev\u00e9s de la population, vous aurez 70% de positifs r\u00e9els (au lieu de 6% !), le \u00ab\u00a0lift\u00a0\u00bb est de 6,5 \u00e0 10% de la popuation. Nous n&rsquo;avons pas besoin de g\u00e9n\u00e9rer de fausses attentes et de parler de ces taux de 85% et plus. <\/p>\n\n\n\n<p><\/p>\n","protected":false},"excerpt":{"rendered":"So, you think AI classifies well? How we end up misleading AI users about the efficiency of classification models","protected":false},"author":5,"featured_media":15638,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[248,252,250],"tags":[343,344,345,346,347,348,349],"_links":{"self":[{"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/posts\/13607"}],"collection":[{"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/comments?post=13607"}],"version-history":[{"count":9,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/posts\/13607\/revisions"}],"predecessor-version":[{"id":16880,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/posts\/13607\/revisions\/16880"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/media\/15638"}],"wp:attachment":[{"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/media?parent=13607"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/categories?post=13607"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/timi.eu\/fr\/wp-json\/wp\/v2\/tags?post=13607"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}