vendredi 23 septembre 2016

Data center et mathématique, une arme létale

qu’est-ce qui sera l’analogue de la crise du crédit dans le monde de la donnée? Et pour L'auteur , la réponse est simple. Dans la dystopie que nous promet le Big Data, les inégalités sont augmenter.



Il y a déjà les inégalités du côté des plateformes, avec des compagnies qui finissent par occuper des positions monopolistiques. Comme le note Cathy, il n’y a rien d’incroyablement intelligent dans le fonctionnement de Google, ou Facebook. Ces compagnies sont énormes parce qu’elles ont été là, au bon moment, mais le danger est leur voracité insatiable. Car à l’heure actuelle, la même entreprise gère nos courriers électroniques, nos recherches (de voyage, de musique, etc), nos réseaux sociaux, et peut ainsi évaluer, mais également contrôler notre monde.
Et au delà des plateformes, ce sont surtout les inégalités au sein de la population qui vont exploser. 
Cathy O’Neil illustre sa thèse à l’aide d’exemples particulièrement bien choisis. Par exemple la publicité ciblée permet à des publicitaires prédateurs d’atteindre de manière encore plus efficace les personnes les plus vulnérables à l’escroquerie. 
Les algorithmes utilisés par les ressources humaines créent des discriminations pires que celles qui pouvaient déjà exister. 
Des exemples, comment ça marche :
La logique de ces algorithmes prédictifs est simple: les gagnants vont gagner, et les perdants vont perdre. Mais de manière sournoise, car invisible. Il n’y a pas de volonté délibérée et affichée, il n’y a plus forcément de policier raciste, ou de recruteur misogyne. 
Les inégalités se créent sans que personne ne s’en rende vraiment compte. 
Considérons une RH qui veuille définir un score de “succès” pour proposer des promotions, peut être basé sur un historique de succès observés dans les années précédentes. Si les données ne contiennent que peu de femmes (car peu avaient, historiquement, des postes à responsabilité) l’algorithme pénalisera les femmes. Et la spirale va commencer. Il y en aura de moins en moins dans la base, et elles seront de facto davantage pénalisées. Le livre foisonne de petits exemples qui illustrent parfaitement son propos, car ce phénomène existe partout. 
Les programmes visant à réduire la criminalité font en fait augmenter la criminalité dans les régions les plus pauvres. Si les quartiers pauvres ont plus de crimes, il y a aura davantage de policiers, qui feront alors davantage d’arrestation, etc. Les inégalités sont exacerbées, car les modèles manquent de boucles de rétroactions.

Traduction Wendy : 
les mathématiques au service du tri des humains. On va "ranger", "sérier" les humains. Puis en jeter certains, car le tri sert à cela. "Poubelle jaune", "poubelle verte" ou rangé en bonne place sur l'étagère.