Journal Un journaliste suspecté de terrorisme par Skynet ou les limites des recoupements des méta-données

15
13
mai
2015

Skynet est un autre des nombreux programmes de la National Security Agency qui utilise les méta-données des communications et la localisation pour identifier les terroristes.

Ahmad Muaffaq Zaidan est un journaliste qui a voyagé au Pakistan et en Afghanistan et rencontré des hauts dirigeants d'Al-Qaida y compris Ben Laden.

En analysant une base de données de 55 millions relevés téléphoniques, son nom est ressorti comme terroriste et membre d'Al-Qaida et de la fraternité musulmane.

fiche de renseigment sur Ahmad Muaffaq Zaidan, accusé de terrorisme

Mais c'est un journaliste qui ne faisait que son travail, certes dans des conditions qui l'ont amené à fréquenter des personnes elles-mêmes surveillées car dangereuses et il semble légitime qu'une agence dont l'un des buts est le combat contre le terrorisme garde un œil sur les personnes qui paraissent trop proches de milieux terroristes.

Ceci est un exemple que malgré tous les efforts mis en place dans un système de surveillance, il y a des faux-négatifs et des faux-positifs. Des résultats qui peuvent avoir de grandes conséquences dans la vie des personnes qui ressortent de ces algorithmes imparfaits.

Michael Hayden (ex-chef de la NSA) a dit :

nous tuons des personnes en nous basant sur les méta-données.

Et si vous êtes déçu que Skynet ne soit pas à l'image du film, consolez-vous la NSA ne vous a pas oublié en développant le programme MonsterMind qui permet l'analyse, la défense et surtout la réplique face à des attaques informatiques sans nécessité d'intervention humaine.

skynet

Que pensez de tout ça ?

  • De cette nouvelle course à l'armement numérique qui ne semble pas trouver de limites ?
  • Du danger que représente le fait de laisser la tâche d'identifier les terroristes à un ordinateur ?
  • De la folie de donner à du silicium la possibilité de lancer une attaque informatique sans ordre explicite de l'humain ?

Sources :

  • # Auto-immune, attaque

    Posté par (page perso) . Évalué à 7.

    Que pensez de tout ça ?
    - De la folie de donner à du silicium la possibilité de lancer une attaque informatique sans ordre explicite de l'humain ?

    Que ce sera fun le jour où un bogue le fera attaquer ses propres infrastructures. :)

    • [^] # Re: Auto-immune, attaque

      Posté par . Évalué à 4.

      Ca sera l'un des rares jours où on sera content d'en avoir un, parce que ça sera peut-être le dernier espoir de l'humanité :D

      Et la dernière phrase de Skynet sera :

      Pour gagner, il ne faut pas jouer.

      Puis chaque année, on célébrera l'ouverture du rapport de bug :)

      GPG fingerprint : 7C5E 1E77 299C 38ED B375 A35A 3AEB C4EE FF16 8EA3

    • [^] # Re: Auto-immune, attaque

      Posté par (page perso) . Évalué à 3.

      Ou que le gars en face ait le même système.

    • [^] # Re: Auto-immune, attaque

      Posté par . Évalué à 2.

      Que ce sera fun le jour où un bogue le fera attaquer ses propres infrastructures. :)

      Un peu comme les entreprises qui demandent à Google de déréférencer leurs propres contenus.

      • [^] # Re: Auto-immune, attaque

        Posté par (page perso) . Évalué à 2.

        Ouais en fait si tu regardes les « update » du blog en question, il s'avère que l'information a de gigantesques chances d'être absolument fausse : les demandes de suppression n'émaneraient pas des studios de film en question.
        Ça ressemble a une bonne grosse tentative de manipulation des médias.

        "It was a bright cold day in April, and the clocks were striking thirteen" - Georges Orwell

  • # Muslim Brotherhood

    Posté par . Évalué à 4. Dernière modification le 13/05/15 à 12:42.

    En analysant une base de données de 55 millions relevés téléphoniques, son nom est ressorti comme terroriste et membre d'Al-Qaida et de la fraternité musulmane.

    En français, le nom de l'organisation est les "Frères musulmans" pas la "fraternité musulmane". T'as utilisé un robot pour traduire ?

    Edit : C'est Robert Ménard qui a conçu l'algo qui détermine si tu es terroriste ou non ?

    • [^] # Re: Muslim Brotherhood

      Posté par . Évalué à 2.

      Non, c'est une appellation que j'ai déjà entendu par le passé, mais il s'agit visiblement bien d'une erreur.

      Concernant Robert Ménard, lui détermine plutôt si tu vas devenir terroriste après avoir quitté le primaire. C'est d'un tout autre niveau, rien à voir avec la NSA. ;)

      GPG fingerprint : 7C5E 1E77 299C 38ED B375 A35A 3AEB C4EE FF16 8EA3

  • # Le cas présenté n'est pas forcément aussi grave que ça

    Posté par (page perso) . Évalué à 9.

    Merci pour ce journal intéressant, parlons journal, parlons aussi du journaliste !

    Il ne me paraît pas déconné que des personnes en lien avec les terroristes soient suivis, après tout c'est ciblé et légitime et c'est une méthode utilisée dans tout enquête. Le fait que tu sois journaliste ou pas n'offre pas un passe droit d'échapper à toute surveillance.

    Du coup, il est catalogué automatiquement comme terroriste. C'est en effet une conclusion un peu rapide, mais qui pourrait faire sens (un journaliste ne peut pas être un terroriste en devenir ?).

    Le risque que tu mentionnes c'est qu'à partir de ces éléments il soit tué. C'est le problème. Après si c'est un journaliste il va probablement quitter le Pakistan ou l'Afghanistan et se faire arrêter en bon et du forme avant d'être envoyé à Guatanamo ou être libéré. De toute façon le drone n'attaque pas tout seul automatiquement, de mémoire des hommes valident les cibles et j'ose espérer qu'ils se basent sur autre chose que ce qu'affirme l'ordinateur (bien que, ça ne soit pas précisé).

    En fait, le problème dans tout cela est l'attaque par drone et non Skynet : on tue sans procès, sur des à priori et données incomplètes. Cela me semble bien contradictoire avec le but de ce pays d'un point de vue idéologique et constitutionnel. Je ne pense pas que Skynet soit si terrible que ça (le soucis est qu'éventuellement il se base sur des sources de données globales et non ciblée, mais là encore ce n'est pas Skynet en lui même le problème).

    • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

      Posté par . Évalué à 4.

      Je ne suis pas d'accord sur ta désignation de responsabilité (mais je suis d'accord avec toi sur le fond).
      le problème est multiple :
      0°) Un choix des informations problématique : qu'est ce qui prouve que les données récupérées par la NSA n'ont pas été modifié /présenté de telle façon à impliquer quelqu'un de spécifique ?

      1°) des algo foireux. L'algo peut à la rigueur remonter une suspicion . Mais l'algo ne doit pas remplacer le travail d'enquête rigoureux, qui semble ne jamais être fait.
      Presomption d'innocence toussa toussa

      2°) une procédure non contradictoire: une agence fait office de législateur, enquêteur, juge , et bourreau. Et tout cela sans même permettre à quiconque de controler , et encore moins de défendre sa cause

      3°) une justice expéditive : le gros problème de la peine de mort, ce n'est pas l'aspect "on tue quelqu'un", c'est l'aspect "et si on c'était trompé?".
      Alors je sais que les américains ont "In god we trust", et que certains militaires plaisantent en disant "Dieu jugera nos ennemis. Nous on arrange la réunion", mais quand même.

      4°) des dommages collatéraux : les attaques de drones, présenté comme des frappes "chirurgicales", utilisent des missiles hellfire, soit 8-9 kg d'explosif militaire, avec de la fragmentation scientifiquement calculé. Rien à voir avec une balle de sniper bien ciblé pour éviter de toucher quelqu'un en traversant la cible.

      => Bref, pour moi l'ensemble des éléments de la chaine de décision sont complètement foireux et ne devraient même pas exister.

    • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

      Posté par (page perso) . Évalué à 1.

      il va probablement […] se faire arrêter en bon et du forme avant d'être envoyé à Guatanamo

      Mon détecteur d’ironie est en panne, c’est du second degré ou bien ?

      j'ose espérer qu'ils se basent sur autre chose que ce qu'affirme l'ordinateur

      Oh oui. La première fois ils se sont basés sur l’observation que la cible dans leur viseur est un « homme de grande taille auxquel d’autres personnes s’adressent avec révérence ». Si ça ce n’est pas une preuve que c’est « une cible appropriée » (même si « on ne sait pas exactement de qui il s’agit »), je ne sais pas ce qu’il te faut ⸮

      • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

        Posté par (page perso) . Évalué à 3.

        Mon détecteur d’ironie est en panne, c’est du second degré ou bien ?

        À ton avis ? ;-)

        Si ça ce n’est pas une preuve que c’est « une cible appropriée » (même si « on ne sait pas exactement de qui il s’agit »), je ne sais pas ce qu’il te faut ⸮

        Je ne connais pas toutes les histoires des drones, je me doute qu'il y a eu des ratés et des bavures impardonnables. Mais je doute fortement qu'ils ne vérifient aucun doss.ier avant.

        De la même façon que parfois la police/justice bâclent le travail, ça brise des vies aussi. Je suis d'accord qu'il faudrait plus de vérifications avant (et qu'il serait préférable plutôt de travailler avec les locaux pour les arrêter et avoir un procès équitable, mais ça on peut rêver).

    • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

      Posté par . Évalué à 3.

      Comme déjà indiqué plus haut, il est légitime que son nom amène à faire l'objet d'une plus grande surveillance quand on sait avec quel type de personnes il y a des contacts. Rien d'anormal à cela.

      Le but de mon écrit était surtout de mentionner un faux-positif d'une agence de renseignement très puissante et loin d'être incompétente. Et que cela témoigne qu'un algorithme ne peut pas tout analyser, ou du moins pas comme le ferait un humain, qui dans le cas présent aurait peut-être compris que c'était un journaliste. (mais qui n'empêche pas qu'il puisse être en train de devenir un terroriste)

      Le catalogage de personnes selon un algorithme peut devenir dangereux, on peut devenir suspect car on a pris le même bus que telle ou telle autre personne, qu'on a cherché un sac à dos et une cocotte-minute sur le web ou que l'on ne s'appelle pas Marie.

      Mon propos n'était pas de dire que ce cas était l'exemple de l'inefficacité du système, mais l'exemple que l'erreur est possible et que même si le traitement informatique peux aider dans la recherche de criminels, il ne doit rester qu'une aide et pas le juge qui appose le qualificatif de terroriste avec ses propres critères.

      On n'arrête pas beaucoup de méchants si on considère tout le monde comme étant des gentils.

      GPG fingerprint : 7C5E 1E77 299C 38ED B375 A35A 3AEB C4EE FF16 8EA3

      • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

        Posté par (page perso) . Évalué à 3.

        Et que cela témoigne qu'un algorithme ne peut pas tout analyser, ou du moins pas comme le ferait un humain

        Je ne vois pas ce qui te permet de dire ça avec les éléments que tu présente.

        « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

      • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

        Posté par (page perso) . Évalué à 5.

        Un algorithme tel que celui là doit normalement de servir de travail préliminaire : en inspectant l'entourage et les relations des cibles, tu essayent de voir s'ils présentent eu même un risque. Ce travail est très long et fastidieux pour les agences (il y a plusieurs milliers de cibles avec au moins une dizaine de relations suspectes). Ce travail doit faire le tri entre les cas qui sont de manière évidentes fausses, les suspects et des gens suspects mais finalement qui sont des faux positifs.

        Des humains doivent passer derrière pour vérifier cette information, apparemment ce n'est pas fait systématiquement ce qui est regrettable, il n'empêche que je ne vois pas le problème d'un tel procédé si ça permet de faire uniquement le premier tri.

        • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

          Posté par . Évalué à 1.

          il n'empêche que je ne vois pas le problème d'un tel procédé si ça permet de faire uniquement le premier tri.

          Aucun selon moi, c'est bien le fait qu'il n'y ai pas plus de vérifications faites par des humains qui me gène, alors que l'algorithme peut faire des erreurs. Sans un tel outil, le travail serait tout simplement trop long, il est nécessaire comme il est nécessaire d'avoir un regard critique sur ses résultats.

          Mon propos n'était pas de dire que ce cas était l'exemple de l'inefficacité du système, mais l'exemple que l'erreur est possible et que même si le traitement informatique peux aider dans la recherche de criminels, il ne doit rester qu'une aide et pas le juge qui appose le qualificatif de terroriste avec ses propres critères.

          GPG fingerprint : 7C5E 1E77 299C 38ED B375 A35A 3AEB C4EE FF16 8EA3

          • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

            Posté par . Évalué à 2.

            c'est bien le fait qu'il n'y ai pas plus de vérifications faites par des humains qui me gène, alors que l'algorithme peut faire des erreurs.

            Il est bien connu que les humains ne font pas d'erreur…

            • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

              Posté par . Évalué à 2.

              Je parlais d'une complémentarité entre le travail des ordinateurs et des humains. Si on retire l'un et l'autre sous prétexte qu'ils peuvent faire des erreurs, il ne reste plus rien.
              Préfères-tu être jugé uniquement par des ordinateurs ou des ordinateurs et des humains ?
              (On ne peut pas retirer les ordinateurs de l'équation au vu de la masse de personnes à surveiller)

              GPG fingerprint : 7C5E 1E77 299C 38ED B375 A35A 3AEB C4EE FF16 8EA3

              • [^] # Re: Le cas présenté n'est pas forcément aussi grave que ça

                Posté par . Évalué à 2.

                Oui j'avais compris ton propos… Ta phrase sous-entend néanmoins que les humains ne font pas d'erreur, d'où ma remarque.

                Préfères-tu être jugé uniquement par des ordinateurs ou des ordinateurs et des humains ?

                Je préfère ne pas être jugé du tout ;)

                On ne peut pas retirer les ordinateurs de l'équation au vu de la masse de personnes à surveiller

                Plutôt d'accord. Ça me fait penser aux radars automatiques pour les excès de vitesse. On peut se dire qu'une bécane est forcément (potentiellement) moins partiale qu'un humain mais la machine peut-être mal réglée…

                Pour les algorithmes il faut garder à l'esprit que ce sont des humains qui les ont mis au point, donc si les algorithmes font des erreurs c'est bien d'une erreur humaine dont il s'agit.

                « Errare humanum est, perseverare diabolicum »

                Je me la pète en latin yeah ! :) Personnellement je ne connaissais pas la deuxième partie de cette citation… (L'erreur est humaine, persévérer [dans son erreur] est diabolique)

  • # Fiché comme terroriste pendant 25 ans…

    Posté par (page perso) . Évalué à 5.

    Même sans ordinateur les services de renseignement sont capables de faire n'importe quoi : http://leplus.nouvelobs.com/contribution/1365446-j-ai-ete-fiche-comme-terroriste-pendant-25-ans-un-calvaire-que-l-etat-doit-reparer.html

    « Je vois bien à quels excès peut conduire une démocratie d'opinion débridée, je le vis tous les jours. » (Nicolas Sarkozy)

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.