Journal Empreinte pour fichiers audio et surtout vidéo

Posté par  .
Étiquettes :
10
25
juin
2010
Salut journal!

Suite au début de la mise en place de la HADOPI et la lecture des articles que j'ai pu lire sur le comment de la détection de contenu soumis à des droits d'auteurs et qui sont partagés sur un réseau P2P, je commence à m'intéresser aux empreintes numériques de fichiers audio et surtout vidéo.

Pour les néophytes (je ne suis pas loin d'en être un), je les invite à lire les articles de Wikipédia :
* http://en.wikipedia.org/wiki/Fingerprint_(computing)
* http://en.wikipedia.org/wiki/Audio_fingerprint
* http://en.wikipedia.org/wiki/Digital_video_fingerprinting

Pour l'audio, il y a des bibliothèques et des bases d'empreintes libres de disponibles (comme MusicBrainz). Par contre pour la vidéo, rien de libre ne semble exister. Mes questions sont donc :
* Est-ce que je me trompe sur la non existence de bibliothèque libre pour la vidéo?
* Est-ce que la technologie utilisée par Google pour Youtube (en cours de développement en 2007) [1] sera libérée un jour?
* Est-ce que les algorithmes actuelles sont fiables (notamment sur la vidéo)?

Au passage, je n'ai pas trouvé de truc sur les empreintes d'images. La seule bibliothèque qui pourrait remplir cette fonction est libpuzzle [2] qui permet de montrer la similarité entre deux images. C'est un peu comme la distance de Levenshtein pour le texte [3].

[1] : http://googleblog.blogspot.com/2007/06/state-of-our-video-id(...)
[2] : http://libpuzzle.pureftpd.org/project/libpuzzle
[3] : http://en.wikipedia.org/wiki/Levenshtein_distance

  • # non existence de bibliothèque libre pour la vidéo

    Posté par  . Évalué à 4.

    Je pense que oui : http://subdownloader.net/

    C'est un chercheur de sous-titre se basant (comme MusicBrainz) sur l'empreinte des video.

    • [^] # Re: non existence de bibliothèque libre pour la vidéo

      Posté par  . Évalué à 4.

      humm je ne crois pas.
      apparemment sur subdownloader.net c'est un simple hash qui est utilisé. ce n'est pas la même chose que MusicBrainz.

      Dans MusicBrainz quelque soit le format sonore utilisé l'empreinte (le PUID) peut être retrouvé. Là avec un algorithme de hashage, si on recompresse la vidéo, on change le hash, ce qui n'est pas pratique.

      Au passage, même si cela serait bien pour les sous-titres, une technologie d'empreinte pourrait être utilisée pour tagger également les vidéos (tout comme musicbrainz).

      Sur XBMC, la reconnaissance des films/série/DVD/vidéo clips se fait uniquement via le nom qu'on donne au fichier, ce qui est assez limité et source d'erreur. Si on pouvait utiliser la même technique que dans musicbrainz pour insérer des meta-données, ce serait une solution bien meilleure.

      Cela dit, pour la musique, malgré l'utilisation des tags, les "scrappers" des mediacenters, n'utilisent pas les identifiant artistes/Disque de musicbrainz pour les reconnaitre. Ce qui fait par exemple que Will Smith, est un DJ suédois chez moi..

      • [^] # Re: non existence de bibliothèque libre pour la vidéo

        Posté par  . Évalué à 2.

        Je viens de regarder en vitesse le code SubDownloader et oui, il semblerait que ça n'utilise qu'un simple hash pour identifier une vidéo.

        Il semblerait que MusicBrainz nécessite de calculer le PUID de tout le fichier audio pour déterminer la chanson. Est-ce qu'il existe une bibliothèque libre permettant à partir d'un extrait de trouver le titre (comme Shazam)?

        J'ai trouvé ça pour l'explication du principe : http://drgoulu.com/2009/07/11/comment-marche-shazam/ et http://laplacian.wordpress.com/2009/01/10/how-shazam-works/

        L'idéal serait d'avoir un truc identique pour la vidéo.

        • [^] # Re: non existence de bibliothèque libre pour la vidéo

          Posté par  . Évalué à 1.

          Pardonne ma question naive, mais
          à partir du moment où tu appliques un watermark à la bande son d'un film dans toutes les langues, quel intérêt pour la vidéo ?

          Les pirates ne vont quand même pas s'amuser à refaire les doublages avec leurs petits micros.

          • [^] # Re: non existence de bibliothèque libre pour la vidéo

            Posté par  . Évalué à 2.

            Enfin ma curiosité a pour point de départ la HADOPI, mais je vois d'autres applications comme un shazam pour la vidéo/audio libre.

            Je trouve ça amusant de pouvoir identifier un truc avec un simple extrait. Idem pour les images. Tu regardes un tableau, un statue, un monument, tu le prend en photo et tu demandes à ton logiciel c'est quoi son petit nom. Google met en place ce genre de truc : http://www.google.com/mobile/goggles/

            • [^] # Re: non existence de bibliothèque libre pour la vidéo

              Posté par  . Évalué à 2.

              Oui c'etait ce que j'imaginais comme application: le fait d'associer la vidéo ou l'image avec d'autres informations.
              Mais dans ce cas le hash est déjà bien pratique même s'il ne couvre pas les transformations.

        • [^] # Re: non existence de bibliothèque libre pour la vidéo

          Posté par  . Évalué à 2.

          Calculer sur un extrait peux poser problème pour reconnaitre un film.
          avec shazam, on a une idée peu précise de la chanson jouée. Si on prend l'exemple d'un medley, shazam va écouter 20s et associer au mauvais titre.

          musicbrainz doit faire la même chose. Il y a un calcul du puid qui est long et non-libre. c'est http://www.amplifindmusicservices.com (anciennement musicdns) qui détient les droits. Picard tagger et les autres logiciels font une détermination rapide d'empreinte (sous licence libre) qui envoyée à un webservice permet de retrouver le puid sans avoir a le calculer. Le puid est associé a un titre, et diffère suivant la longueur du titre. Du coup, on peux faire la différence entre une version album, une version radio et une version "compilation" d'un titre.

          le problème vient des utilisateurs qui parfois s'en contrefoutent, et associent une empreinte a un titre, même si le morceaux fait 1 min de plus. heureusement on peux corriger en supprimant les puid mal associés mais le logiciel d'association (picard tagger) a quelques lacunes pour éviter que cela se répète.

          prendre un extrait de blade runner par exemple et en trouver l'empreinte, ne permettra pas de faire la différence entre une version normale, et la director's cut. tout le fichier est nécessaire si on veux faire une vrai reconnaissance. cependant dans le but de déterminer si l'extrait vidéo est sous licence ou pas, c'est vrai qu'une détermination grossière est suffisante.

          Par contre, j'ai peut être oublié quelque chose. Faire une empreinte "façon musicbrain" ou shazam, nécessite de décompresser entièrement le fichier. Ce qui se fait plutôt rapidement avec des musiques de 40 a 50mo décompressé, mais qui serait un tout autre problème avec des films. qui plus est en HD !

  • # Comme pour tout

    Posté par  (site web personnel) . Évalué à 5.

    >> Au passage, je n'ai pas trouvé de truc sur les empreintes d'images.

    Comme pour tout : une bonne transformée de Fourier, et hop, tu as déjà de quoi sélectionner des informations utiles.

    • [^] # Re: Comme pour tout

      Posté par  . Évalué à 6.

      Mais qu'entends-tu donc par "une bonne transformée de Fourier" ?

      • [^] # Re: Comme pour tout

        Posté par  . Évalué à 10.

        Ben t'as la bonne transformée de Fourier et la mauvaise transformée de Fourier. La mauvaise transformée de Fourier, elle voit une fonction, paf elle la transforme.
        La bonne transformée de Fourier, c'est pas pareil : elle voit une fonction, bon, elle la transforme, mais tu vois, c'est une bonne transformée de Fourier.

      • [^] # Re: Comme pour tout

        Posté par  (site web personnel) . Évalué à 10.

        Bon, alors la mauvaise transformée de fourier, elle prend l'image et elle la transforme.

        Alors que la bonne... bon, elle prend l'image. Et elle la transforme. Mais c'est une bonne transformée de fourier...

        • [^] # Re: Comme pour tout

          Posté par  . Évalué à 4.

          Ce gag ne m'est pas inconnu.
          Ah ben oui, il a déjà été fait à 9h54.

  • # Vidéo + Son

    Posté par  . Évalué à 3.

    Une vidéo c'est (dans la grande majorité des cas) une vidéo avec une piste sonore. Pourquoi ne pas faire la reconnaissance sur la piste sonore uniquement (puisqu'on sait le faire) ? Ça donnerais certainement de très bon résultats.

    Le seul problème serait-il que les systèmes d'empreinte sonore ne fonctionne que sur des fichiers de quelques minutes et pas des heures comme un film ?

    • [^] # Re: Vidéo + Son

      Posté par  . Évalué à 2.

      dans un film il y a des musiques. Comment reconnaitre sur un extrait si la musique vient d'un film ou vraiment de la musique seul. Ou alors il faut faire un fingerprint de toute la bande son, donc il suffit de l'altérer pour contourner la protection.

      Ce qu'il faut c'est un shazam à la vidéo...

  • # l'ina aussi l'a fait

    Posté par  . Évalué à 1.

    pas sur qu'il en existe pour le libre!
    et il n'y a pas que Google qui en a créée une: l'INA l'a fait aussi. Et comme Google, elle n'est pas libre (http://www.ina-entreprise.com/entreprise/activites/recherche(...)

  • # Coquille

    Posté par  . Évalué à 3.

    algorithme est un mot masculin.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.