Les codecs audio opensource remportent un blind test

Posté par  (site web personnel) . Modéré par Nÿco.
Étiquettes : aucune
0
25
mai
2004
Audiovisuel
C'est en tout cas ce qui ressort des résultats de l'étude en ligne "Multiformat at 128kbps public Listening Test" menée par Roberto Amorim. Cette étude compare 6 encodeurs de fichiers audio compressés à des bitrates de 128 kbits environ. Les deux gagnants à égalité sont aoTuV (un fork amélioré de Ogg Vorbis) et Musepack (opensource).
Ils sont suivis de iTunes AAC d'Apple et Lame MP3 (dernière version avec bitrate variable) qui arrivent 3èmes ex-aequo. En cinquième position arrive WMA Pro de Microsoft et sixième et dernier Atrac3 de Sony (minidisc). Cette étude indépendante a été conduite sur un panel d'une vingtaine de volontaires qui ont dû évaluer la qualité des différents codecs sur 15 de morceaux de styles différents (Classique, Rock, Salsa, Funk, Electro et Trip-Hop) grâce à une application Java développée pour l'occasion. Tout volontaire pouvait participer à l'étude pendant les 15 jours qu'elle a duré (du 2004-05-12 au 2004-05-23).
L'auteur de l'étude, Roberto Amorim, affirme avoir suivi autant que possible la méthodologie ITU-R BS.1116-1.
On notera que aoTuV n'est jamais mauvais, quelque soit le type de morceau écouté. Ces résultats promettent de belles perspectives d'évolution pour Ogg Vorbis.
On notera aussi l'absence étonnante des codecs de Real Audio.
Enfin il est possible de s'inscrire sur une liste de diffusion si l'on souhaite participer à de futurs tests : http://www.rjamorim.com/test/newsletter.html

Aller plus loin

  • # fork

    Posté par  (site web personnel) . Évalué à -5.

    aoTuV (un fork amélioré de Ogg Vorbis)

    Ah chouette, encore une équipe qui a décidé que, Ogg ayant déjà du mal à percer sur le marché de l'audio compressé, un fork serait une bonne solution pour fragmenter tout ça un peu plus.

    C'est pas comme si ils pouvaient pas contribuer et filer des patches pour améliorer la première branche, si?

    Déjà qu'on voit pas souvent de lecteurs ogg portables, si en plus y'en a différentes versions...

    • [^] # Re: fork

      Posté par  . Évalué à 10.

      Tu t'es renseigné 30 secondes avant de raler ? Peut être que l'équipe officielle de xiph ne veut pas aller dans la direction explorée par aoTuV, peut être que les fichiers ogg/vorbis et aoTuV sont compatibles et que les différences se situent au niveau de ce que fait l'encodeur, ...
      Non, moi non plus je ne me suis pas renseigné ;)

      • [^] # Re: fork

        Posté par  . Évalué à 10.

        D'après ce que je vois et comprends du peu d'expliquer ici : http://www.geocities.jp/aoyoume/aotuv/(...) , c'est effectivement une amélioration de l'encodeur (ça se dit comme ça ?). Les fichiers produits seraient donc entièrement compatibles.

      • [^] # Re: fork

        Posté par  . Évalué à 1.

        Dans le texte de la presentation de l'etude donnee en lien dans la news:
        >several developers - in response to Xiph's slow development rhythm - started developing tuning branches to standard Vorbis 1.0.1

        Je n'en sais pas mieux.

      • [^] # Re: fork

        Posté par  . Évalué à 3.

        Comme toutes les nouvelles versions de Vorbis depuis la Beta 2, ce ne sont que des ameliorations de l'encodeur. Le decodeur vorbis n'a pas bougé ou presque depuis la Beta 2, et il ne devrait plus bouger avent long temps. Vue que Xiph essaye d'avoir un support hard de son format ils vont pas s'amuser a changer le decodeur tous le temps et foutre les rares fabricants dans la merde.

  • # c'est quoi aoTuV ?

    Posté par  (site web personnel) . Évalué à 1.

    "Les deux gagnants à égalité sont aoTuV (un fork amélioré de Ogg Vorbis)"

    Quelqu'un a plus d'info sur ce format ?

    Je suis pas l'évolution de Ogg Vorbis de très près mais j'en avais pas entendu parler avant ... et je trouve pas trop d'info sur les différences entre les deux formats (le site de aoTuV n'est pas très explicite et en plus s'affiche mal chez moi ...)

    • [^] # Re: c'est quoi aoTuV ?

      Posté par  . Évalué à 0.

      le site de aoTuV n'est pas très explicite

      je suis bien d'accord. D'ailleurs rien indique explicitement que c'est un fork, peut-être que c'est une équipe qui teste de nouvelle fonction en vue de les proposer plus tard dans le codec Vorbis.

      et en plus s'affiche mal chez moi
      non je crois qu'il est tout simplement moche, il n'y a même pas eu une seconde de reflexion pour la mise en page.

      • [^] # Re: c'est quoi aoTuV ?

        Posté par  . Évalué à 3.

        Super, un volontaire qui a le temps de leur faire un joli site web !
        Leur adresse email est aoyumi at inter7.jp , contacte les vite pour leur proposer tes services.

        • [^] # Re: c'est quoi aoTuV ?

          Posté par  . Évalué à 1.

          bon j'ai plussoyer parce que j'ai tendu la perche. Néanmoins je ne suis pas graphiste ou concepteur de site web, par contre j'ai eu l'occasion de participer à un site web et avec le même contenu (trois fois rien) et sans techniques sofistiquées (HTML 4 + feuille de style) on peut passé d'un site repoussant à un site très lisible.

          • [^] # Re: c'est quoi aoTuV ?

            Posté par  . Évalué à 1.

            Oui bien sûr, mais faut avoir le temps et la motivation de faire ça. Personnellement c'est le genre de trucs que je trouve totalement secondaire, et que je néglige complètement. C'est probablement la même chose pour le gars de aoTuV

      • [^] # Re: c'est quoi aoTuV ?

        Posté par  (site web personnel) . Évalué à 0.

        "non je crois qu'il est tout simplement moche, il n'y a même pas eu une seconde de reflexion pour la mise en page. "

        oui mais pas seulement : j'ai des caractères qui ne s'affichent pas (je sais pas d'ou ca vient, c'est peut etre en raison de caractères non reconnus chez moi, genre l'alphabet chinois etc etc ...)

        • [^] # Re: c'est quoi aoTuV ?

          Posté par  . Évalué à 1.

          Ben ui, apparement l'equipe d aotuv est japonaise ... leur site etant bilingue... (c gentils pour nous, ils auraient pu tout mettre en jap) il fo ajouter le support des caracteres japonais

    • [^] # Re: c'est quoi aoTuV ?

      Posté par  (site web personnel) . Évalué à 7.

      Comme c'est indiqué en haut de leut page :
      Ogg Vorbis Encoder
      aotuv est "simplement un encodeur ogg vorbis amélioré, ce qui n'est pas un mal au vue de la "lenteur" de oggenc.

      Il ne s'agit pas du tout d'un fork du codec, les fichiers générés sont au format ogg vorbis

      voila, il suffit de lire, même si le site ne donne pas de détails.

      • [^] # Re: c'est quoi aoTuV ?

        Posté par  . Évalué à 2.

        Justement, je lis : "this encoder was made, in order to improve the quality of coding. "

        C'est donc pour améliorer la qualité, et non pas la vitesse de l'encodage.

        Par contre, si quelqu'un trouve de la documentation sur coment cette amélioration est faite... ou simplement la preuve de la compatibilté avec le format Vorbis OGG...

  • # Je fais la fine bouche...

    Posté par  (site web personnel) . Évalué à 4.

    Oui, le test est sympa et donne une bonne note aux formats ouverts, mais... 20 personnes seulement pour faire le test ! C'est bien peu à mon goût :(

    Il aurait fallu bien plus de personnes pour tester et avoir ainsi un test solide et représentatif. Car face à des marketeux, je doute que celà tienne le choc avec juste 20 personnes.

    • [^] # Re: Je fais la fine bouche...

      Posté par  . Évalué à 5.

      Tu sais, dans le domaine du marketing et du commercial, les études bidons, ca foissonne. En gros, tu payes par derrière un institut ou un consultant pseudo-indépendant pour qu'il te fournisse les chiffres voulus. Entre ceux qui ont interrogé 20 personnes bien choisies par téléphone, mais prétendent en avoir eu un panel représentatif de 500; ceux qui posent des questions évasives pour pouvoir mieux interpréter et corriger les résultats; ceux qui posent des questions techniques sur le coût de migration vers Linux à des décideurs qui n'y connaissent rien; etc... Ca n'a pas grande valeur.

      Ici, la méthodologie a l'air correcte (il me semble que Real est absent pour des pbs de licence), mais c'est vrai qu'un plus gros échantillon aurait été plus représentatif. Le gros point positif : je n'ai pas trouvé de "sponsors" cachés. Un argument en faveur de la validité et l'indépendance de l'étude.

    • [^] # Re: Je fais la fine bouche...

      Posté par  . Évalué à 1.

      L'echantillon est faible mais en contrepartie beaucoup de style musicaux sont confrontés à la moulinette des encodeurs. Bon, je suppose par contre qu'il doit y avoir un noyau commun parmis les testeurs qui ont réalisé le test pour tout les styles, donc c'est pas si independant, on travaille avec les meme oreilles...

      Enfin, comme ça on pourra pas accuser des concepteurs d'optimiser leur encodeurs en fonction du style (et de la cible ?) :°)

    • [^] # Re: Je fais la fine bouche...

      Posté par  . Évalué à 4.

      Il aurait fallu bien plus de personnes pour tester et avoir ainsi un test solide et représentatif.

      tu peux t'inscrire sur la mailing list et au prochain test, tu pourras participer aussi. Si 1% des lecteurs ici et sur /. font pareil, ca fera un échantillon un peu plus conséquent.

      D'un autre côté, le sondage est parti d'un site très orienté 'qualité' du son, et j'aurai tendance à plus faire confiance à leurs oreilles qu'à celles d'un large panel récupéré n'importe où.

      • [^] # Re: Je fais la fine bouche...

        Posté par  . Évalué à 3.

        Pas sur il faut atteindre un taux de reconnaissance de la piste original trés séver, pour que les resultats soit vraiment influent.
        Le mechanisme du test est simple.
        l'auditeur ecoute une reference, puis il doit noter 2 pistes, l'une est l'original, l'autre la piste compressée, apres il doit noter ces deux pistes. Si il se trompe et note moin bien la piste original ses resultats ne sont pas prit en compte.

    • [^] # Re: Je fais la fine bouche...

      Posté par  . Évalué à 9.

      Le test a été effectué principalement par les habitué du forum hydrogenaudio, qui sont a l'origine de pas mal de technologie et de setting en matiére d'encodage audio.
      Comme pour les test de codec video avec les forum de DOOM9, 20 personne hautement qualifié sont bien souvant plus efficasse que 200 personne qui n'ont pas une oreillie entrainé.

      Pour info j'ai voule participé a ce test, le logiciel offre un mode entrainnement qui permet aux testeur d'entrainer leurs oreillie a detecter des varations imperceptible. Il est clairement conseillier aux testeur de ne pas participer si ils n'ont pas atteint un taux de reconnaissance de l'original entre deux echantions de prés de 95%
      Au casque (Clarity HP840) une vrais carte son (audigy), et plusieur heure d'entrainement je n'arrive pas a passer en dessous des 40%.

      Donc si le test a été effectiué serieusement et que seul les oreillies d'or ( les fameux 95% ) sont prit en compte, le test est tous a fait valable.

      C'est justement en jouant avec de grand echantions, que les marketeux de MS peuvent pretendre avoir le meillieur codec audio du monde, alors que le WMA se ramasse a tous les test.

  • # AAC - Advanced Audio Coding

    Posté par  . Évalué à 1.

    Ce n'est pas un codec propriétaire Apple.

    Le codec AAC est un codec standard MPEG utilisé, entre autres, par Apple, Real..

    http://en.wikipedia.org/wiki/Advanced_Audio_Coding(...)

  • # MP3 Pro

    Posté par  . Évalué à 2.

    Étonnante aussi l'absence de MP3 Pro, au moment où on nous bassine avec sa soit-disant supériorité écrasante, avec un bitrate de 1 kb/s et une qualité DAT.

    • [^] # Re: MP3 Pro

      Posté par  . Évalué à 4.

      Le MP3 Pro a déjà fait l'objet de nombreux comparatif dans d'ancien test, notament celui des codec a 64Kps et un 128Kps, Ils c'est ramassé aux test a 128Kps même par rapport au MP3 CBR avec LAME c'est pourquoi il n'apparait plus dans les test.
      Seul les codec ou les encodeur qui ont subit des evolutions sont retesté, il est déjà trés complexe de tester 5-6 codec (pack de prés de 150Mo a DL) alors une douzaine ...

      • [^] # Re: MP3 Pro

        Posté par  . Évalué à 2.

        L'argument se tient.
        Par contre, je ne comprends pas pourquoi, si le nombre de codecs est forcément limité, ils ont préféré Atrac3 au MP3 Pro. C'est quand même pas super courant l'Atrac3, si ?
        Tant qu'à faire un comparatif, autant comparer ce qui est comparable (en terme d'utilisation et de volume).

        Et le fait que aoTuV et Ogg Vorbis soient testés tous les deux malgré leur (supposée par moi-même) « proximité » certaine, c'est bizarre. Je suppose toujours que l'auteur du test est très orienté logiciel et formats libres ou open source (la moitié des codecs sont open source). Ce qui pose la question de la valeur à accorder au résultat (les 3 open source en premier, même si c'est possible, ça paraît forcément louche au vu des autres réserves concernant le choix des codecs à tester et la méthodologie... 20 testeurs, hum).

        Sans compter que Lame, ça n'est pas forcément l'encodeur MP3 le plus réputé pour sa qualité à ma connaissance.

        Bref, encore un benchmark ou blind test ou ce qu'on veut qui n'est pas exempt de tout reproche (comme d'hab quoi).

        • [^] # Re: MP3 Pro

          Posté par  . Évalué à 4.

          * Seul aoTuV est testé. C'est une amélioration de l'encodeur Ogg/Vorbis et produit des stream 100% compatibles.
          * L'étude ne favorise pas les formats libres. Regarde la méthodologie, il est impossible de savoir à quel codec on a affaire http://ff123.net/64test/practice.html(...)
          * Pour ce qui concerne le peu de testeurs, cf. la réponse de Béretta_Vexee plus haut et la page http://ff123.net/64test/criticism.html(...)
          * Je pense que les minidisc de Sony sont largement plus utilisés que Ogg/Vorbis malheureusement.

        • [^] # Re: MP3 Pro

          Posté par  . Évalué à 3.

          L'Atrac3 ( nouvelle version appellée Atrac3+ ) va faire son grand come-back avec l'ouverture prochaine du magazin en ligne de sony musique, c'est pourquoi il apparait dans le test.

          Pour le vorbis aoTuv, comme pour LAME bien que ce dernier serve souvant de reference, ce sont les innovations proposé qui justifie leur presence, même chose dans une moindre mesure pour le MPC. Le MP3 Pro n'a qu'un ou deux encodeur qui n'ont pas bougés depuis des mois ils n'avaient donc pas leurs places dans le test.

          Pour info le test est principalement dut aux innitiative de Hydrogenaudio, communauté d'audiphile et non de defenceur de l'open source ou des formats libre. HA defendait le Musepack quand celui-ci n'était pas libre qu'il s'appellait encore MPEG+
          Quand aux 20 testeurs je me suis déjà expliqué la dessus, il y avait prés de 400 personne sur le torrent quand l'annonce est passé sur /., il y a eux surment bien plus de participent, mais seul 20 ont été conservés, ce qui prouve bien la rigueur du test.
          Une personne qui scorera n'importe comment ne sera pas prise en compte, et vue la difficulter pour distinguer certains codec a 128Kps ( avec des scores de 4.90 sur 5 !!! ) pas etonnent qu'ennorment de personne soit largué.

          Cinon pour info j'ai pas trouver d'ou vous sortez les 20 personnes ?

          • [^] # Re: MP3 Pro

            Posté par  . Évalué à 2.

            juste le grand N=n (entre 12 et 27) en titre de chaque graphe, cela doit etre le nombre d'individus par modalité.

    • [^] # Re: MP3 Pro

      Posté par  (site web personnel) . Évalué à -1.

      1 kp/s et une qualité de DAT ... hehe ... on nous refait le coup de i2bp ? :-)

      [souvenez-vous : http://linuxfr.org/2001/03/13/2705.html(...) ]

  • # Au risque de dire encore une bettise

    Posté par  . Évalué à 2.

    J'ai récement reçut reçu un balladeur MP3/atrac3 de chez sonny. Pour moi, loin d'être mélomane, l'atrac3 ne tiens pas la route. Il fait des fichier plus gros et de qualité très moyenne. Au niveau de l'atrac3+, c'est pour moi un surcompresseur. Il permet de réduire considerablement la taille des fichiers, (donc plus de chansons sur un MD ou un CD compil) mais la pérdition en qualité sonnore est terrible. Pour moi c'est presque comme la radio. Alors l'avantage de se payer un appareil NUMERIQUE à plus de 100euros pour avoir de la qualité radio svp un poste a transistor çà en coute que 5 d'euros.

  • # a propos de WMA

    Posté par  . Évalué à 4.

    Juste une petite correction sur l'article:

    Le codec utilisé est le WMA9, non WMA Pro. Les membres du forum Hydrogenaudio ont fait ce choix car, bien que le WMA Pro soit théoriquement supérieur en terme de qualité sonore, WMA9 a une base beaucoup plus large d'utilisateurs, est utilisé par certains distributeurs de musique en ligne, et il a un support hardware, ce qui n'est pas le cas de WMA Pro.

    Mon avis : WMA Pro n'aurait pas brillé beaucoup plus de toute façon que son petit frère dans ce test

  • # Ce comparatif n'est absolument pas valable

    Posté par  . Évalué à 2.

    1. Les différents codecs sont censés avoir été testés pour un bitrate de 128 kbit/s. Or on s'appercoit que finalement très peu le respectent strictement. C'est normal étant donné la technique de bitrate variable employée par certains codecs. En revanche il est faux de dire que le Codec OggVorbis est meilleur que le codec AAC de iTunes quand on voit que finalement iTunes a encodé à 128 kbits/s contre 135 kbits/s en moyenne pour Vorbis. Il en va de même pour le reste. Quand on voit les différences de qualité minimes parfois et que l'on parle de 5% de différence entre les bitrates effectifs, il n'est pas objectif de faire de tels classements.
    La technologie à bitrate variable est une excellente solution mais on constate que finalement elle abouttit au fait qu'il n'y a aucune garantie sur le taille du fichier à moins de 5% (ce qui est malgré tout considérable). Sur les dizaines de morceaux d'une bibliothèque cela finit par se chiffrer en dizaines de Mégaoctets.

    2. Il n'est absolument pas fait mention des fréquences d'échantillonage du signal numérique. Or cela influe beaucoup sur le résultat. J'ose espérer que les fréquences sont indentiques (certainement celle de la source utilisée pour l'encodage).

    3. La qualité audio est le critère primordial mais d'autres facteurs mériteraient d'être pris en considération tels que vitesse d'encodage, respect de normes, spécifications ouvertes (Vorbis pas exemple) ou fermées (WMA...) et pour les petits balladeurs ou assistants personnels : puissance nécessaire à la décompression.

    • [^] # Re: Ce comparatif n'est absolument pas valable

      Posté par  (site web personnel) . Évalué à 1.

      Très bonne analyse.
      Mais :
      3. La qualité audio est le critère primordial mais d'autres facteurs mériteraient d'être pris en considération tels que vitesse d'encodage, respect de normes, spécifications ouvertes (Vorbis pas exemple) ou fermées (WMA...) et pour les petits balladeurs ou assistants personnels : puissance nécessaire à la décompression.
      On s'en fout dans le test : l'interet est la qualité.
      - La vitesse d'encodage importe peu de nos jours : que je passe 5 minutes a encoder, ou 10, c'est la machine qui travaille de toutes manieres, et ca ne dure pas des jours.
      - Les specs ouvertes, ce n'est que linuxfr que ca interesse, pour un audiophile si A est mieux que B, A est open-source et B non, il choisira A car le critere open-source n'a aucun poids chez lui
      - la puissance necessaire a la décompression est certes interessante a voir, mais la on parle qualité, pas autre chose, encore une fois... Ce n'est pas un test de l'interet d'un codec, mais un test de qualité audio!

    • [^] # Re: Ce comparatif n'est absolument pas valable

      Posté par  . Évalué à 2.

      1. comme Roberto le disait pour la présentation de la série de test précédente, (http://www.rjamorim.com/test/128extension/presentation.html(...) ) c'est une étude à "approximativement" 128kbps. Le but est de tester des encodeurs avec un certain réglage de qualité, sans le bouger en permanence pour adapter le bitrate. ne pas "pénaliser des codecs parce qu'ils sont plus intelligents". Il y a aussi de longues discussions à ce sujet sur les commentaires de ces tests sur les forums d'hydrogenaudio.(http://209.152.181.168/~hydrogen/index.php?showtopic=21904(...) )

      2. C'est tout du 44,1 kHz (qualité CD) ce qui tombe bien vu que mpc ne fonctionne pas encore à d'autres fréquences (prévu pour la sv8)

      3. pas un critère ici, uniquement la qualité. Ce n'est pas un test fait par des pros du libre, mais par des audiophiles... Cela dit, la puissance nécessaire à la décompression et les modes de calculs pour cela (entier/réels) sont importants pour l'implémentation dans des balladeurs et autres lecteurs audios grand public.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.