Media ex Machina a écrit 54 commentaires

En effet, Mediainfo ne l’aime pas.
Par contre, ffprobe n’a pas du tout l’air d’être dérangé (et rien ne sera remonté dans Mediadeepa).

Donc, même si le fichier n’est pas conforme, ça n’a pas l’air de s’opposer à son exploitation.

Et qu’en pensent d’autres outils libres sur ce fichier ? Après les mov, hors mp4, ça peut être sioux parfois (sans compter le fast start).

Et je suis admiratif de l’organisation des pistes audio, avec un stream par canal 5.1… ça doit être fun à gérer derrière !

Et ce que tu serais reproduire/décrire le process qui produit ce fichier ?

A minima publier la sortie de ffprobe dessus?

Merci pour ton retour !

Je pense que ffprobe aussi, et je crois que je l’affiche. Je suis preneur d’un fichier d’exemple pour vérifier.

Merci pour ton compliment.

Oui, c’est exactement pour ça que j’ai écrit cette phrase. D’ailleurs, j’ai cette issue d’ouverte à ce sujet. Cependant, il traitera correctement la vidéo et la première piste audio (mono).

Il est prévu par la suite, notamment si le besoin se fait fortement sentir, de prendre en charge des topologies audio personnalisées et d’exploiter tous les flux. Ça va bouger pas mal le modèle de données internes. Cela risque d’avoir des effets de bord que je n’ai pas encore évalué.

Quand au QC, ça viendra plus tard, et je ne connais pas encore assez bien le MXF pour pouvoir apporter quelque chose dessus d’intéressant.

Après, s’il existe des outils libres qui me renvoient des informations et une approche pour les traiter (peut-être BBC BMX), ça serait avec plaisir d’insérer ça dans la roadmap.

Merci pour ton retour !

Les objectifs pour moi en terme de documentation, c’était que ça soit le plus compréhensible possible, complet sans que ça soit trop lourd, et surtout que ça doit coller avec ce que fait précisément l’application (à jour quoi). Le reste, c’est du bonus.

Si certaines phrases te semblent mal foutues, n’hésite pas à me les remonter !

Pour une VF, un bon coup de trad automatique… et ça devrait faire l’affaire, sinon, n’hésite pas non plus à me demander de l’aide !

D’autre part, Mediainfo peut interpréter certains résultats (heuristiques) pour apporter une meilleure réponse. Ceci est pratique pour l’utilisateur, mais dans des workflow techniques ou dans du debug, on veut avoir besoin de savoir exactement ce que le fichier prétend être. Et dans d’autres cas, on a même besoin de savoir ce que ffmpeg voit… dans les workflow où il va agir. Ffprobe répondra à ces questions.

La réponse courte : Mediainfo se limitera à lire les en-têtes et de les interpréter.
Ici, je vais demander à ffmpeg d’ouvrir le container et de décoder les images et les sons, ce qui va lui permettre de récupérer des informations sur le contenu lui-même. Cela peut prendre beaucoup plus de temps.

La réponse longue : les deux outils sont complémentaires, et redondant sur les informations extraites des en-têtes (via ffprobe de mon coté). Il est possible que Mediainfo sorte plus d’informations de son côté. Il est parfaitement envisageable de rajouter les informations issue de Mediainfo en plus de celles existantes dans Mediadeepa. Et peut-être même d’afficher des différences. À ma connaissance, Médiainfo, ne pourra pas sortir des informations ou des statistiques issus des paquets du container média, des images vidéos, et des sons.
Enfin, certains containers n’ont pas vraiment d’entêtes (MPEG PS/TS), et d’autres peuvent mentir dedans (AVI double audio). A un moment donné il peut être utile de voir ce qu’il y a réellement dans le fichier.

Sinon, en java tu as la classe Optional, qui va gérer les cas des null, sans rajouter d’if…

J’ai hâte de lire ta future News.
Et merci pour ton soutien.

Oui j’ai bien gardé en tête la lisibilité maximale, car c’est vite fait en bash de s’embrouiller… même si j’ai un peu de rouge encore dans shellcheck.

Après pour la portabilité, je vise bash et seulement lui. Ce code est sensé tourner sur une machine proche du dev, je m’autorise alors « quelques » dépendances !
L’idée est aussi de pouvoir forker et modifier facilement mon code pour des besoins annexes, comme changer le fichier de service fourni par défaut : d’où l’importance que les choses soient les plus claires possible. Pas envie de me reprendre la tête dans 6 mois (quand je ferait le deb 😄), surtout au vu du temps qu’il m’a fallu pour écrire tout ça  !

Déjà parce que c’est un peu galère le dev de plugins maven, surtout pour tester ça bien.
Je sais qu’il existe deja des choses de ce côté, mais rien d’assez pratique pour mes besoins.

Mon code produit une page man, un service systemd, adduser pour le service, une conf quasi prête pour le lancer juste après l’install. J’ai même prévu l’appel à liquibase pour mettre à jour la BDD si besoin.

Ensuite parce que je bricole ce code/concept depuis longtemps, ce qui est récent ici, c’est le RPM produit.
Et un jour le deb.

Le dev d’installeurs, c’est ingrat.

Merci pour ton soutien gUI !

Si tu as des besoins, des questions ou des idées, n’hésite pas à me les remonter.

Merci !
Et n’hésite pas à me faire un retour.

Ma contribution 😅 :

Media ex Machina principalement de la vulgarisation technique sur les médias (image, son, transcodage, codecs…)

Tout est dans la documentation, voir la page « Package Repositories » sur le Wiki PVE.

C'est l'info qu'il me fallait : ça semble résoudre le pb de l'update et du warning.
Merci

Tu utilises un produit dédier aux professionnels (mais qui est totalement libre et gratuit pour tout le monde) et tu te pleins qu’il soit dédier aux professionnels, si ça c’est pas de la mauvaise foi.

Certaines boites ont tendance à faire du "OSS washing" en prétendant faire du libre (et gratuit) mais en ayant une politique qui te force à payer un service ou une licence.
Après la notion de "professionnel" ne joue que sur le support et une forme de garantie de service.

Plot twist : les quelques fois ou j'ai croisé Proxmox, c'était dans un cadre associatif (et gratuit).

Il m'avait semblé qu'il était dispo gratuitement, modulo le support bien sur.

J'ai fait très récemment un essai, et entre le popup qui me balance (trop) régulièrement un message du genre "vous n'avez pas de licence !", la déconnexion auto de session trop rapide qui tombe n'importe quand, et la mise à jour auto qui te balance en erreur qu'il n'arrive pas a se connecter à un dépôt qui semble t'il demande une licence, j'ai bien pensé avoir à faire à un shareware proprio.

Je suis surement stupidement passé à coté de quelque chose, mais à ce prix et en tant que particulier/non-pro, c'est vraiment trop cher pour avoir la paix. A moins qu'il existe une version community quelque part !

Désolé d'avoir pousser une gueulante ici, ce n'est surement pas le bon endroit :/

Oui, et le cache disque, c'est bien, mais ça a ses limites. Quand on pelte des Go de fichiers, vient vite le moment ou c'est depuis les disques que viennent les données. L'idée du cksum ici est surtout une façon absolue de dire que la copie est intégrale plus de dire que le fichier source n'est pas altéré. Si un cksum n'a pas été calculé au moment d'écrire la première fois, on ne peut plus savoir (enfin être certain) que le fichier est toujours intègre au moment de son archivage.

Pourquoi est-ce piégeux ?

En fait, pour mieux comprendre le pourquoi, il faut comprendre le besoin :
T'a des To de fichiers (qq Mo à 100 Go) étalés dans des stockages hétérogènes, dans des stations de travail spécialisées, dans des vieux stockages, dans des SAN/NAS à protocoles et clients proprios.
Tu doit bricoler des montages de montages, rebondir de machines en machines. Via des vieux linux, des vieux macs.
Et le but c'est de tout réunir pour l'envoyer dans un stockage "sur" qui est parfois le sas d'entrée vers un système d'archive vers LTO.

Et la copie est lancée, t'a 150000 fichiers, la copie va prendre une 30aine d'heures. Tu voudrait enlever certains types de fichiers, et donc tu voudrait faire un tri préalable avant de tout lancer. Et parfois la copie rate en cours. Un montage saute. Les perfs s'effondrent. Pire, un file system saute et bloque net le transfert. Obligé de reboot.
Et tu ne veux pas tout recommencer, le scan, le tri, les copies, etc…
Le calcul du débit moyen et instantané pour détecter les pb avec le FS, c'est redoutable quand il que dit que tu fait du 2 MB/sec en moyenne et du 100 MB/sec en instantané.

ExtendCopy est fait pour cela. Surtout pour cela.

Ensuite, ce n'est peut-être pas clair, mais il calcul un MD5 (ou autre) pendant la copie, le note, et il y a une fonction qui fait un replay sur les fichiers copiés et qui vérifie les mesures.
Le fichier produit en sorti (un txt tabulé) est la preuve de ce qui a été copié, et que c'est bien copié. Quand on parle client/fournisseur/prestation/assurance/facturation, c'est important.

J'ai fait ce dev car… j'ai rien trouvé pour faire cela facilement. Les scripts bash, c'est bien quand t'est chez toi a ton bureau, c'est chaud quand t'est en clientèle, dans leur nodal, à 4 pattes par terre devant le seul écran trouvé, le nez sur un XSAN bardé de bad-blocs.

Pourquoi un problème avec Java ? Les perfs ne sont pas ridicules du tout ! et c'est parfois plus simple à déployer quand on doit jouer avec des OS un peu anciens ou exotiques.

Pour les dates et les droits, c'est une volonté.

En archivage de média, la date d'archivage (ici de copie) est importante car elle marque le début du stockage sur un nouveau support d'archives des éléments de travail. Ensuite, ça arrive d'avoir des gros systèmes qui ne sont pas du tout à l'heure (ou qui ne la gère pas) et de se retrouver avec une date qui ne correspond à rien.

Pour les droits, ça n'a pas beaucoup d’intérêt en archivage car c'est très rare que cela serve, sans compter les potentiels problèmes avec des montages de FS réseau qui gèrent ça très mal (ou qui mentent, c'est pareil).

Pour les histoires de dates et de droits, rsync fait ça très bien ! Et il y a toujours moyen de modifier ExtendCopy pour le prendre en charge.

Wow ! ExtendCopy, ça marche toujours ?! C'est super vieux dev ! Il mériterai peut-être rafraîchissement avec NIO2.

Et… ça va ? Pas de problèmes ou de manques en particulier ?

Oui, le LL arrive là où le proprio atteins ses limites (notamment en terme de tarifs). Le monde des médias évolue énormément, et des gens comme Netflix font leurs petites révolutions, y compris dans le LL.

Je n'ai pas encore de documentation écrite "pointue". Je pense que cela va venir au fur et a mesure.

Pour les choix de ES et de Cassandra, se sont le résultat de grosses réflexions car le besoin est très varié. j'aimerai me passer de l'un ou de l'autre, voir des deux, mais ce n'est pas encore possible.

J'ai notamment besoin :

• De tenir la charge en terme de quantité d'éléments sans pénaliser la vitesse
• De TTL dans les enregistrements
• De faire des locks centralisées en DB
• De gérer des files d'attente de taches en DB
• D'un moteur de recherche rapide et souple
• D'une installation la plus simplifiée au possible (donc éviter d'avoir plus de 2 moteurs de DB différents et d'avoir un process d'init de base le plus simple possible)
• De multiplateforme aussi bien pour l'applicatif que pour les bases. Et ça doit tourner sur des OS qui ont 5 ans.
• De pérennité, d'assurance comme quoi cela a déjà fait ces preuves.

Et tout cela depuis 2011, au moment ou j'ai commencer les travaux sur MyDMAM.

Pleins de technos peuvent répondre à ces besoins. Mais il n'y en a que peut qui sont facilement accessibles de 0, libres, sans avoir une courbe d’apprentissage très raide.

Non, car je préfère garder un fonctionnement hors Docker. Il n'est pas disponible partout, demande des prérequis d'admin que tout le monde n'a pas, je ne connais pas son comportement sur des FS exotiques et lors de gros IO et enfin je manque de visibilité sur du long terme. En tout cas c'est mon avis. Si quelqu'un propose une config Docker et un how-to, je l’intégrerai !

Merci Mimoza !

Oui, je ne l'ai pas mentionné ici, mais j'ai basculé sur log4j. Mon ancien système de log m'a beaucoup appris, mais log4j est aussi puissant que simple et pratique. La marche a passer est un peu haute au début, et après cela va tout seul.

Le déploiement n'est pas vraiment "automatique". C'est un script ant qui mache le travail, et un script bash (un pour linux, un pour macOS) pour la pose de chemins absolus dans les déclarations de services (de fait, ils sont produits pas le bash).

Pour windows, j'utilise WinRun4J (64). Il n'y a même pas besoin de scripts pour lui.

Docker… je suis pas trop fan car je n'ai pas encore touché ses avantages par rapport aux inconvénients. Notamment par le fait que ça fait un truc de plus à gérer et tester car je suis obligé de garder un déploiement traditionnel. Et je n'aime pas les modes. Techniquement, il n'y a aucune contre-indication à Docker.

Ma question n'est pas tant technique que légale. Puis-je redistribuer comme ça des binaires libres ?! Et sous quelles conditions ?

Je n'utilise pas Maven. Mais j'imagine en effet la puissance de la chose.

Après certains imports ont mal fonctionné, comme ffprobe.xsl qui bug par défaut (j'imagine que ça doit être plus chaud à scripter), et je montre ici plus une demo/exemple fonctionnelle qu'une vraie implémentation.

Alors les différences fonctionnelles entre JAXWS et JAXB, j'avoue, je n'ai pas poussé la science aussi loin ! Peut importe qui fait quoi, du moment que cela marche. Je n'ai surtout pas la prétention de faire un cours sur cela ici.

Pour Vantage, quel interet d'utiliser l'API REST quand on a le SOAP ? Je veux dire, d'un coté j'ai toute une structure Java déjà faite et fonctionnelle (avec SOAP/JAXWS donc), et de l'autre, je doit la fabriquer moi même en regardant la doc, vu que j'imagine qu'il n'est pas capable de produire les classes tout seul ?

Par contre, j'ai d'autres systèmes à piloter qui sont eux, en REST & Json seul. Peut-être que l'une de tes 3 propositions vont m'y aider !