barmic 🦦 a écrit 5976 commentaires

Bien sûr que c'est lié. Tu as des formats qui peuvent exprimer directement tout cela ça montre bien que ça va avec. Faire l'un sans l'autre c'est ce qui peut mener au problème présenté.

Ne pas systématiquement prendre l'ensemble ça peut mener pas mal de problème et générer de la complexité là où il n'y en a pas besoin.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

D'ailleurs ce que tu gagne sur cette boucle tu la perds largement dans les 3 boucles de la lecture du fichier

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Le problème de ton article n'est pas un problème de format, c'est un problème d'échange de données.

Choisir son format avant de savoir ce qu'on va mettre dedans et les propriétés attendues n'a pas de sens.

Sinon c'est du plaisir intellectuel sans chercher de mise en pratique, mais alors il y a des formats plus stimulants qu'utiliser les délimiteurs ascii je trouve.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

C'est pour cela que j'ai utilisé le module CSV en changeant… la notion de fin de ligne ! Surprenant non ?

J'ai bien compris mais ta documentation argpars parle de csv, c'est trompeur, non ?

Pour la list comprehension, c'est une optimisation à deux sous j'en conviens. J'ai cru lire quelque part qu'une boucle dans une list comprehension est plus rapide qu'une boucle sans. Ce n'est peut-être plus valable avec les dernières versions de Python.

Mais tu créé une liste potentiellement grande. C'est de l'optimisation prématurée je trouve

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Un périmètre fonctionnel c'est la limite entre ce que fait et ce que ne fait pas un logiciel. Dans le sens ce qui fait parti de son job qui tu préfère.

Peut être que parler de fonctionnel fait penser aux SS2I/ESN, mais ça ne me paraît pas être sale. Tu préfère parler de métier ou tu as un autre terme pour parler de ce qui est non technique dans un logiciel ? Par exemple si tu fais un logiciel de bord le pilotage, c'est le métier ou le fonctionnel, c'est la connaissance non informatique que tu dois inclure dans le logiciel.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

C'est marrant parce que ton script a peut être les même limite que l'article → des limites du nombre de lignes.

• readlines l'API de csv peut consommer un générateur de ligne, ça éviterait de prendre tout le fichier en mémoire une première fois
• [ws.append(row) for i,row in enumerate(reader)] les list comprehension c'est fait pour construire des listes plus que pour itérer, ici tu construit une liste du nombre de lignes pour rien

Tu parle de ASCII Delimited Text, mais dans ton script tu ne fais référence qu'à csv.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Quelle est la longueur maximale de tes lignes ?
Quels données sont nécessaires ou pas ?
Ton format de dates, c'est quoi (avec la précision, la nécessité ou non d'une timezone) ?
Les unités de tes chiffres ? Leur précision ?
L'ordre des colonnes est-il portant ?
Tu as des numéros de téléphone quel formats ?
Tu as des données géographiques ?
Tu as des données binaires ?
Tu as un nombre variable d'adresse par ligne ? Tu les mes dans des colonnes séparées, tu fusionne tout dans une colonne ? Avec quoi comme séparateur ?
…

Encore une fois l'important c'est de se mettre d'accord (ou d'accepter le fait de ne pas se mettre d'accord), le format derrière c'est un détail.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Et donc ? Utiliser le format superformat3000 va mécaniquement changer quelque chose à ça ?

Si personne dans la boucle ne s'intéresse à la spécification du format tu n'aura pas mieux. Les DTD peuvent donner des données aussi impossibles à reconstruire qu'un csv.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

ça marche assez bien mais il y a toujours plusieurs manières de faire.

Faire une regex sur un fichier qu'on ne maitrise pas, sans plus de vérification préalable c'est vraiment plus sujet aux erreurs. Demain les mainteneurs de l'image se basent sur des dépôts qui n'ont que la section main par exemple, ton build va exploser. Moins violent S'ils ajoutent divers dépôts ayant des section contrib et non-free, ton temps de build va augmenter pour rien.

Si vraiment créer un fichier te pose problème (mais séparer ce qui fait parti de l'image de base de ce qui est de ton ajout n'est jamais vraiment une mauvaise idée amha), tu peux ajouter une ligne en fin de fichier.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Mais je suis aussi à blâmer: j'ai souvent utilisé Excel ou CSV pour échanger des données alors que je sais pertinemment que c'est mal.

Peut être, peut être pas. Les choses ne sont pas mauvaises ou bonnes en soit. On parle d'échange, le médium n'est qu'un détail. Si possible on retarde son choix. L'important c'est de mettre d'accord l'expéditeur et le destinataire. C'est ça qui fait que ça marche ou pas. Le format ne va pas sauver miraculeusement un projet qui ne fait pas de tests.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

JSON/xml/autres languages a balises sont plutôt mauvais pour le transfert de données brutes à large échelle.

Tu entends quoi par données brutes ?
C'est quoi ce que tu appel large échelle ?

CSV, c’est une ligne une donnée, donc trivial a streamer, le parseur est très simple à écrire, ça se parallélise très bien

Non ? Une ligne n'est pas forcément une donnée complète. Le parseur est très simple à écrire effectivement (tu lis caractère par caractère et tu maintiens une pile d'état pour gérer les niveaux de protection), mais ça ne se parallélise pas vraiment. Tu es obligé d'avoir déterminé la fin de la donnée précédente pour savoir commence la suivante.

tu sais combien de données t’es censé avoir d’entree de jeu

Je sais pas ce que tu as voulu dire ?

trivial de se rappeler ou tu t’es arrêté.

Ça c'est vrai, tu prends l'offset du début de la dernière donnée que tu as lu.

Tout ça est très avantageux quand il s’agit de faire un dump d’une db et le réimporter dans une autre.

Bof beaucoup évitent je pense que csv est un format trop simple :

• une partie est paramétrable (séparateur, protection,…)
• csv ne permet que de gérer une partie de ton formalisme, tu es obligé de reconstruire un format par dessus

Je pense que c'est pour ça par exemple qu'on voit des exports sous forme de requêtes SQL, c'est vachement plus simple puisque c'est un format qu'ils connaissent déjà, qui a donc tout ce dont ils ont besoin, qui va permettre de gérer des trucs impossibles avec csv (la création d’index, le commit de la transaction,…). J'ai l'impression que les bidouilles csv est plutôt fais par des outils tiers.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

# ---environnement d'exécution
from debian:10

run apt-get -y update
run sed -i -e 's/main/& contrib non-free/' /etc/apt/sources.list && apt-get update

Il y a un update en trop, mais surtout je trouve cette façon d'ajouter un dépôt assez fragile. Ajouter un fichier dans /etc/apt/sources.list.d me paraît plus fiable.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Aucun des GAFAM (ou même ici, DO) ne serait où il en est sans les logiciels Libres et le travail, principalement bénévole, des contributeurs.

Déjà pour Microsoft je suis pas certain que ça s'applique. Ils sont devenu énorme grâce à des logiciels interne. Windows, MS Office et même DOS ne doivent rien au libre de ce que j'en sais.

Mais les GAFAM sont d'énormes contributeurs au libre. Google, Microsoft et Facebook sont vraiment d'énorme contributeurs (en infrastructures fourni, en patch proposés et en techno mise à disposition, la mise en place d'évènement pour développer du libre). Je pense qu'en terme de non redistribution c'est les entreprises un peu plus petites qui sont les moins redistributrices.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Tout à fait c'est pour ça qu'on a abandonné la taxe GAFA par exemple.

Vous énoncez des idées de manière hyper partisanes, on plonge allègrement dans les arguments FUD, puis complotistes, puis tous pourris,… en extrapolant à partir de rien ou pas loin. Mentir, se mettre des œillères ne sert jamais la cause que l'on croit défendre. Ce n'est pas en inventant des tares que l'on peu remettre en cause la dominance des GAFA, s'appuyer sur ce qui est parfaitement indéniable suffit.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

La sanction maximum, on en rediscutera le jour où elle tombera.

Mais… Euh… Comment expliquer ? Elle tombera s'ils ne se mettent pas en conformité c'est comme ça que fonctionne toutes les lois quelque soit le domaine. Comme je l'ai dis, ils peuvent retarder, mitiger, mais pas ignorer.

Pour le reste je laisse les arguments complotistes aux complotistes. Je ne vois pas ce qu'il est possible de répondre à des arguments comme :

Quoiqu'il en soit, le truc pratique avec la corruption, c'est que quand c'est bien fait, ça ne se voit pas. Donc je ne peux pas affirmer que c'est pratiqué ou non par Google.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Mais à l'heure des whatsapp/messengers/skype/autres messageries instantanées il y a encore des gens qui utilisent les MMS ?

5 millions sur l'année 2017, ce n'est pas beaucoup (en France on parle de 185 millions de sms/an sur la même période). C'est difficile à comparer avec les messageries qui ne sont pas associées à des numéros de téléphone.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

https://www.laquadrature.net/2019/01/31/nextinpact-rgpd-pourquoi-la-cnil-a-inflige-50-millions-deuros-de-sanction-a-google/

Le fait que google soit sanctionné montre que google agit en toute impunité ?

Elles prennent en compte le temps que les procédures, enquêtes, jugement, etc durent. Elles estiment aussi combien de temps elles peuvent les faire durer (longtemps). Elles évaluent la sanction la plus probable (très rarement la sanction maximum). Et elles mettent ça en rapport avec le bénéfice perdu estimé si elles se mettaient en conformité immédiatement.

Le max c'est 4% du CA annuel, ça a était conçu pour faire ce genre de calcul et qu'il ne soit pas acceptable de ne pas le respecter. Le retarder, le mitiger peut être l'ignorer non.

Il y aussi la possibilité de corrompre des personnes bien placées. Là aussi, un calcul possibilité/coût/risque est probablement fait.

Tu rigole ? Les procédures d'appels font qu'il va te falloir une série de corruption et les sanctions sont tout de même dissuasives à titre individuel pour les personnes qui les commettent. On peut affirmer que la justice ne fonctionne pas, que google est une mafia, que tout le monde est corrompu, mais si tu l'affirme on est plus dans la discussion, mais dans de la calomnie et ça ne m'intéresse pas vraiment d'argumenter là dessus.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Le débat mérite d'être posé (comme tout choix de société)

C'est vraiment un choix de société ? On veut maintenant se demander si c'est une bonne idée de consteller le territoire d'antenne ? Ou alors c'est maintenant après les divers wifi, adsl, fibre et évidemment les 4 premières générations de réseau qu'on se réveille et on se dit que non là franchement c'est pas une bonne idée de faire tant.

En terme d'usage, la fibre c'est pour, elle pousse la 4k, impose un changement d'équipement (ce qui ne l'est pas avec la 5G, qui ne fait presque pas de changement d'un point de vue matériel, seul certains vont renouveler plus vite leur téléphone, mais ils le renouvelleront avec ou sans 5G), pousse a renouveler les tv, etc effet rebond tout ça tout ça

Soit on vient de se réveiller et on remet en cause le modèle, mais amha c'est très impopulaire. Soit c'est une peur des ondes, de l'écologie à la petite semelle, etc

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

De ce que j'ai pu voir, dans le domaine ils sont fiers comme des paons que SS7 c'est sécurisé pas comme ta pile internet toute vérolée et pour qu'ils se rendent compte que SS7 est cassé, qu'ils débloquent des budgets, que les projets soient déployés,… On a encore un certains temps. Sachant qu'outre l'inertie logique dû à comment marche tout cela tu as la peur de flinguer ton réseau. Tu as toujours un risque de laisser sur le carreau un téléphone codé avec les pieds qui pourra plus (ou mal) se connecter ou va perdre des fonctionnalités du réseau.

AMHA il faut pas tenter de mettre du tls dans les MMS faut juste arrêter d'utiliser ce truc. Je suis sûr que 4 xep et tu as un xmpp qui fait le café. Il manque vraiment des trucs pour que xmmp puisse avoir toutes les fonctionnalités des sms et des mms, mais ça s'implémente (bon par contre ça tue le marché des smsc… zut alors). Il faut juste que 3gpp arrête de regarder son nombril.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

On (moi en tous cas) imagine que ces fonctions de base sont plutôt faites dans des langages comme C ou C++. Performances, toussa…

En 2017, on a envoyé ~5 milliard de MMS, soit 157mms/s, si c'est bien réparti on parle de 40mms/s par opérateur. Mais surtout de ce que j'ai pu voir des opérateurs ils s'en foutent un peu. Comme c'est montré dans le journal, si ça plante tu peu le récupérer dans les 3 jours. Donc à un moment tu y arrivera bien, hein ?

C'est pas une critique de ton commentaire, c'est juste pour donner mon ressenti de ce que j'ai pu voir après les quelques mois à avoir travaillé là dedans.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Alors bon, on peut s'entousiasmer que quelqu'un promeuve le libre / l'open source, mais la manière dont ils le font, sans encadrement, en limitant à github, donne l'impression qu'ils en ont rien à faire, au fond, et que tout est faux.

Il existe une vraie problématique pour les projets d'avoir de nouveaux contributeurs, c'est un fait. Ils ont tenté quelque chose, ça n'a pas marché. Pourquoi leur faire un procès d'intention ? C'est facile de juger après coup c'est déjà quelque chose d'avoir essayé. Parce que c'est aussi ça le libre, essayer et voir ce qui marche ou non.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

J'en profite quand même j'ai oublié dans mon commentaire au dessus : merci pour ce journal très intéressant :)

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Le MMS est donc téléchargé par HTTP via les données mobiles. Et pourquoi pas par Wifi ? Certainement parce que l'opérateur vous identifie facilement via la connexion mobile.

C'est même impossible d'avoir l'authentification de la SIM en wifi…

(alors oui, chez Free, à chaque fois que vous récupérez un MMS, quelque part un script PHP est exécuté. Amusant, non ?)

Je sais pas, pourquoi ?

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

T'a qu'un bout de l'histoire. MMS c'est plutôt simple et bien fait. Mais c'est un miracle à chaque fois qu'un SMS arrive à son destinataire… Entre les divers protocoles, les formats et les diverses implémentations qui ne respectent pas les standards mais sont des standards de fait. Les opérateurs serrent les fesses chaque fois qu'ils touchent à ça.

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll

Note que je ne remet pas en cause l'intérêt des dimensions. Je trouve juste que de tenter de coller ces caractéristiques à du libre n'est pas pertinent.

Et il y a d'autres écoles. Si tu regarde la fondation Apache, il y a un cahier des charges pour qu'un projet y participe. Le libre (pour être précis : utiliser la licence Apache) n'est qu'un des points.

Tout un chacun peut avoir ses critères personnel. C'est juste qu'affirmer que ces critères sont la définition du libre c'est dommage voit non pertinent.

Ça pourrait être intéressant pour vous d'établir une liste de caractéristiques importantes pour vous (libre avec copyleft, copyright partagé, une certaine quantité de contributions,…). Il n'y a pas besoin d'en appeler au libre pour ça. Ça permet de clair avec vous utilisateurs aussi.

---

Pas d'offense cette question de ce que l'on met derrière libre ou non est une vraie question. Beaucoup de gens tentent d'y placer leurs idées politiques (au sens général sur l'organisation et ce qu'ils aimeraient y voir), c'est une forme d'entrisme qui me gêne (sans jugement pour l'idée en elle même).

https://linuxfr.org/users/barmic/journaux/y-en-a-marre-de-ce-gros-troll