raphj a écrit 1729 commentaires

ce que tu dis, c'est comme dire que c'est nul qu'on soit pas encore tous passé à IPv6.

Non, parce que le standard omniprésent, c'est déjà l'UTF-8 (pas comme IP où le standard omniprésent, c'est encore IPv4)…

Mais c'est vrai que c'est con qu'on dépende encore d'IPv6, moi ça me coûte 1€ par mois pour avoir une adresse IPv4 sur mon serveur… :-)

Donc faut arrêter de faire en sorte que son logiciel fonctionne avec IPv4 parce que c'est le passé

Non, mon souhait c'est qu'un truc qui produit du texte le fasse en utf-8 ou utf-32. Celui qui le lit peut continuer à comprendre ISO-machin-truc ou windows-chose-bidule. Mais oui, je crois vraiment que les mécanismes de détection automatique de charset risquent de baisser les motivation de réparer le problème que ça résout à la source. Devrait-on alors arrêter de faire de la détection automatique de charset ? Non, ne ne pense pas non plus.

ou que Wayland est le futur, donc faut arrêtez de faire en sorte que nos logiciels marche avec X11

Bof, j'utilise toujours X11, de moins en moins convaincu par Wayland xD
Mais bon, peut-être que ça va bientôt marcher…

tu auras bien du mal à me convaincre (et "convaincre" uchardet) que c'est un décodage pertinent

Mais je ne devrais avoir personne à convaincre de quoi que ce soit : si je saisis un texte, il devrait ressortir tel quel. Je m'en fiche de savoir que tu penses que le contenu ne soit pas pertinent. Mon argument, c'est que la détection de charset, c'est bien, si on ne peut pas faire autrement (et évidemment que dans le monde imparfait dans lequel on vit, c'est souvent le cas - je m'en servirai volontiers en cas de besoin.)

Ahahah. Je suis pas du tout frustré par la situation

Je parlais des gens qui on fait ftfy.

Par ailleurs je suis assez d'accord avec tout ce que tu dis. Et ce que fait uchardet et les outils similaires, c'est ultra utile dans le contexte du monde pas idéal dans lequel on est. C'est super que des gens comme toi bossent dessus. Évidemment. Faut pas prendre mon message comme une attaque. Si on est dans une situation cassée, ok, on va utiliser ce qu'on peut pour retrouver le contenu original vraisemblable avec des stats et des heuristiques. Mais c'est important de reconnaitre et documenter les limitations, même si on ne peut rien faire de mieux.

Juste que ça devrait être du dernier recours. À chaque fois qu'on en a besoin, c'est qu'il y a un bug quelque part (mauvais passage de l'information du charset utilisé).

Super, merci pour cette dépêche et ce travail remarquable. Tu multiplies les contributions utiles décidément.

J'ai longtemps eu du mal à ne pas avoir l'impression que "chardet" est une erreur de frappe sur "charset", avec le S qui est juste à côté du D en qwerty / azerty. Bref.

Et c’est ainsi que Mozilla a décidé de ré-écrire un nouveau projet en Rust. Dans leur article, ils citent uchardet (sans le nommer autrement qu’un « fork non-Mozilla » avec un lien vers la page d’uchardet)

Ça vaut peut-être le coup de leur signaler. C'est une formulation maladroite et malheureuse, et je ne pense pas que ça soit malicieux.

et le fait qu’il est bien plus complet maintenant qu’il ne l’était à l’époque, mais qu’il manque encore des fonctionnalités. Ils ont donc préféré ré-implémenter du début (une logique qui m’interpelle)

En tout cas je vois un intérêt de travailler en Rust. S'il y a bien une brique logicielle qu'il est intéressant d'avoir en Rust dans un navigateur web, c'est une détection de caractère, avec probablement plein de fichiers d'entrée tout pétés avec des failles de sécurités plus facilement évitables dans ce langage.

Notons qu’idéalement, vous devriez même retirer tout texte structurel qui pourrait interférer avec la détection (j’en reparlerai dans la section sur les principes de détection. Par exemple pour retirer les tags HTML sur une seule ligne:

$ curl https://www-archive.mozilla.org/projects/intl/universalcharsetdetection | sed 's/<[^>]*>//g' | uchardet

(il manque une parenthèse fermante dans le texte)

Ça nécessite que sed lui-même se débrouille suffisamment bien pour détecter le charset xD. Heureusement, en général, les caractères spéciaux XML (< et >) sont toujours codés de la même manière, compatible avec l'UTF-8 que sed attend probablement. Sauf en UTF-16, UTF-32, UCS-2 ou des trucs comme ça, auquel cas sed ne va juste rien transformer, et uchardet sera probablement capable de reconnaître le bon charset correctement. Donc si ça se trouve, ça fonctionne tout le temps, mais pour des raisons un peu plus intéressante que ce qu'on pourrait penser initialement.

Et du coup, la détection de langage dont tu parles, c'est des langages naturels comme le français, des langages informatiques comme l'HTML, ou les deux ?

Mais leur argument de base est faux: si, de nos jours, on sait globalement très bien et très efficacement détecter le codage de flux de textes donc le codage d'origine est inconnu

La détection de charset est très utile, mais ça devrait être du dernier recours quand tout à échoué. Ça marche très bien, mais ce n'est pas parfait.

Qu'est-ce qu'il se passe si je voulais vraiment écrire « ½uf » ? Les outils de détection automatiques risquent d'altérer mon texte. C'est peu probable, mon texte sera probablement plus gros et d'autres éléments permettront de désambiguïser, mais il vaut mieux que le charset soit fourni avec le texte dans le format qui le contient ou dans les métadonnées de transfert, qu'il soit correct et qu'il ne soit pas perdu.

Aussi, c'est triste que ça ne fasse pas 20 ans qu'on n'ait pas bougé à UTF-8 ou UTF-32 par défaut pour tout ce qui est écrit dans un alphabet latin (voir tout, tout court). Parce que bon, finalement, les problèmes d'encodage, ça vient principalement du fait que certains systèmes s'obstinent à pondre du windows-1252 ou du windows-1256, parfois à le déclarer comme du ISO-8859-15 ou inversement. Avec les fichiers de sous-titres justement, il y en a encore plein avec des soucis d'encodage, même de films et séries récentes. On voit encore passer plein de mails en windows-xxx, pour peu qu'ils aient été produits avec des outils MS. Cette négligence nous coûte de la complexité et les détecteurs de charset ont en effet encore de beaux jours devant eux. Je comprends bien qu'il y a des enjeux de rétrocompatibilité, mais il y a un moment où faut décider de corriger les choses, fournir des outils de compatibilité et arrêter les bêtises.

Je comprends la frustration : si ces outils n'existaient pas, peut-être que les logiciels qui produisent du contenu s'assureraient peut-être de standardiser sur un sous-ensemble utile de charset ( distinguables entre eux par le fait que les caractères de l'un sont illégaux dans l'autre) au lieu de laisser tout le monde se débrouiller avec des formats tous pétés.

Je ne suis pas expert et je ne sais pas si une loi interdit d'envoyer des intervenants à une adresse qui ne t'appartient pas sans le consentement des personnes occupant cet endroit (c'est quand même une sorte de nuisance, j'espère que oui), mais j'imagine bien les gendarmes pas très contents venir toquer à ta porte pour te remonter les bretelles, sans forcément te condamner formellement. S'il y a bien des gens à l'aise pour remonter des bretelles, c'est certainement eux / elles.

Je ne serais pas joueur perso.

Une idée fun, mais ça me parait risqué, c'est peut-être bien toi que les gendarmes vont finir par aller chercher.

Maintenant, je décroche et je ne dis rien du tout. Pas de bruit de respiration.

En général, ça raccroche tout seul et ça ne rappelle pas. Et j'ai de moins en moins d'appels (aucun sur ces derniers mois).

Mon hypothèse, c'est que les appels sont lancés de manière asynchrone et qu'on est mis en relation avec un opérateur ou une opératrice quand on décroche. Un robot détecte si ce n'est pas un numéro foireux (fax, numéro sans téléphone, autre machine). S'il n'y a pas de son après avoir décroché, le robot décide que ce n'est pas un bon numéro, raccroche et mets le numéro dans une liste de numéros à ne plus appeler.

Je ne sais pas si cette hypothèse est vraie mais pour l'instant ça m'a réussi. J'aime beaucoup mieux comme ça, je n'ai pas à vivre ce moment où je dis non à un humain, ce que je n'aime pas du tout faire, et en plus je suis de moins en moins embêté.

En tout cas pour le moment. Si on est beaucoup à faire ça, peut-être que les entreprises qui démarchent vont s'adapter…

Ça marche bien aussi parce que quand quelqu'un vous appelle pour un motif légitime, la personne a le réflexe de dire "Allô ?" et donc vous savez que ce n'est pas du démarchage et ce n'est pas trop bizarre socialement parce que des moments où la voix n'arrive pas tout de suite à cause de problèmes techniques, ça arrive tout le temps et ça peut même ne pas se remarquer du tout.

Courage Olivier !

Grammalecte est un projet fantastique et très utile, mais rien ne t'oblige à travailler dessus si tu n'en a pas la force actuellement. Tu ne dois rien à personne. Ce serait presque l'inverse. Il n'y a pas de raison de te sentir coupable de quoi que ce soit.

En tout cas, aujourd'hui, on a un logiciel qui fonctionne très bien tel quel. Rien n'est urgent.

Et aussi, bon rétablissement ! Vas-y aussi cool que possible. J'espère que tu trouveras des solutions à tes soucis.

Plein d'ondes positives à toi.

Et si finalement tu décides de t'éloigner un peu du projet, il y aura probablement des gens pour reprendre la main, au moins en partie. Ça serait cool si tu pouvais nous en dire plus sur l'amélioration majeure que tu évoques, quand le temps, l'énergie et l'envie t'en prendra. Pour l'intérêt technique pur, et aussi si on doit continuer sur ta lancée.

Merci Olivier.

C'est Damien :-)

Moi j'ai eu une calculatrice programmable

Ah, une smartcalculatrice ?

Je ne crois pas en gemini. Les gens qu'il faudrait convaincre de faire des choses simples et légères ne vont pas utiliser gemini et malheureusement beaucoup de choses quasi indispensables sont faites par ces gens. À mon avis Gemini est une solution technique à un problème social, économique et politique. Gemini est conçu pour ne pas être extensible pour éviter la complexité qu'HTTP a graduellement gagné, mais le milieu dans lequel Gemini vit est, lui, extensible, d'ailleurs HTTP y vit aussi. Gemini ne permettra pas en lui-même de se débarasser de la complexité d'HTTP. Il n'empêche pas à HTTP d'exister. Il ne permet pas non plus certaines choses appréciables comme poster ce commentaire, mettre des mots en emphase, présenter des données en tableau, ce qui serait pensable dans un monde de simplicité et ce qui me parait nécessaire. Il ne donc répond pas aux besoins légitimes et compatibles avec un monde plus simple, donc il faudra le complémenter avec d'autres trucs, et la complexité revient donc au galop… Je comprends la démarche mais je vais devoir continuer à utiliser un navigateur web, et utiliser Gemini nécessite un logiciel ou une extension de plus pour y accéder. Et donc je vais accéder à ce blog en HTTP. RSS ou HTML.

Mais je crois en la simplicité. Éternel déçu des abstraction, patterns et solutions techniques coûteuses dans mon quotidien, aussi bien côté développeur que côté utilisateur. Et là, c'est top, félicitations, c'est du super boulot. Si tous les sites pouvaient être aussi calmes et aussi légers. Et si Gemini pousse vers cette simplicité, pourquoi pas après tout ? Normaliser ce genre de simplicité sur le web, ça serait top.

Bravo pour l'écriture, c'est agréable et fluide. J'étais déjà tombé sur des articles de ce blog mais je vais m'abonner au flux RSS pour la peine.

Le passage de 18 ans d'article écrits en HTML avec toute la liberté qu'il permet, et notamment la mise en forme (gras, italique, liens intégrés) en Gemini n'a pas du être une mince affaire. Super aussi la volonté de ne pas casser les liens.

Ça vaut peut-être le coup de laisser un message ? Ça ressemble à un oubli et les gens derrière le site feront peut-être l'effort d'ajouter ces liens dans les balises meta voire un lien visible sur le site en pied de page.

Ça doit être sympa l'ambiance pour celles et ceux qui restent. Quand en moyenne les 3 quarts des collègues sont partis.

Une bonne ambiance de Tumbleweed dans les locaux.

Automattic propose aux ex employés de les embaucher, y compris par équipes entières. Probablement plutôt malin. https://automattic.com/work-with-us/twitter/

Dilbert est toujours accessible à plusieurs endroits, dont là :
https://www.arcamax.com/thefunnies/dilbert/s-2750501

J'ai cru comprendre ce matin que Dilbert a été retiré de 77 journaux américains autour du 20 septembre, tous gérés par la même maison (ou en tout cas la partie Comics). Il y en a qui font le lien avec une dérision de l'ESG (que je connais très mal) dans Dilbert quelques jours avant. Comme quoi c'est une censure des "leftists", mais plusieurs autres BD ont été retirée en même temps donc ce n'est peut-être qu'une coïncidence. À mon avis il est trop tôt pour tirer des conclusions.

Le fait que dilbert.com soit down est potentiellement aussi une coïncidence (problème technique ?).

Aucune, je suppose. D'ailleurs j'espère que ça ne donnera pas trop l'idée au banque de brider les fonctionnalités de leurs sites web.

C'est débile, on est bien d'accord.

Comment une appli sait qu'elle n'a pas été installée depuis Arora et pas par le Play Store?

Absence du service Google en question (l'appli essaie de joindre le Play Store du téléphone mais n'y arrive pas) ? Peut-être qu'en ayant microG ça peut marcher ?

On ne parlera pas non plus de l'obligation de détenir un appareil avec un impact écologique tout pété. En plus de l'ordinateur en cours d'utilisation évidemment.

Un logiciel bien conçu ne devrait pas laisser sortir quoi que ce soit de compromettant, auquel l'utilisateur n'est pas déjà censé avoir accès, même en accédant à sa mémoire.

C'est justement les données auxquelles l'utilisateur a accès qu'on veut protéger ici (données bancaires). Si ton terminal est troué et que tu as installé une application malveillante / qu'une merde s'introduit dessus, il y a un risque qu'elle accède à tes données en utilisant le trou. (c-à-d en gagnant les droits root).

En tout cas c'est le point de vue, j'imagine. Et les banques doivent certainement suivre des règlementations pour s'assurer de la sécurité (au moins apparente / avec déni plausible) de leurs solutions informatiques.

Bon, c'est pas comme si Magisk n'avait pas une option pour demander la confirmation à l'utilisateur / l'utilisatrice lors d'une tentative d'accès à root avec un bel écran clair, mais bon.

Et bien sûr, tout le monde s'en tape des pilotes pleins de pouvoirs fermés dont le code est potentiellement éclaté au sol et plein de trous.

Perso c'était l'inverse quand j'avais un appareil Android : je le rootais, et je me protégeais contre ces applications bancaires dont je n'ai pas accès au code source en ne les installant pas. Je suis sûr qu'elles sont bourrées de Google Analytics et tout un tas d'autres merdes qui n'ont rien à faire sur un appareil que j'utilise quotidiennement.

On notera aussi, pour l'Île-de-France, que la suppression du ticket de transport en carton fait, de facto qu'on est pisté dans les transports en commun en entrée, voire, en sortie quand il faut utiliser le titre de transport pour sortir

Les tickets en cartons restent une option pour le moment apparemment, mais effectivement pour les carnets de 10 il faut une carte Navigo. La carte Navigo Easy est anonyme, si tu la paies et la recharge avec du liquide tu restes anonyme mais la carte peut, elle, être pistée et le jour où elle est liée à son/sa propriétaire, c'est niqué (il me semble qu'on peut acheter la carte avec du liquide ? je n'ai pas vérifié).

Ou alors il faut un système où les usagers s'échangent régulièrement leurs cartes, ou racheter une carte à chaque fois. Après tout, la carte + 10 tickets coûte le même prix que l'ancien carnet de 10 tickets cartons, mais ça parait pas écologiquement raisonnable.

Ce n'est pas impossible de voyager anonymement mais c'est devenu plus difficile ou plus coûteux, certainement.

Je pense qu'il faut aussi voir que le coût d'un follower en local n'est pas celui d'un follower distant.

C'est précisément ce modèle décentralisé avec followers distants que Zenitram questionne (avec justesse) dans son dernier paragraphe par ailleurs parsemé de caricatures fallacieuses et attaques superflues. Ce qui résume bien Zenitram d'ailleurs.

C'est exact. Mais le papier ne résout pas le problème de pistage. Dès qu'il est scanné, tu n'as aucune garantie qu'il n'y ait pas un enregistrement fiable quelque part contenant la date et le lieu du scan.

Ça importe, parce que les organismes ayant accès à ces données pourrait en faire un mauvais usage. Maintenant… ou dans le futur si les enregistrements sont conservés. Ça pourrait arriver, par exemple, si le régime devient dictatorial ou totalitaire. On espère que ça n'arrivera pas, mais quelle garantie ?

C'est pour ça que le pass, ce n'est pas idéal.

Le meilleur accès à/stockage d'une donnée personnelle, c'est comme le meilleur déchet : c'est celui qui n'existe pas.

Il n'y a pas encore eu d'obligation, en France, d'installer une application, y compris pendant le covid, sauf pour les gens vérifiant le pass.

avec mon téléphone simple j'aurais été dans la panade.

Espérons que ça reste comme ça. Et je suppose que le conseil de venir à la coupe du monde avec un burner phone ne vient qu'en second après le conseil de ne pas y aller du tout…

Mais effectivement, le pass pouvait permettre le pistage, en sachant qui allait où quand. Faudrait pas que ça se généralise.

Tu utilises la boussole comme support pour le téléphone et tu mets la carte papier en forme de cône dessus pour aider les ondes GPS à arriver ? Tu recommandes les cartes IGN ? La version waterproof ou normale ?

J'ai pas lu l'article, mais Android + les services de localisations via les antennes mobiles / les wifis de microG, ça fonctionne plutôt bien.

Le Pinephone Pro s'en sort plutôt (étonnamment) bien aussi, à ma connaissance, sans tous ces services (alors que mon Pinephone ne s'en sortait juste pas du tout), alors parfois ça dépend juste du matériel…

Je crois que c'est l'objectif en tout cas. Pas sûr qu'il soit atteint aujourd'hui. Aucune idée, du coup :-P