Benoît Sibaud a écrit 9300 commentaires

(pour les contenus en base de données mariadb ou redis, hors fichiers d'images, caches, logs, etc)

avant le nettoyage :

ls -l --si
-rw------- 1 root root 2,0G janv. 29 05:27 mariadb.dump.gz
-rw------- 1 root root  20M janv. 29 05:27 redis.rdb.gz

après le nettoyage :

-rw------- 1 root root 1,9G janv. 30 03:25 mariadb.dump.gz
-rw------- 1 root root  20M janv. 30 03:25 redis.rdb.gz

(8,9 GiB pour mariadb.dump hors compression gzip)

data_length + index_length : 12.85 GiB selon MariaDB

+----------------------+------------+---------+
| Table                | Size (MiB) | Rows    |
+----------------------+------------+---------+
| news_versions        |    8969.06 |  383245 |
| comments             |    3219.47 | 1888308 |
| diaries              |     271.13 |   39730 |
| paragraphs           |     190.19 |  220226 |
| news                 |     169.41 |   27263 |
| posts                |     165.66 |   39876 |
| friendly_id_slugs    |      29.11 |  181798 |
| nodes                |      27.13 |  115099 |
| wiki_versions        |      26.66 |    2201 |
| taggings             |      26.50 |  154177 |
| accounts             |      18.13 |   33400 |
| oauth_access_tokens  |      14.52 |    7473 |
| links                |      12.03 |   85217 |
| trackers             |       5.83 |    1987 |
| users                |       5.03 |   53852 |
| wiki_pages           |       2.53 |     154 |
| tags                 |       2.30 |   14096 |
| bookmarks            |       2.03 |    5625 |
| logs                 |       1.78 |   12028 |
| oauth_access_grants  |       0.56 |    1576 |
| poll_answers         |       0.47 |    4080 |
| polls                |       0.31 |     469 |
| pages                |       0.17 |      13 |
| oauth_applications   |       0.05 |      20 |
| sections             |       0.05 |      99 |
| forums               |       0.03 |      39 |
| friend_sites         |       0.03 |      13 |
| banners              |       0.02 |      14 |
| responses            |       0.02 |      12 |
| schema_migrations    |       0.02 |      74 |
| categories           |       0.02 |      31 |
+----------------------+------------+---------+

Chaque rétrospective de quinzaine (exemple) indique les commentaires et contenus masqués :

1472 commentaires publiés (dont 3 masqués depuis) ;
778 étiquettes posées ;
63 comptes ouverts (dont 16 fermés depuis) ;
45 entrées de forum publiées (dont 5 masquées depuis) ;
98 liens publiés (dont 2 masqués depuis) ;
19 dépêches publiées ;
17 journaux publiés (dont 1 masqué depuis) ;
1 entrée nouvelle, 1 corrigée et 0 invalide dans le système de suivi ;
1 sondage publié ;
0 page wiki publiée (dont 0 masquée depuis).

Les comptes non confirmés (validation du lien reçu par courriel) / jamais utilisés sont supprimés automatiquement.
Les comptes fermés le sont soit par les personnes ayant les comptes, soit par les admins (spam de très loin en premier, abus, illégalité manifeste, demande des personnes ayant les comptes, etc.). Ils restent en base.
Les contenus (dépêches, journaux, forums, sondages, pages wiki, suivi, liens) et les commentaires peuvent être masqués/dépubliés par les admins (spam, abus, illégalité manifeste, demande des personnes pour virer un doublon ou retirer un propos, purge de compte demandée, etc.). À part dans le cas de la purge, qui a lieu en base, les contenus et commentaires dépubliés restent en base.
Les étiquettes peuvent être masquées par les admins (mauvais nom, doublon, spam, etc.). Ces étiquettes restent en base.

L'opération de ce ticket consistait à supprimer ce qui était invisible sauf pour les admins, et qui avait plus d'un an, pour alléger la base, pour virer l'inutile. Pourquoi garder un an ? Pour avoir un peu de recul sur les spammeurs et les problèmes passés au besoin, pour republier au besoin ce qui aurait été dépublié par erreur / à tort, etc.

L'effacement automatique au bout d'un an de l'invisible serait à implémenter.
Et les questions plus compliquées/longues arrivent ensuite :

• mettre en place une fermeture des comptes inactifs après une durée (règle à définir, communiquer et implémenter). Objectifs: minimisation des données personnelles conservées, alléger la base
• mettre en place une suppression des comptes fermés après une durée (règle à définir, communiquer et implémenter). Objectifs: minimisation des données personnelles conservées, alléger la base :
  • associés à aucun contenu/commentaire public : cas facile
  • associés à un ou plus contenu/commentaire public : arbitrage minimisation des données personnelles (RGPD) et droit d'auteur (conserver le pseudo ou nom de la personne)
• définir pour chaque donnée personnelle ce qui arrive suivant les cas

wiki_pages (0.51 sec)
nodes (9.01 sec)
friendly_id_slugs (6.10 sec)
wiki_versions (1.41 sec)
comments (19 min 30.00 sec)
trackers (0.70 sec)
polls (0.35 sec)
poll_answers (0.35 sec)
posts (15.73 sec)
diaries (26.85 sec)
bookmarks (0.51 sec)
news (19.61 sec)
news_versions (17 min 59.50 sec)
paragraphs (30.03 sec)
links (2.30 sec)

Les titre et corps des commentaires de plus d'un an ont été purgés (ce qui ne change rien en apparence pour tous ceux qui ne sont pas dans l'administration du site, mais qui allège la base de données). 14338 commentaires concernés.

Supprimer les contenus non publics datant de plus d'un an (et les étiquetages associés s'il y en a, et les commentaires associés s'il y en a)

• 139 pages wiki non publiques supprimées (datant de mai 2012 à avril 2020) -> 139 tuples de wiki_pages, 139 de nodes, 139 de friendly_id_slugs, 247 de wiki_versions et 26 de comments
• 40 entrées de suivi non publiques (datant de juillet 2021 à octobre 2019) -> 40 tuples de trackers, 40 de nodes, 64 de friendly_id_slugs et 10 de comments
• 106 sondages non publics et hors modération (date d'avril 2012 à juillet 2021) -> 106 tuples de polls, 106 de nodes, 110 de friendly_id_slugs, 662 de poll_answers et 2 de comments
• 894 entrées de forums non publiques (jusqu'au 28 janvier 2022)-> 894 posts, 894 nodes, 933 friendly_id_slugs, 382 comments
• 171 journaux non publics (jusqu'au 28 janvier 2022)-> 171 diaries, 171 nodes, 172 friendly_id_slugs, 1509 comments
• 170 liens non publics (jusqu'au 28 janvier 2022) -> 170 bookmarks, 170 nodes, 170 friendly_id_slugs et 61 comments
• 1627 dépêches non publiques rejetées ou supprimées (jusqu'au 28 janvier 2022) -> 1627 news, 1627 nodes, 2250 friendly_id_slugs, 18509 news_versions, 15468 paragraphs, 1952 links

Fusionné https://github.com/linuxfrorg/linuxfr.org/commit/80fb5c8aad994efc45b287e7717ed52e073a98fb et déployé

Merci

Fusionné et déployé https://github.com/linuxfrorg/linuxfr.org/commit/368abcf2ab3f998ca0c13b01fc628d7cec742c52

Merci.

Fusionné et déployé, et merci à Trim.

La réponse est dans ces deux lignes :

IPT=$(which iptables)
IPTMO="$IPT -t mangle -A POSTROUTING"

Que vaut la variable IPT et pourquoi ? Que vaut la variable IPTMO et pourquoi ?

Les chiffres disent :

Type	Juin	Juillet	Commentaire
Markdown	6726	7738	les 598 corrigées + 14 nouvelles dépêches
HTML	15570	15570	pas de changement
Bizarre 1	598	0	retour à du Markdown normal
Bizarre 2	3613	3613	pas de changement

Micro-correction après la fusion, concernant les cas où l'identifiant du compte est différent du slug :

https://github.com/linuxfrorg/linuxfr.org/commit/983e8b81f5717417380eeb304b01e4b1c628419b

Et les ajouts liés à la partie administration (avec un peu de rattrapage sur les autres adresses associées à un compte, au passage) :

https://github.com/linuxfrorg/linuxfr.org/pull/360

(tout est déployé sur le serveur de test actuellement)

Il n'y a pas de 's' en bon français à deux vingt deux, car les multiples de vingt ne prendent pas de 's' quand ils sont suivi.

Le temps, ie. des gens ont écrit des dépêches supplémentaires ?

Il me paraît important de séparer la partie génération de texte, qui fait ce pour quoi elle est faite, sans surprise, générer un texte probable dans le contexte fourni, de la partie chatbot qui discute et produit le contexte à donner au générateur.

Le générateur me paraît juste impressionnant par sa "taille", il a eu un vaste corpus de textes, utilise masse de paramètres, blabla. Mais rien de révolutionnaire si j'ai bien suivi, en dehors de la volumétrie.

La partie chatbot fait la différence je trouve. Techniquement j'entends. Et elle amène plein de problèmes éthiques en cachant le fait que c'est une façade pour un générateur et pas pour un cerveau synthétique qui comprend et répond à la question posée… c'est pernicieux, et trompeur même en le sachant.

Ouf, personne n'a encore demandé la liste des personnes qui n'ont pas noté, ou pire qui n'ont pas lu.

L'aviron et tous les bateaux à plusieurs ? La course/nage en relai ? Les cordées en escalade ?

Tu veux dire à 2 équipes plutôt qu'à 2, ce qui de fait veut dire opposition sinon il n'y aurait qu'une équipe.

Les cas où le sport devient une activité collective coopérative relève plutôt de l'exploit (premier en haut de tel sommet, à traverser telle mer à la voile/rame/nage, rejoindre un pôle, etc.) ou de l'exploration. (Ce qui pourrait être vu soit comme une opposition avec le reste de l'humanité qui n'a rien fait, soit comme une coopération avec le reste de l'humanité même si elle n'a toujours rien fait).

Les résultats de juin 2022 :

Côté Ministère de l'Intérieur et des Outre-Mer :
https://www.interieur.gouv.fr/Elections/Les-resultats/Legislatives/elecresult__legislatives-2022/(path)/legislatives-2022/index.html
« Résultats définitifs* (…) * Sous réserve d'éventuelles corrections et de décisions du juge de l'élection. »

• seconde circonscription Français établis à l'étranger https://www.interieur.gouv.fr/Elections/Les-resultats/Legislatives/elecresult__legislatives-2022/(path)/legislatives-2022/099/09902.html
• neuvième circonscription Français établis à l'étranger https://www.interieur.gouv.fr/Elections/Les-resultats/Legislatives/elecresult__legislatives-2022/(path)/legislatives-2022/099/09909.html
• Charente (1ère circ.) https://www.interieur.gouv.fr/Elections/Les-resultats/Legislatives/elecresult__legislatives-2022/(path)/legislatives-2022/016/01601.html
• Marne (2e circ.) https://www.interieur.gouv.fr/Elections/Les-resultats/Legislatives/elecresult__legislatives-2022/(path)/legislatives-2022/051/05102.html
• Pas-de-Calais (8e circ.) https://www.interieur.gouv.fr/Elections/Les-resultats/Legislatives/elecresult__legislatives-2022/(path)/legislatives-2022/062/06208.html

Côté Ministère de l'Europe et des Affaires Étrangères :

• https://www.diplomatie.gouv.fr/fr/services-aux-francais/voter-a-l-etranger/resultats-des-elections/article/elections-legislatives-resultats-du-1er-tour-pour-les-francais-de-l-etranger
• https://www.diplomatie.gouv.fr/fr/services-aux-francais/voter-a-l-etranger/resultats-des-elections/article/elections-legislatives-resultats-du-2eme-tour-pour-les-francais-de-l-etranger

Wikipédia :

• https://fr.wikipedia.org/wiki/Deuxi%C3%A8me_circonscription_des_Fran%C3%A7ais_%C3%A9tablis_hors_de_France
• https://fr.wikipedia.org/wiki/Neuvi%C3%A8me_circonscription_des_Fran%C3%A7ais_%C3%A9tablis_hors_de_France
• https://fr.wikipedia.org/wiki/Premi%C3%A8re_circonscription_de_la_Charente
• https://fr.wikipedia.org/wiki/Deuxi%C3%A8me_circonscription_de_la_Marne
• https://fr.wikipedia.org/wiki/Huiti%C3%A8me_circonscription_du_Pas-de-Calais

Pour les élections annulées, ça change clairement le résultat, potentiellement les candidats et le/la député.e concerné.e (et le/la suppléant.e). Et ça veut dire nouvelles élections partielles, nouveau bureau de vote électronique, nouveau scrutin, nouvelle publication des résultats sur le site des Affaires étrangères, et sur le site de l'Intérieur, et nouvelle période de contention avec potentiellement nouveaux recours.

Dans les autres cas, les ajustements sont à la marge sur le résultat, genre x voix de moins pour untel. J'imagine que c'est reporté sur le site de l'Intérieur (ça jouerait de quelques euros sur les remboursements de frais de campagne et de financement de la vie politique ?). En même temps c'est facile à vérifier.

Le Conseil constitutionnel évalue si un problème est de nature à changer le résultat du scrutin.

Un autre recours rejeté lié au vote par internet : (1^ère circonscription des Français à l'étranger) https://www.conseil-constitutionnel.fr/decision/2023/20225795AN.htm

D’autre part, si quelques fournisseurs de messagerie électronique ont, durant les premiers jours du vote par internet au titre du premier tour du scrutin, bloqué l’acheminement des courriers électroniques contenant les identifiants nécessaires à la participation au vote par internet, il résulte de l’instruction que ce blocage a pris fin le mardi 31 mai 2022 et que les électeurs touchés par ce problème ont ainsi disposé d’un temps suffisant pour prendre part au vote par voie électronique, en dépit de l’indisponibilité temporaire du portail de vote entre 2 h 20 et 7 heures du matin (heure de Paris) le mercredi 1er juin 2022.
(…)
Dans ces conditions, compte tenu de l’écart de voix entre les candidats et du caractère limité de ces dysfonctionnements, il n’est pas établi que, pour regrettables qu’ils soient, ces derniers ont empêché un nombre significatif d’électeurs de la circonscription de prendre part au vote par voie électronique et altéré la sincérité du scrutin.

3 exemples d'annulations qui n'ont pas de rapport avec le vote par ordinateurs de vote / machines à voter ou par internet, et pour trois raisons différentes :

• Charente (1ère circ.) https://www.conseil-constitutionnel.fr/decision/2022/20225784AN.htm (émargements)
  
• Marne (2e circ.) https://www.conseil-constitutionnel.fr/decision/2022/20225768AN.htm (mention invalide sur le bulletin)
• Pas-de-Calais (8e circ.) https://www.conseil-constitutionnel.fr/decision/2022/20225794_5796AN.htm (inéligibilité du candidat)

1 recours rejeté lié au vote par ordinateurs de vote / machines à voter :

• Val-de-Marne (3ème circ.) https://www.conseil-constitutionnel.fr/decision/2022/20225785AN.htm « fait valoir que des irrégularités relatives aux machines à voter utilisées dans l'une des communes de la circonscription auraient été de nature à affecter la sincérité du scrutin. Toutefois, ces allégations ne sont pas assorties des précisions et justifications permettant d'en apprécier la portée. Dès lors, sa requête doit être rejetée. »

Total sur ces législatives 2022 en l'état : 76 décisions, dont 69 rejets, 5 annulations et 2 non lieu à statuer.

Apparemment je n'apprends pas vite à me méfier du correcteur sur mobile…

Corrigé, merci.

L'important est l'expérience retirée et l'amélioration va le post mortel.

Un jour j'ai fait un UPDATE users SET password sur la base de prod de linuxfr.org et j'ai oublié le WHERE user_id.

Un jour j'ai déplacé /usr/lib dans un autre système de fichiers plus grand.

Un jour j'ai validé une merge request de supervision, qui était en alerte par défaut pour cause de mauvais seuil, et le collègue l'a déployé séquentiellement sur 5 plateformes sans sourciller, 5 alertes en parallèle, 2 prod touchées.

Un jour j'ai déployé sur la mauvaise plate-forme.

Un jour on a oublié de renouveler le certificat de LinuxFr.org

…

Ça fait partie du taf quand tu gères des machines, il y aura des erreurs… l'expérience et les postmortems définissent les seuils des différents cas : celles qui sont empêchées, celles qui arrivent c'est chiant mais on s'en sort, et celles qui sont fatales ("oh le datacenter brûle et je n'ai rien ailleurs").

Sans grande surprise, c'est compliqué/difficile d'envoyer des courriels et des SMS partout sur la planète, de façon suffisamment fiable, en délais contraints, via des prestataires et opérateurs multiples, avec des contraintes géopolitiques (guerre en Ukraine, territoires occupés en Israël, etc.), etc.

Par ailleurs sur la partie vote par Internet de ces législatives pour les Français établis à l'étranger, le souci technique non prévisible était plutôt la panne d'Internet pour la Diplomatie française au ministère, et donc l'urne inaccessible durant plusieurs heures.

T'aurais pu prendre une seconde pour le faire :).

Encore plus compliqué que ça je dirais, cf https://linuxfr.org/suivi/echappement-du-markdown