À quand remonte la dernière fois que vous avez eu besoin de lire ce courriel du 15 septembre 2012 ? Ça fait longtemps, n’est‑ce pas ?
Préambule
Le stockage de ces courriels n’est pas sans impact énergétique. En effet, les serveurs qui hébergent ces vieux courriels sont allumés en permanence pour vous permettre, un jour peut‑être, de relire ce courriel du 15 septembre 2012 dont vous n’avez même plus le souvenir. Et ça s’entasse, s’entasse… Deux solutions peuvent s’offrir à vous pour diminuer cet impact :
- supprimer vos vieux courriels, la solution la plus sobre, radicale et efficace ;
- archiver vos courriels sur une clef USB ou un disque dur externe, votre ordinateur ; en tout cas, un système d’archivage « froid », c’est‑à‑dire qui ne sera pas allumé en permanence.
Lighten Mailbox : un service en ligne open source pour faire ça
Lighten Mailbox est un projet libre (CC0) qui se présente sous la forme d’une interface Web qui permet de faire du ménage dans sa boîte de messagerie. Ce ménage se fait soit en supprimant des vieux messages, soit en les téléchargeant dans une archive.
En mode éclairé/expert vous pouvez choisir le format d’exportation de vos messages : HTML/TXT ou EML. Un fichier index.html est glissé dans l’archive ZIP avec vos messages, qui vous permet (grâce à tabulator) de parcourir ou rechercher dans les métadonnées de vos messages (exemple de rendu pour le index.html). Ces métadonnées sont stockées au format JSON (exemple), ce qui permet d’autres usages potentiels…
La sélection des messages se fait par critère de date (début/fin), puis en sélectionnant les dossiers IMAP souhaités.
Exemple d’utilisation : télécharger et archiver ces courriels qui datent de J - 2 ans à J - 1 an pour les enregistrer sur un disque dur externe, puis (quand vous vous êtes assuré de l’intégrité des données) supprimer ces messages.
Sous le capot
- rien de bien original : Apache, PHP et MySQL ;
- un démon pour gérer la file d’attente qui génère les archives ;
- une découverte totomatique des paramètres IMAP en mode débutant ;
- des difficultés pour faire fonctionner le bazar avec @gmail.com… (OAuth est trop compliqué pour moi).
P.‑S. — Pas taper, je ne veux pas sauver le monde avec une appli Web, juste l’alléger…
Aller plus loin
- Instance publique (197 clics)
- Code source (93 clics)
- Exemple d’index d’archive (89 clics)
- Vidéo pour voir le processus (103 clics)
# attention: divulgation d'adresses email
Posté par Anonyme . Évalué à 2. Dernière modification le 18 novembre 2020 à 15:51.
Dans la vidéo, il y a des adresses e-mails qui apparaissent sans floutage:
<ironie bienveillante>j'imagine que les personnes concernées ont donné leur accord pour leur diffusion ?</ironie bienveillante>À confirmer par les responsables de services d'hébergement d'e-mails à grande échelle, mais il me semble que le nombre de disques installés sur un serveur ne va pas varier en fonction du nombre d'e-mails présents pour un compte, mais plutôt en fonction du nombre réel ou attendu de clients via une estimation de la place moyenne nécessaire pour chaque compte non ?
Indépendamment de cela, merci pour cet outil de récupération d'e-mails qui pourra grandement faciliter la migration de certains utilisateurs des grands silos vers des solutions plus respectueuses de leur vie privée.
[^] # Re: attention: divulgation d'adresses email
Posté par mathgl . Évalué à 1.
Je serais étonné que les très gros fournisseurs de mail n'aient pas des notions de donner chaudes et de données froides et que ces dernières soit déplacée automatiquement sur du stockage qui nécessite moins d'électricité (genre des bandes magnétiques).
Si c'est pas le cas, il y aurait probablement des économies à faire.
Je pense que les vieux mails que je consulte sont toujours les mêmes. Les autres ça me dérange pas que ça prenne quelques minutes afin qu'ils soient à nouveau accessibles.
[^] # Re: attention: divulgation d'adresses email
Posté par David (site web personnel) . Évalué à 2.
Pas à ma connaissance et ce que perso je constate que mes vieux mails, sur un géant du mail (que je ne citerai pas, c'est pas poli ici…) sont toujours accessible instantanément… Alors que s'il y avait un stockage à froid ça demanderait du temps…
Personnellement je suis un (tout petit) hébergeur (moyenne ~6 000 mails/j) mais j'envisage effectivement de faire ça pour mes utilisateurs (dans le même esprit que mes sauvegardes à froid) mais c'est loin d'être simple structurellement parlant…
[^] # Re: attention: divulgation d'adresses email
Posté par mathgl . Évalué à 1.
J'ai fait le même test après avoir écris le message. On peut espérer qu'il le fasse sur les boites inactives…
[^] # Re: attention: divulgation d'adresses email
Posté par David (site web personnel) . Évalué à 2.
Effectivement, merci j'ai flouté la partie Webmail. Pour les autres c'est : soit la mienne (mais ça me va) soit d'autres qui sont déjà public (mailing liste avec archive public)
[^] # Re: attention: divulgation d'adresses email
Posté par THE_ALF_ . Évalué à 5.
Donc on se plaint de la place prise par les mail sur les serveurs, et on donne une description… en vidéo plutôt qu'en texte. Logique?
[^] # Re: attention: divulgation d'adresses email
Posté par David (site web personnel) . Évalué à 6.
J'ai construit ma maison en paille et ton raisonnement me fait penser au voisin, pas écolo pour 2 sous, qui passe et qui dit d'un air dédaigneux : "c'est même pas écolo ton truc tes bottes de pailles ont des ficelles en plastique" :-|
# Autre solution avec un client mail "lourd"
Posté par Laurent J (site web personnel, Mastodon) . Évalué à 10.
J'utilise Thunderbird, et une solution pour archiver les e-mails est de les déplacer dans les dossiers locaux, tout simplement.
D'ailleurs, on peut utiliser la fonction d'archivage (bouton archiver sur chaque message), que l'on configure pour que ça aille dans le compte/dossier de son choix.
Et sinon, personnellement, je n'utiliserais pas ta solution en ligne : je trouve "dangereux" de donner mes accès à mes boites mails à une application web, quand bien même tu jures que ce qui est installé sur ton serveur est strictement le même code source que la version que tu publies. Bref, préférez installer cette jolie application sur votre propre serveur ;-)
[^] # Re: Autre solution avec un client mail "lourd"
Posté par Astaoth . Évalué à 2. Dernière modification le 18 novembre 2020 à 18:21.
Sur le même serveur physique que ton serveur mail ou en monter un autre dédié à ca ?
Pour de l'auto-hébergement, c'est pas 5-10Go de stockage de boites mails de plus ou de moins qui va changer grand chose, surtout quand le kimsufi premier prix propose 500Go.
Emacs le fait depuis 30 ans.
[^] # Re: Autre solution avec un client mail "lourd"
Posté par Laurent J (site web personnel, Mastodon) . Évalué à 2. Dernière modification le 19 novembre 2020 à 08:50.
si tu as ton propre serveur mail, je ne suis pas sûr que cette application soit vraiment utile. D'une part parce qu'effectivement, ça ne va pas changer grand chose que tu consomme 1go ou 490go de ton espace disque.
Et parce qu'on peut imaginer que tu peux avoir des scripts installés sur ce serveur qui feront cet archivage automatiquement pour toi (puisqu'ils auront accès directement aux fichiers des mails).
Genre un script qui tous les jours ou toutes les semaines, scanne les dossiers "archives" de chaque compte mail, et déplace ces mails vers un stockage "froid" (c'est à dire un zip quelque part, un autre répertoire, un stockage "cloud" ou autre…).
[^] # Re: Autre solution avec un client mail "lourd"
Posté par raphj . Évalué à 2. Dernière modification le 18 novembre 2020 à 18:39.
Attention avec Thunderbird, le jour où le profil est planté ça peut être un peu pénible. Avec des sauvegardes du profil Thunderbird ça peut se faire, faut bien garder à l'esprit qu'une fois qu'un profil est ouvert avec une version récente de Thunderbird, l'ouverture avec des ancienne version de Thunderbird est bloquée. On peut contourner mais la réussite n'est bien sûr pas garantie.
J'avais récupéré localement le contenu complet d'une boite mail avant sa destruction avec un outil en ligne de commande. Je crois que c'était OfflineIMAP. Il est peut-être possible d'ouvrir le résultat avec Thunderbird mais je n'ai pas essayé.
[^] # Re: Autre solution avec un client mail "lourd"
Posté par Laurent J (site web personnel, Mastodon) . Évalué à 2.
Dans thunderbird, les mails sont stockés dans un format standard (mbox ou maildir, au choix). Donc profil ok ou pas, il n'y a pas à s’inquiéter, les mails sont lisibles par tout autre client lourd compatible avec ces formats (je ne dis pas que ce sera simple toutefois de faire cet import..)
Maintenant, j'utilise Thunderbird depuis plus de 15 ans, avec actuellement 17 boites aux lettres, et je n'ai jamais eu de problème de profils.
[^] # Re: Autre solution avec un client mail "lourd"
Posté par David (site web personnel) . Évalué à 1.
C'est pour ça que "c'est libre", tu peux l'installer chez toi si tu veux !
Et tu noteras que j'encourage à ce que tu changes ton mot de passe après avoir utilisé l'application web… (je ne sais pas quoi faire de plus pour être transparent/rassurer, si tu as une idée là dessus…)
[^] # Re: Autre solution avec un client mail "lourd"
Posté par Laurent J (site web personnel, Mastodon) . Évalué à 1.
Pourquoi pas, mais c'est pas très pratique, parce qu'il va falloir reconfigurer les compte mails dans tous les clients mails (mot de passe sauvegardé dans le navigateur, client mail de son smartphone etc…)
[^] # Re: Autre solution avec un client mail "lourd"
Posté par steph1978 . Évalué à 2.
gmail propose de créer des logins/motsdepasse alternatifs à ton login/mdp principal.
Mon mot de passe principal est protégé par un deuxième facteur d'authentification (2FA): un code tournant dans une appli libre sur mon mobile (andOTP disponible sur fdroid).
J'utilise des mots de passe alternatifs pour tous les clients mails : client sur le mobile, client thunderbird, offlineimap pour les backups ; parce qu'ils ne supportent pas le OTP, parce que je veux que ce soit automatisé (backup) et parce que je ne veux pas compromettre mon mot de passe principale si mon matériel est perdu, volé ou saisi.
[^] # Re: Autre solution avec un client mail "lourd"
Posté par Gil Cot ✔ (site web personnel, Mastodon) . Évalué à 1.
À partir du moment où tu peux l'installer toi-même alors ne t'en prive pas et c'et tout ;-)
“It is seldom that liberty of any kind is lost all at once.” ― David Hume
[^] # Re: Autre solution avec un client mail "lourd"
Posté par karteum59 . Évalué à 4. Dernière modification le 19 novembre 2020 à 00:48.
Pour ma part, j'avais une ancienne boîte GMail avec plus de 10 ans de mail, que j'avais backupée via GMvault (en désactivant la compression gzip sur les fichiers .eml car ensuite j'ai fait un squashfs-lzma sur l'ensemble du dossier. L'archive fait quand même près de 15 Go). GMvault fait des sous-dossiers pour chaque année/mois/email, et chaque sous-dossier contient un fichier .eml + un fichier .meta (du json avec les métadonnées propres à GMail).
Récemment, j'ai voulu retrouver un vieux mail dans cette archive… et j'avoue que j'ai opté pour la solution compliquée (i.e. je n'ai pas vraiment regardé s'il y avait un moyen déjà tout fait pour convertir le machin en mbox ou maildir, et je me suis amusé à coder mon propre truc) : j'ai fait un petit programme en Python qui
Voilà… en espérant que ça puisse servir à d'autres.
(Attention : première version, la peinture n'est pas sèche, le code est très imparfait, la DB n'est pas en 3ème forme normale, etc. Mais bon pour l'instant ça fait ce que je veux et ça m'a permis de retrouver le vieux mail que je recherchais :)
# « Le stockage de ces courriels n’est pas sans impact énergétique »
Posté par Stéphane Bortzmeyer (site web personnel, Mastodon) . Évalué à 2.
Tout a un impact énergétique et déplacer les messages vers encore un autre espace de stockage n'est certainement pas gratuit énergétiquement non plus.
[^] # Re: « Le stockage de ces courriels n’est pas sans impact énergétique »
Posté par David (site web personnel) . Évalué à 1.
Clairement !
Mais le parie c'est de ce dire que ce "nouveau stockage" sera "a froid" (hors ligne) et que sur du long terme (sa vie longtemps une boîte mail) le gain soit positif…
Et en ligne les données sont répliqués 3 à 4 fois (source + raid + backup + réplication), hors ligne si tu les répliques 2 fois c'est déjà que t'y tiens fort fort…
[^] # Re: « Le stockage de ces courriels n’est pas sans impact énergétique »
Posté par Nicolas Boulay (site web personnel) . Évalué à 3.
Sans compter le cout de fabrication du machin USB utilisé qui ne sera pas mutualisé.
"La première sécurité est la liberté"
# Je suis quand même sacrément dubitatif
Posté par Éric (site web personnel) . Évalué à 2. Dernière modification le 24 novembre 2020 à 20:00.
Déjà il faut partir du coût écologique de quelques Go sur une baie de stockage. Honnêtement même sur 10 ans ça ne doit pas être monstrueux. Si à la place on fait mouliner le CPU du serveur pour faire régulièrement des recherches, puis la copie et le temps de manipulation des bandes ou disques le tout sur une interface web donc avec un poste client et un écran allumé, je ne serais pas étonné qu'on soit finalement perdant en terme d'énergie consommée.
Partir du coût des datacenter (qui est tout à fait réel) pour en tirer qu'il faut passer du temps sur informatique pour effacer des emails, ça se discute très fort.
Mais en plus, on parle là d'une solution avec un Apache qui tourne, puis un démon qui gère la file d'attente, je suppose que beaucoup de monde va faire tourner ça 24/24. A-t-on vraiment espoir que le solde soit écologiquement positif ?
Si vraiment on veut jouer à sauvegarder sur support hors ligne avec suppression au passage, un getmail fait parfaitement l'affaire. Bon, ok, il y a de la config à faire mais en même temps installer et configurer lighten-mailbox n'a pas l'air fondamentalement plus simple (et j'espère que personne ne pensait donner son mot de passe sur l'instance en ligne, si ?)
# Super idée
Posté par Sébastien Valat (site web personnel) . Évalué à 1.
Hello, super idée, j'ai un projet similaire pour archiver mes mails assez proche de ce que vous avez fait en moins propre.
The force is in doing, not trying.
[^] # Re: Super idée
Posté par Stéphane Ascoët (site web personnel) . Évalué à 0.
Je suis pas mal bluffé par le quasi-Webmail hors-ligne généré par la solution
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.