Lighten Mailbox : archivez vos courriels

Posté par  (site Web personnel) . Édité par Davy Defaud, palm123, Ysabeau et Pierre Jarillon. Modéré par Ysabeau. Licence CC By‑SA.
Étiquettes :
26
18
nov.
2020
Internet

À quand remonte la dernière fois que vous avez eu besoin de lire ce courriel du 15 septembre 2012 ? Ça fait longtemps, n’est‑ce pas ?

Préambule

Le stockage de ces courriels n’est pas sans impact énergétique. En effet, les serveurs qui hébergent ces vieux courriels sont allumés en permanence pour vous permettre, un jour peut‑être, de relire ce courriel du 15 septembre 2012 dont vous n’avez même plus le souvenir. Et ça s’entasse, s’entasse… Deux solutions peuvent s’offrir à vous pour diminuer cet impact :

  • supprimer vos vieux courriels, la solution la plus sobre, radicale et efficace ;
  • archiver vos courriels sur une clef USB ou un disque dur externe, votre ordinateur ; en tout cas, un système d’archivage « froid », c’est‑à‑dire qui ne sera pas allumé en permanence.

Lighten Mailbox : un service en ligne open source pour faire ça

Lighten Mailbox est un projet libre (CC0) qui se présente sous la forme d’une interface Web qui permet de faire du ménage dans sa boîte de messagerie. Ce ménage se fait soit en supprimant des vieux messages, soit en les téléchargeant dans une archive.

En mode éclairé/expert vous pouvez choisir le format d’exportation de vos messages : HTML/TXT ou EML. Un fichier index.html est glissé dans l’archive ZIP avec vos messages, qui vous permet (grâce à tabulator) de parcourir ou rechercher dans les métadonnées de vos messages (exemple de rendu pour le index.html). Ces métadonnées sont stockées au format JSON (exemple), ce qui permet d’autres usages potentiels…

La sélection des messages se fait par critère de date (début/fin), puis en sélectionnant les dossiers IMAP souhaités.

Exemple d’utilisation : télécharger et archiver ces courriels qui datent de J - 2 ans à J - 1 an pour les enregistrer sur un disque dur externe, puis (quand vous vous êtes assuré de l’intégrité des données) supprimer ces messages.

Sous le capot

  • rien de bien original : Apache, PHP et MySQL ;
  • un démon pour gérer la file d’attente qui génère les archives ;
  • une découverte totomatique des paramètres IMAP en mode débutant ;
  • des difficultés pour faire fonctionner le bazar avec @gmail.com… (OAuth est trop compliqué pour moi).

P.‑S. — Pas taper, je ne veux pas sauver le monde avec une appli Web, juste l’alléger…

Aller plus loin

  • # attention: divulgation d'adresses email

    Posté par  . Évalué à 2 (+0/-0). Dernière modification le 18/11/20 à 15:51.

    Dans la vidéo, il y a des adresses e-mails qui apparaissent sans floutage: <ironie bienveillante>j'imagine que les personnes concernées ont donné leur accord pour leur diffusion ?</ironie bienveillante>

    Le stockage de ces courriels n’est pas sans impact énergétique

    À confirmer par les responsables de services d'hébergement d'e-mails à grande échelle, mais il me semble que le nombre de disques installés sur un serveur ne va pas varier en fonction du nombre d'e-mails présents pour un compte, mais plutôt en fonction du nombre réel ou attendu de clients via une estimation de la place moyenne nécessaire pour chaque compte non ?
    Indépendamment de cela, merci pour cet outil de récupération d'e-mails qui pourra grandement faciliter la migration de certains utilisateurs des grands silos vers des solutions plus respectueuses de leur vie privée.

    Ce commentaire passe-t-il les trois tamis de Socrate ? -- je ne moinsse pas les conversations auxquelles je participe

    • [^] # Re: attention: divulgation d'adresses email

      Posté par  . Évalué à 1 (+0/-0).

      Je serais étonné que les très gros fournisseurs de mail n'aient pas des notions de donner chaudes et de données froides et que ces dernières soit déplacée automatiquement sur du stockage qui nécessite moins d'électricité (genre des bandes magnétiques).

      Si c'est pas le cas, il y aurait probablement des économies à faire.

      Je pense que les vieux mails que je consulte sont toujours les mêmes. Les autres ça me dérange pas que ça prenne quelques minutes afin qu'ils soient à nouveau accessibles.

      • [^] # Re: attention: divulgation d'adresses email

        Posté par  (site Web personnel) . Évalué à 2 (+1/-0).

        Je serais étonné que les très gros fournisseurs de mail n'aient pas des notions de donner chaudes et de données froides et que ces dernières soit déplacée automatiquement sur du stockage qui nécessite moins d'électricité (genre des bandes magnétiques).

        Pas à ma connaissance et ce que perso je constate que mes vieux mails, sur un géant du mail (que je ne citerai pas, c'est pas poli ici…) sont toujours accessible instantanément… Alors que s'il y avait un stockage à froid ça demanderait du temps…

        Personnellement je suis un (tout petit) hébergeur (moyenne ~6 000 mails/j) mais j'envisage effectivement de faire ça pour mes utilisateurs (dans le même esprit que mes sauvegardes à froid) mais c'est loin d'être simple structurellement parlant…

    • [^] # Re: attention: divulgation d'adresses email

      Posté par  (site Web personnel) . Évalué à 2 (+1/-0).

      Dans la vidéo, il y a des adresses e-mails qui apparaissent sans floutage: j'imagine que les personnes concernées ont donné leur accord pour leur diffusion ?

      Effectivement, merci j'ai flouté la partie Webmail. Pour les autres c'est : soit la mienne (mais ça me va) soit d'autres qui sont déjà public (mailing liste avec archive public)

      • [^] # Re: attention: divulgation d'adresses email

        Posté par  . Évalué à 4 (+7/-4).

        Donc on se plaint de la place prise par les mail sur les serveurs, et on donne une description… en vidéo plutôt qu'en texte. Logique?

        • [^] # Re: attention: divulgation d'adresses email

          Posté par  (site Web personnel) . Évalué à 5 (+6/-2).

          Donc on se plaint de la place prise par les mail sur les serveurs, et on donne une description… en vidéo plutôt qu'en texte. Logique?

          J'ai construit ma maison en paille et ton raisonnement me fait penser au voisin, pas écolo pour 2 sous, qui passe et qui dit d'un air dédaigneux : "c'est même pas écolo ton truc tes bottes de pailles ont des ficelles en plastique" :-|

  • # Autre solution avec un client mail "lourd"

    Posté par  (site Web personnel) . Évalué à 10 (+9/-0).

    J'utilise Thunderbird, et une solution pour archiver les e-mails est de les déplacer dans les dossiers locaux, tout simplement.

    D'ailleurs, on peut utiliser la fonction d'archivage (bouton archiver sur chaque message), que l'on configure pour que ça aille dans le compte/dossier de son choix.

    Et sinon, personnellement, je n'utiliserais pas ta solution en ligne : je trouve "dangereux" de donner mes accès à mes boites mails à une application web, quand bien même tu jures que ce qui est installé sur ton serveur est strictement le même code source que la version que tu publies. Bref, préférez installer cette jolie application sur votre propre serveur ;-)

    • [^] # Re: Autre solution avec un client mail "lourd"

      Posté par  . Évalué à 2 (+0/-0). Dernière modification le 18/11/20 à 18:21.

      Bref, préférez installer cette jolie application sur votre propre serveur ;-)

      Sur le même serveur physique que ton serveur mail ou en monter un autre dédié à ca ?

      Pour de l'auto-hébergement, c'est pas 5-10Go de stockage de boites mails de plus ou de moins qui va changer grand chose, surtout quand le kimsufi premier prix propose 500Go.

      Emacs le fait depuis 30 ans.

      • [^] # Re: Autre solution avec un client mail "lourd"

        Posté par  (site Web personnel) . Évalué à 2 (+0/-0). Dernière modification le 19/11/20 à 08:50.

        si tu as ton propre serveur mail, je ne suis pas sûr que cette application soit vraiment utile. D'une part parce qu'effectivement, ça ne va pas changer grand chose que tu consomme 1go ou 490go de ton espace disque.

        Et parce qu'on peut imaginer que tu peux avoir des scripts installés sur ce serveur qui feront cet archivage automatiquement pour toi (puisqu'ils auront accès directement aux fichiers des mails).

        Genre un script qui tous les jours ou toutes les semaines, scanne les dossiers "archives" de chaque compte mail, et déplace ces mails vers un stockage "froid" (c'est à dire un zip quelque part, un autre répertoire, un stockage "cloud" ou autre…).

    • [^] # Re: Autre solution avec un client mail "lourd"

      Posté par  . Évalué à 2 (+0/-0). Dernière modification le 18/11/20 à 18:39.

      Attention avec Thunderbird, le jour où le profil est planté ça peut être un peu pénible. Avec des sauvegardes du profil Thunderbird ça peut se faire, faut bien garder à l'esprit qu'une fois qu'un profil est ouvert avec une version récente de Thunderbird, l'ouverture avec des ancienne version de Thunderbird est bloquée. On peut contourner mais la réussite n'est bien sûr pas garantie.

      J'avais récupéré localement le contenu complet d'une boite mail avant sa destruction avec un outil en ligne de commande. Je crois que c'était OfflineIMAP. Il est peut-être possible d'ouvrir le résultat avec Thunderbird mais je n'ai pas essayé.

      • [^] # Re: Autre solution avec un client mail "lourd"

        Posté par  (site Web personnel) . Évalué à 2 (+0/-0).

        Dans thunderbird, les mails sont stockés dans un format standard (mbox ou maildir, au choix). Donc profil ok ou pas, il n'y a pas à s’inquiéter, les mails sont lisibles par tout autre client lourd compatible avec ces formats (je ne dis pas que ce sera simple toutefois de faire cet import..)

        Maintenant, j'utilise Thunderbird depuis plus de 15 ans, avec actuellement 17 boites aux lettres, et je n'ai jamais eu de problème de profils.

    • [^] # Re: Autre solution avec un client mail "lourd"

      Posté par  (site Web personnel) . Évalué à 1 (+0/-0).

      je trouve "dangereux" de donner mes accès à mes boites mails à une application web, quand bien même tu jures que ce qui est installé sur ton serveur est strictement le même code source que la version que tu publies. Bref, préférez installer cette jolie application sur votre propre serveur ;-)

      C'est pour ça que "c'est libre", tu peux l'installer chez toi si tu veux !

      Et tu noteras que j'encourage à ce que tu changes ton mot de passe après avoir utilisé l'application web… (je ne sais pas quoi faire de plus pour être transparent/rassurer, si tu as une idée là dessus…)

      • [^] # Re: Autre solution avec un client mail "lourd"

        Posté par  (site Web personnel) . Évalué à 1 (+0/-1).

        j'encourage à ce que tu changes ton mot de passe après avoir utilisé l'application web

        Pourquoi pas, mais c'est pas très pratique, parce qu'il va falloir reconfigurer les compte mails dans tous les clients mails (mot de passe sauvegardé dans le navigateur, client mail de son smartphone etc…)

        • [^] # Re: Autre solution avec un client mail "lourd"

          Posté par  . Évalué à 2 (+0/-0).

          gmail propose de créer des logins/motsdepasse alternatifs à ton login/mdp principal.

          Mon mot de passe principal est protégé par un deuxième facteur d'authentification (2FA): un code tournant dans une appli libre sur mon mobile (andOTP disponible sur fdroid).

          J'utilise des mots de passe alternatifs pour tous les clients mails : client sur le mobile, client thunderbird, offlineimap pour les backups ; parce qu'ils ne supportent pas le OTP, parce que je veux que ce soit automatisé (backup) et parce que je ne veux pas compromettre mon mot de passe principale si mon matériel est perdu, volé ou saisi.

    • [^] # Re: Autre solution avec un client mail "lourd"

      Posté par  . Évalué à 1 (+0/-0).

      À partir du moment où tu peux l'installer toi-même alors ne t'en prive pas et c'et tout ;-)

    • [^] # Re: Autre solution avec un client mail "lourd"

      Posté par  . Évalué à 4 (+2/-0). Dernière modification le 19/11/20 à 00:48.

      Pour ma part, j'avais une ancienne boîte GMail avec plus de 10 ans de mail, que j'avais backupée via GMvault (en désactivant la compression gzip sur les fichiers .eml car ensuite j'ai fait un squashfs-lzma sur l'ensemble du dossier. L'archive fait quand même près de 15 Go). GMvault fait des sous-dossiers pour chaque année/mois/email, et chaque sous-dossier contient un fichier .eml + un fichier .meta (du json avec les métadonnées propres à GMail).

      Récemment, j'ai voulu retrouver un vieux mail dans cette archive… et j'avoue que j'ai opté pour la solution compliquée (i.e. je n'ai pas vraiment regardé s'il y avait un moyen déjà tout fait pour convertir le machin en mbox ou maildir, et je me suis amusé à coder mon propre truc) : j'ai fait un petit programme en Python qui

      • scanne tout le dossier GMvault (== le mount du squashfs dans mon cas) et parse les .meta et les .eml
      • archive les mails (le texte en txt et en html, les headers qui m'importent, les éventuelles signatures) dans une base sqlite. Dans le cas des mails en html, je modifie le html pour inclure les images directement dedans en base64… A terme je compte profiter des fonctions de recherche fulltext de sqlite
      • extraie les fichiers en clair dans un dossier donné (en vérifiant leur md5sum au passage : si un même fichier est reçu dans plusieurs mails, je ne l'extraie qu'une fois. Si plusieurs fichiers ont le même nom, je rajoute un suffixe au nom de fichier). ça me permet de parcourir facilement directement dans le filesystem toutes les pièces jointes que j'ai pu recevoir à travers les âges. J'extraie aussi les "winmail.dat" (et bientôt les oledata.mso)
      • me fait une petite GUI en PySide
      • le tout pour l'instant en moins de 500 lignes de code :)

      Voilà… en espérant que ça puisse servir à d'autres.

      (Attention : première version, la peinture n'est pas sèche, le code est très imparfait, la DB n'est pas en 3ème forme normale, etc. Mais bon pour l'instant ça fait ce que je veux et ça m'a permis de retrouver le vieux mail que je recherchais :)

  • # « Le stockage de ces courriels n’est pas sans impact énergétique »

    Posté par  (site Web personnel) . Évalué à 2 (+1/-1).

    Tout a un impact énergétique et déplacer les messages vers encore un autre espace de stockage n'est certainement pas gratuit énergétiquement non plus.

  • # Je suis quand même sacrément dubitatif

    Posté par  (site Web personnel) . Évalué à 0 (+0/-1). Dernière modification le 24/11/20 à 20:00.

    Déjà il faut partir du coût écologique de quelques Go sur une baie de stockage. Honnêtement même sur 10 ans ça ne doit pas être monstrueux. Si à la place on fait mouliner le CPU du serveur pour faire régulièrement des recherches, puis la copie et le temps de manipulation des bandes ou disques le tout sur une interface web donc avec un poste client et un écran allumé, je ne serais pas étonné qu'on soit finalement perdant en terme d'énergie consommée.

    Partir du coût des datacenter (qui est tout à fait réel) pour en tirer qu'il faut passer du temps sur informatique pour effacer des emails, ça se discute très fort.

    Mais en plus, on parle là d'une solution avec un Apache qui tourne, puis un démon qui gère la file d'attente, je suppose que beaucoup de monde va faire tourner ça 24/24. A-t-on vraiment espoir que le solde soit écologiquement positif ?

    Si vraiment on veut jouer à sauvegarder sur support hors ligne avec suppression au passage, un getmail fait parfaitement l'affaire. Bon, ok, il y a de la config à faire mais en même temps installer et configurer lighten-mailbox n'a pas l'air fondamentalement plus simple (et j'espère que personne ne pensait donner son mot de passe sur l'instance en ligne, si ?)

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n’en sommes pas responsables.