Arkiv : Sauvegarde de fichiers et bases MySQL + archivage sur Amazon S3 et Amazon Glacier

Posté par (page perso) . Édité par ZeroHeure, Davy Defaud et Xavier Claude. Modéré par Yvan Munoz. Licence CC by-sa
25
13
août
2017
Administration système

Pour mes besoins personnels et professionnels, j’ai développé un script pour sauvegarder mes données (fichiers présents sur le disque local et bases de données MySQL) et les archiver sur Amazon S3 et Amazon Glacier.

Il est possible de choisir la fréquence de sauvegarde (jusque toutes les heures si nécessaire) et de définir une politique précise pour la purge des données. Il est ainsi possible d’avoir un comportement du type :

  • sauvegarde toutes les heures : les données sont enregistrées en local et envoyées sur Amazon S3 et Amazon Glacier ;
  • toutes les sauvegardes sont gardées en local pendant deux jours, puis on garde quatre sauvegardes par jour (une toutes les six heures) pendant cinq jours, puis une par jour pendant deux semaines, puis elles sont effacées ;
  • toutes les sauvegardes sont gardées sur Amazon S3 pendant deux semaines, puis on garde six sauvegardes par jour (une toutes les quatre heures) pendant deux semaines, puis deux par jour pendant un mois, puis elles sont effacées ;
  • toutes les données sont gardées sans limite de temps sur Amazon Glacier.

Le choix des services cloud d’Amazon se veut pragmatique. Amazon S3 est très utilisé pour stocker des données auxquelles on veut pouvoir accéder rapidement. Amazon Glacier est très pratique pour enregistrer des données sur le long terme pour un coût très bas.

Ce script propose une interface de configuration en ligne de commande qui se veut facile à utiliser. Les fichiers journaux se veulent aussi les plus lisibles possibles.

Journal La fin des liens morts sur Wikipedia ?

Posté par (page perso) . Licence CC by-sa
32
26
oct.
2016

Un nouveau bot sévit sur Wikipedia depuis quelques temps, non pour répandre publicité et désinformation, mais pour vérifier et archiver les liens dans les notes de bas-de-page de la plus vaste encyclopédie au monde.

IABot, c'est le petit nom de l'Internet Archive Bot développé en PHP par Maximilian Doerr et Stephen Balbach, qui s'assure que les liens ajoutés sur Wikipedia sont bien sauvegardés à l'Internet Archive.

« Ce que Max et Stephen ont fait en partenariat avec Mark Graham et (...)

Forum général.cherche-matériel Archivage et sauvegarde : boitier ou NAS ?

Posté par (page perso) . Licence CC by-sa
0
29
août
2016

Bonjour,

Aujourd'hui, j'ai plusieurs disques externes pour différents buts : 1 pour l'archivage, 1 pour de la sauvegarde, 1 vieux pour de l'archivage ancien…

Mais tout cela n'est pas pratique, alors je me suis penché sur la question, et j'hésite entre 2 solutions :

Mon but étant d'avoir 1 disque chiffré permettant de faire de la sauvegarde, et (...)

Journal Présentation aux entreprises d'un projet Open Source de l'Etat : VITAM pour l'Archivage numérique

11
16
juin
2015

Bonjour à toutes et à tous,

En relais de l'information publiée par le Service des achats de l'Etat, avant le lancement d'un appel d'offres, je pense intéressant de vous faire passer une copie de cette news :

http://www.economie.gouv.fr/sae/solution-darchivage-electronique-presentation-projet-aux-entreprises-invitation

Solution d’archivage électronique VITAM : présentation du projet aux entreprises - Invitation

Enjeu majeur en termes de mutualisation et d’archivage, le programme VITAM sera présenté le jeudi 25 juin de 14h30 à 16h30, dans les locaux des Archives Nationales (Site de Pierrefitte (...)

Forum général.petites-annonces [annonce de présentation aux entreprises d'un projet Open Source de l'Etat] VITAM

0
11
juin
2015

Bonjour à toutes et à tous,

En relais de l'information publiée par le Service des achats de l'Etat, je pense intéressant de vous faire passer une copie de cette news :

http://www.economie.gouv.fr/sae/solution-darchivage-electronique-presentation-projet-aux-entreprises-invitation

Solution d’archivage électronique VITAM : présentation du projet aux entreprises - Invitation

Enjeu majeur en termes de mutualisation et d’archivage, le programme VITAM sera présenté le jeudi 25 juin de 14h30 à 16h30, dans les locaux des Archives Nationales (Site de Pierrefitte, 59 rue Guynemer, Pierrefitte-sur-Seine / Métro (...)

Sortie de Maarch Courrier 1.5

Posté par (page perso) . Édité par Nils Ratusznik, ZeroHeure et Yvan Munoz. Modéré par Nils Ratusznik. Licence CC by-sa
25
2
juin
2015
Commercial

La core team Maarch est fière de vous annoncer la publication de la version 1.5 de Maarch Courrier. Maarch Courrier est un logiciel de Gestion Électronique de Courriers (GEC) unique. Maarch est également un outil de production documentaire performant, entièrement open source et distribué sous licence libre (GPL v3).

La version 1.5 de Maarch Courrier fait un grand pas en avant dans la gestion des courriers sortants et dans sa capacité à s'adapter à des administrations à la fois centrales et décentralisées.

Pour découvrir toutes les nouveautés et installer cette nouvelle version, inscrivez-vous à notre Install Party prévue le jeudi 18 juin 2015 dans nos locaux à Nanterre.

Revue de presse de l'April pour la semaine 11 de l'année 2015

20
16
mar.
2015
Internet

La revue de presse de l'April est régulièrement éditée par les membres de l'association. Elle couvre l'actualité de la presse en ligne, liée au logiciel libre. Il s'agit donc d'une sélection d'articles de presse et non de prises de position de l'association de promotion et de défense du logiciel libre.

Sommaire

Journal VITAM : projet open-source gouvernemental pour l'archivage de données

13
9
mar.
2015

La dématérialisation et l'archivage des contenus issus de sources gouvernementales est un sujet délicat, aussi bien du point de vue législatif (durée de conservation) que de la confiance dans la solution mise en place. Cette mission, remplie jusqu'à présent par des moyens de stockage "classiques", doit aujourd'hui faire face à la forte augmentation du volume de données produit. Le gouvernement réfléchit donc aux moyens nécessaires pour continuer à assurer cette mission.

Une étude lancée par les ministères de la Défense (...)

Journal Qualite des disques blu-ray enregistrables pour l’archivage des donnees numeriques

Posté par (page perso) . Licence CC by-sa
7
15
oct.
2013

Un journal bookmark marque-page, mais qui sera utile à ceux qui utilisent des bluray, notamment pour l'archivage de données.

Le Ministère de la Culture et de la Communication, la direction générale des patrimoines et le service interministériel des Archives de France ont effectué une étude sur la viabilité de ce format.

Malheureusement, c'est un fichier PDF

Bonne lecture.

http://www.archivesdefrance.culture.gouv.fr/static/6187

Sortie de Maarch 1.4 et install parties à Nanterre et Dakar

Posté par (page perso) . Édité par Benoît Sibaud, Nils Ratusznik et Pierre Jarillon. Modéré par Pierre Jarillon. Licence CC by-sa
9
13
mai
2013
Communauté

À l'occasion de la sortie de sa version 1.4, Maarch organise le vendredi 7 juin 2013 une install party dans ses locaux, à Nanterre (11 boulevard du Sud-Est, 92000 Nanterre, France) et à Dakar (Maarch West Africa, 65/66 Résidence Machala Liberté 6 extension - Dakar, Sénégal).

Maarch est un Système d'Archivage Électronique (SAE) perfectionné, auquel des fonctionnalités, de Gestion Électronique de Documents (GED) de Gestion Électronique de Courriers (GEC), de Dossiers et d'archivage de vos spools en sortie de chaînes d'Éditique (COLD) ont été ajoutées.

Maarch est un outil de production unique, entièrement open source et distribué sous licence GPLv3.

Pour découvrir toutes les nouveautés et installer cette nouvelle version, inscrivez vous à nos install parties prévues le 7 juin 2013 dans nos locaux à Nanterre à et à Dakar.

Sortie de Maarch Entreprise 1.3

Posté par (page perso) . Édité par Nÿco et baud123. Modéré par Xavier Claude. Licence CC by-sa
Tags :
20
18
mai
2012
Commercial

La core team Maarch est fière de vous annoncer la publication de la version 1.3 de Maarch Entreprise (licence GPL 3).

Maarch Entreprise est un Système d’Archivage Électronique (SAE) perfectionné, auquel sont ajoutées des fonctionnalités de Gestion Électronique de Documents (GED) et de Gestion Électronique de Courriers (GEC). Maarch Entreprise est un outil de production unique, entièrement open source et distribué sous licence libre.

La version 1.3 de Maarch Entreprise est une petite révolution car elle s'agrémente de fonctionnalités de gestion de contenu tous formats ! Et va toujours plus loin dans sa capacité à vous proposer des fonctionnalités de GED et de GEC performantes.

Pour découvrir toutes les nouveautés et installer cette nouvelle version, inscrivez vous à notre Install Party prévue le 15 juin 2012 dans nos locaux à Nanterre.

Journal Anomalie Pioneer: une solution en vue ?

Posté par (page perso) . Licence CC by-sa
74
21
avr.
2012

Une énigme scientifique connue sous le nom d'anomalie Pioneer tracasse pas mal de chercheurs depuis des années. Pour résumer en quelques mots, il s'agit d'un ralentissement inexpliqué qui affecte la trajectoire des sondes spatiales Pioneer 10 et Pioneer 11.

Ces sondes ont été lancées par la NASA en 1972 et 1973 afin d'explorer les planètes géantes du système solaire, en particulier Jupiter. Après leur survol de ces planètes, et la prise de nombreuses photos et données scientifiques, les (...)

Journal Pour l'archivage : reiserfs ou ext4 ?

3
6
fév.
2012

Avant de formater mon nouveau disque dur, j'ai voulu comparer le fantastique nouveau ext4 avec l'antique reiserfs bien moins utilisé mais dont j'étais satisfait.

La semaine dernière j'avais fait un test de remplissage d'un fichier d'1Go avec reiserfs et avec ext4 sur la même partition.
Le résultat était sans appel en faveur de reiserfs (de l'ordre de 20 ou 30% plus rapide)
Sans parler du temps de formatage, ni d'un index fichier énorme (df) pour ext4 contre 33Mo pour reiserfs... (...)

Médoc, un dépôt de documents fait maison

Posté par (page perso) . Édité par NeoX et Xavier Claude. Modéré par j.
35
19
déc.
2011
Bureautique

C'est en farfouillant pour la énième fois dans une pile de papelards que le développeur du logiciel s'est dit qu'il y en avait assez d'avaler de la poussière en rêvant de Ctrl-F, et qu'il était temps d'enfin faire quelque chose d'utile avec ses compétences de pisseur de code.

Après quelques essais, ce qui n'était que quelques scripts mis bout à bout est aujourd'hui une solution intégrée de numérisation, à travers un client lourd, et de classement et de consultation, à partir d'un client Web.

Le tout est distribué sous licence GPL.

NdM : merci à small_duck pour son journal.