Philippe M a écrit 953 commentaires

C'est pas mal aussi cette idée avec tar mais je préfère rester avec rsync car les fichiers source ne changent pas beaucoup donc le côté incrémentale est vraiment un plus.

Born to Kill EndUser !

J'ai la main sur la structure du fichier mais cela ne change en rien la structure physique du stockage et je n'ai pas la main sur le stockage source.

Born to Kill EndUser !

C'est une bonne idée, moyennement quelques adaptations.

Dans mon premier post je n'ai pas précisé que ces fichiers sont ensuite accessible via une url pour être mis à dispo pour des clients. Sur le serveur de destination c'est du apache/php qui tourne. Je ne sais pas si les hardlink marchent dans ce cas ?

Il n'y aura donc qu'une seule fois le fichier fic1.jpg sur le disque dur, mais présent à la fois dans /reception/a/d/p/e/ et dans files/ref1/fic1/thumbnail/

C'était pas clair dans mon exemple mais se sont des différents.

Born to Kill EndUser !

J'ai passé le cap et lancé l'installation de Fedora après avoir réussi à démarrer depuis la clé usb avec Ventoy.

Avant, depuis Windows, j'ai réduit la partition principal au strict minimum pour pouvoir installer Fedora sur l'espace libre.

Maintenant dans Grub j'ai les entrées pour lancer Fedora et une pour lancer le boot manager de microsoft.

Born to Kill EndUser !

J'y ai pensé mais je préfère l'inverse, linux en hôte et windows en VM (j'ai plusieurs version de windows pour différent besoins).

Born to Kill EndUser !

J'ai réussi à démarrer depuis la clé USB grâce de Ventoy. Tout a l'air de marcher mais je n'ose pas lancer l'installation par peur de me retrouver bloqué de nouveau par le secure boot :(

Born to Kill EndUser !

Je l'ai déjà tenté, Par défaut sur mon BIOS le TPM est déjà activé et cela ne règle pas le problème.

Born to Kill EndUser !

J'ai tenté d'attaquer directement une base de données en prod (ERP) et même si il y a un cache, cela fait ramer la base source. J'ai rencontré ce problème avec l'utilisation de champ personnalisé et des dates. J'ai ouvert un ticket (https://github.com/metabase/metabase/issues/16533) sur ce sujet mais je pense que c'est un problème que l'on retrouvera sur tout les outils proposant des interfaces graphiques. Un peu comme à la grand époque de Dreamweaver pour la construction de site en HTML. C'était simple pour le commun de mortel mais une vrai boucherie pour le codeur qui passe derrière.

Il faut prendre en compte la volumétrie, si c'est pour faire une requête par soir sur un nombre limité d'enreg cela peut suffire ou accepter que cette requête tourne pendant 10mn alors pas de problème. Mais si c'est pour monter un tableau de bord commercial qui se rafraîchit toute les 5mn, cela devient difficilement tenable en prod.

Born to Kill EndUser !

pas de transformations de données (j'ai des données géométriques). Si la donnée est propre (genre un timestamp), ça le fait super mais si c'est un peu moins propre, pas de moyen de lui dire comment faire mieux

L'intérêt du datawarehouse est de pouvoir stocker les données comme tu souhaite les exploiter. Par exemple, depuis peu de temps Metabase propose les tableaux croisés dynamiques, pour pouvoir les exploiter correctement nous avons été obligé d'éclater la date YYYY-MM-DD par groupe. Dans le datawarehouse tous les champs date sont éclatés :

+------------+-------------+--------------+------------+
| credat     | credat_year | credat_month | credat_day |
+------------+-------------+--------------+------------+
| 2021-11-30 |   2021      |    11        |     30     |
+------------+-------------+--------------+------------+

Avec cette méthode je peux faire un filtre sur credat et utiliser les credat_* pour présenter mes données par les TCD. Le tout sans aucune modification de la prod.

Born to Kill EndUser !

Metabase est-il de près ou de loin un concurrent de Redash ?

A priori, la grosse différence est que Metabase propose un requêteur graphique qui ne nécessite aucunes connaissances en SQL alors que pour Redash il faut tapoter soit même ses requêtes.

Born to Kill EndUser !

Nous sommes actuellement en phase de mise en prod de metabase. Lors des tests je l'ai connecté directement à la base Oracle de notre ERP… Pas une bonne idée car comme tout requêteur graphique il a tendance à taper large et du coups à générer de grosse requête.

Est-il possible "facilement" de créer des graphiques personnalisé et d'y afficher des données venant de plusieurs type de bdd ? (Genre dans le même graphique recouper des infos venant de mysql et postgres ?).

La solution est de monter un datawarehouse qui sera synchronisé avec une ou x bases. L'avantage est choisir la périodicité de synchro et pouvoir croiser des données provenant des différentes bases, voir même d'import Office injecté par les utilisateurs dans des tables spécifiques.

Born to Kill EndUser !

si les données existent deja et sont disponibles sur la baie netapp,

Oui les données existe déjà et ce depuis de nombreuses années. C'est juste pour un nouveau partage qu'on me demande la possibilité de définir au dossier/fichier des droits et non au share complet. Jusqu'à présent nous avions un public et un share par service.

elles sont peut-etre plus tranquilles sur le NFS qui stockent ensuite en raid, avec deduplication, etc sur le netapp

Les disques des VM sont eux aussi stockés sur la baie dans des datastores dédiés gérés par VmWare.

puis migrer tes utilisateurs sur le nouveau serveur, sans meme toucher aux données qui restent sur le NFS

La migration sera un peu plus "complexe" puisque je souhaite passer de la branche 3.5 à 4.x pour avoir une simulation AD complète avec en backend LDAP, dns, dhcp…

il me semble avoir lu que ce serait une mauvaise idée par exemple de partager des dossiers webs, qui hébergent des sites en PHP, avec du NFS, pour le mettre à dispo d'une ferme de serveurs webs (apache ou nginx)

Cela reste pour de l'interne. Nous avons des app en php mais y une couche docker au milieu de ce petit monde.

J'aime bien garder l'idée du montage NFS car bien plus simple à gérer qu'un disque. Si j'ai besoin de l'agrandir ça me prend à peine 3s, alors qu'un disque, même avec LVM faut que je me gratte la tête pour me rappeler comment faire. Et même bien fait j'ai eu des mauvaises surprise. Je vais faire des essais avec une VM toute propre et récente.

Born to Kill EndUser !

Ah punaise ! Très bonne idée !

Comme quoi ça vaut le coups d'en parler avant d'y aller tête baissé.

Reste à trancher si je continue avec mes montages NFS dans la nouvelle VM ou alors si j'ajoute des disques dans la VM ?

Merci.

Born to Kill EndUser !

Du coups si je veux faire plus simple, il faut que j'ajoute un disque à la VM et que j'active les xattr sur ext4 ?

Born to Kill EndUser !

Oups effectivement erreur de ma part :

nfs4_getfacl test/
A::OWNER@:rwaDxtTnNcCy
A:g:GROUP@:rwaDxtTnNcy
A::EVERYONE@:rwaDxtTnNcy

test/ étant un montage NFS

Born to Kill EndUser !

• les xattr ne sont pas activés sur le serveur NFS (la baie netapp)

A priori c'est géré par la baie dès l'activation du nfs4 : https://www.google.fr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwiRmdON1av0AhWISPEDHfMXBiwQFnoECAsQAQ&url=https%3A%2F%2Fwww.netapp.com%2Fmedia%2F10720-tr-4067.pdf&usg=AOvVaw0XSonXBgCaPifhhYMGmtpz page 45

• la version de ton linux est vieille, peut-etre qu'il ne part pas en NFSv4 mais en v3 ou bien certaines options ne sont pas possibles justement à cause de son age

J'indique dans le fstab d'utiliser nfs4, si il le ne gérait pas je pense que j'aurai une erreur comme quoi le protocole n'est pas supporté ? il est clair que c'est vieux mais j'ai tout les outils getfacl et il marche en plus :)

getfacl /tmp
getfacl : suppression du premier « / » des noms de chemins absolus
# file: tmp
# owner: root
# group: root
# flags: --t
user::rwx
group::rwx
other::rwx

Born to Kill EndUser !

Concernant le fixe : trop harcelés…

Un téléphone fixe DECT… mince le mien ne doit plus avoir de pile depuis 5 ans !
D'ailleurs je pense que le chien l'a transformé en une bouillit pré-mâché et l'a probablement subtilement glissé sous le canapé pour que personne ne s’aperçoive de sa bêtise… Oui mon chien est intelligent et je ne passe pas souvent l'aspirateur sous le canapé !

Born to Kill EndUser !

Suis-je le seul supris de voir un projet avec un script de backup et absolument rien pour décrire le process de restoration des données?

Pour faire la restauration tu utilise BackupPC, mon script permet juste d'extraire des données des containers pour les intégrer dans un processus global de sauvegarde de BackupPC. Dans mon cas j'utilise BackupPC pour Docker, pour des fichiers utilisateurs, pour d'autres bases mysql… Le jour où j'ai besoin de faire une restauration je n'ai pas à me demander par quel outil la sauvegarde est faite et comment cela marche. Des restaurations on en fait pas tout les jours ;)

Soit dit en passant GLPI est le cas typique d'une appli qui peut souffrir de quelques secondes d'arrêt chaque nuit et pour laquelle il y a peu de chance de vouloir restaurer seulement quelques lignes ou une table. Et ils semble que les volumes semblent être des bind mounts de répertoires de la machine hôte.

J'ai proposé GLPI, mais ce n'est qu'un exemple, remplace le par ce que tu veux avec ces propres contraintes. Ta proposition est bonne mais comment faire lorsque tu as un container qu'il est totalement impossible de mettre en pause ?

L'avantage c'est qu'il n'y a quasi aucun scripting, que t'es absolument sûr que le volume de ta db et du reste de l'appli sont cohérents. Avec ta méthode je ne vois rien qui garantie la cohérence entre le dump mysql et les fichiers copiés. Donc à la restauration tu peux te retrouver avec des fichiers uploadés qui ne sont pas référencés en DB et avoir des trucs pas propres..

Ça oui et effectivement, sauf à mettre en pause ou arrêter le container il n'y a pas de solution. Mais toujours même problème, comment faire pour un container qu'il n'est pas possible d'arrêter ?

Du reste en utilisant des vrais volumes plutôt que des bind mounts tu pourrais bénéfichier des capacités de snapshots de docker et faire des backups sur des clones.

J'utilise de vrai volume au quotidien. Si je ne l'ai pas fais dans mon exemple c'est par simplicité et aussi en scriptant la copie des fichiers hors du container on s'affranchit de devoir créer un volume par container.

Born to Kill EndUser !

Tout dépend du container. Pour le cas de GLPI cela serait les fichiers uploader (factures, contrats…). J'avoue ne pas avoir penser à la solution de sauvegarder le répertoire contenant le volume sur l'hôte. J'ai rapidement été voir et c'est quand même un jolie sac dans le répertoire /var/lib/docker/overlay2. Il y a autant de répertoires que de volumes et comme ça il est difficile de savoir qui appartient à qui. Sans compter les volumes fantômes qui peuvent exister.

GLPI n'était qu'un exemple et l'idée est d'avoir quelques choses de réutilisable pour d'autres container.

Pour mysql il est clair qu'il est impossible de copier les fichiers plats, passer par mysqldump permet de mettre un lock le temps de l'export.

Born to Kill EndUser !

Merci.

Born to Kill EndUser !

Je ne connaissais pas Bivac, d'après ce que je comprends c'est uniquement pour les volumes.

BackupPC n'est pas dédié à la sauvegarde Docker, c'est un outil de sauvegarde au sens large. J'ai juste fais un script de pre-backup executé par BackupPC.

Born to Kill EndUser !

Version corrigé, il y avait un problème avec le mv qui n'aimais pas trop les espaces dans le nom de fichier initial.

for e in ./*
do
  # calcul le nouveau nom en replaçant les espaces par _ et PDF par pdf
  nouveau_nom=`echo $(basename "$e") | tr "[:blank:]" "_" | tr "PDF" "pdf"`

  # extrait l'extension
  extension=${nouveau_nom##*.}

  # renomme sous la nouvelle nomenclature
  mv "$(basename "$e")" $nouveau_nom

  # regarde si c'est un PDF et l'imprime
  if [ ${extension} = "pdf" ]
  then
    rlpr --printer=${PRINTER} $nouveau_nom
  fi

  # efface la piece jointe
  rm -f $nouveau_nom
done

Born to Kill EndUser !

Effectivement, c'est bien plus propre comme tu le propose.

Merci.

Born to Kill EndUser !

Et voilà le petit dépôt qui va bien pour les warrior : https://github.com/Philippe-M/mail2print

Born to Kill EndUser !

s/getmail m'a souvent/getmail m'a sauvé/

Born to Kill EndUser !