Posté par romain11 .
En réponse au journal Wikipédia en mode offline.
Évalué à 3.
Dernière modification le 06 décembre 2021 à 15:51.
D'après un rapide test avec rsync sur un mise à jour d'un zim quelconque il est effectivement possible de gagner un peu et de ne pas tout re-télécharger [1].
Cependant le calcul du delta à la demande est coûteux (en CPU) pour le serveur et probablement dans des proportions plus grandes que le surcoût évité de bande passante, toujours pour le serveur.
Il existe des méthodes de distribution efficace de ce genre de delta par pré-calcul (par exemple avec zsync).
La question s'est bien sûr posée pour le projet kiwix [2][3] mais les "delta-transfer" sur des binaires étant inefficace, il faudrait avoir une certaine stabilité dans la façon de regrouper les document pour créer les zim [3] ce qui impliquerait un modification profonde de libzim, ce qui ne serait probablement pas une mince affaire !
Ca me parait tout à fait possible, en revanche si il n'y a que deux backend autant ne pas utiliser de reverse ou de VPN avec une VM qui bascule sur l'IP2 dans le DNS en cas de problème :
www.domain.tld résoud vers IP1 publique + IP2 publique
Si il y a >2 backend la partie VPN est imaginable mais pas indispensable non plus (les reverses sur chacune des 2 IP publique pouvant tapper dans les IPs publiques des backend qui ont accès au net, en particuler sr les backend on peut utiliser un port dédié et n'autoriser les connexions que depuis les IPs de reverses.)
Dans toute ces configuration la redondance est basé sur le DNS failover, notons que les clients gèrent avec plus ou moins de bonheur le fait qu'un fqdn soit résolu en plusieurs IPs (parfois le fallback sur la 2nde IP prend >=5s, voire plus, voire jamais (vieux? java) mais est a priori correctement supporté par les navigateur)
Bonjour,
tu peux utiliser des outils tel que casperjs (ou equivalent, en général utilisé pour faire des tests automatisés) qui va "charger" les pages (inteprétation du JS inclus ce qui fait que tous les sites devraient marcher) exactement comme le ferait firerox. Tu peux ensuite vérifier des objet DOM (idée/exemple : vérifier que le n-ieme tableau a toujours le meme contenu) ou faire des screenshots ex : ( https://davidtang.io/2015/04/30/taking-screenshots-with-casper.html )
DRBL + Clonezilla fera l'affaire aussi bien qu'un autre
#déconnexion à mon avis tu peux enregistrer une déconnexion avec l'editeur réseau de firefox et clique droit 'copier > comme curl' pour avoir une commande qui fait l'affaire.
En effet clonezilla peut répondre à ton problème.
Si tu ne le fais qu'une fois tu cloner le poste prof en le bootant sur une clé USB avec clonezilla live Server puis lancer clonezilla live (encore en clef USB) sur chaque poste pour récupérer l'image. Cest faisable avec 2 clefs, mais avec plus tu pourras mieux paralleliser les installation éleve.
Sinon, c'est plus complexe mais réutilisable à volonté, tu peux aussi écrire ton image master sur un disque et configurer un serveur, par exemple DRBL, qui répond aux requetes DHCP/PXE (il faut que les BIOS des machines éleves soient configurés dans ce sens) pour installer les machines au boot. C'est relativement bien expliqué sur le site de Clonezilla
C'est sans doute la conjonction de deux choses :
- cette métrique doit être agrégée au bout d'un moment
(ex : la métrique n'est pas stockée toutes les toute les 5 min mais moyennée toutes les 15 min lorsqu'elle a plus de 21j)
- la fonction movingSum considère qu'elle n'a pas assez d'information pour faire une valeur cohérente.
Ex : somme de 3,null,null,null = null puis grafana représente probablement null comme 0 (c'est configurable).
Si c'est bien le cas il suffit de positionner xFilesFactor [1] à 0 (une seule valeur suffit alors pour faire une somme pour movingSum [2] :
movingSum(david.metricA,'30day',0)
Je dirais une doc en html versionné avec git.
Cela permet d'avoir une doc souple (facil à faire des liens et à éditer).
Utiliser un wiki pour en faire un export parait effectivement une bonne idée.
Oui c'est comme une sandbox.
Le seul risque existant, c'est qu'il y ait une faille dans le système de virtualisation et qu'une application tournant sur android soit capable de détecter le système de virtualisation et d'exploiter la faille.
C'est très improbable car très difficile à réaliser, ce qui ne laisse que très peux d'attaquants potentiel (à part des services secrets étatiques par exemple)
Proxmox c'est de la virtu KVM, LXC des containers légers (plus léger mais potentiellement moins sécurisé qu'une VM, ce qui à l'air d'être important ici)
Il arrive aussi que changer d'alim résolve le problème (le CPU peut faire n'importe quoi à cause d'une tension instable), mais comme la plupart des problèmes matériel, la seule solution est de tester..
Un agent ssh te permet d'enregistrer ta passphrase pour la session en cours (ou pour une certaine durée configurable).
La plupart de distribution linux on un agent lancé par défaut avec l'environnement de bureau (ex : Gnome)
ssh-add
pour ajouter ta clé à l'agent, les commandes ssh / rsync qui suivent ne te redemanderont pas le mot de passe de la clé.
man ssh-add pour plus d'infos
Posté par romain11 .
En réponse au message Problème réseau SNAT.
Évalué à 1.
Dernière modification le 12 mars 2016 à 00:52.
Si j'ai bien compris, il faut que tu SNAT vmbr2 et non pas vmbr0 :
sur le Proxmox "iptables -t nat -A POSTROUTING -o vmbr2 -j MASQUERADE".
(apès avoir enlevé la règle de MASQUERADE pour vmbr0)
Est ce que le bloc sont redondés ?
Quels performances peut on attendre ?
Avantage inconvénients par rapport à d'autre tech similaire ? (tahoe lafs, mogilefs, ..)
Est ce que ca timeout apres un certain temps que tout soit lancé et quelle que soit la requete (ce que suggère jemore)?
Ou alors est ce que ca timeout lorsque cest la requete qui échoue qui est longue (par ex une requete qui prend >5s) ?
Si c'est le second cas, tu as peut etre un timeout trop bas qqpart :
{timeout TCP , timeout HTTP} X {Client , LB , RP , app} ca va vite d'oublier une possibilité.
Pour de la haute dispo de fichiers, un systeme de fichier réparti ne me paraît pas trop mal
Il semblerait que Ceph
ou GlusterFS ne soient pas si complexe que ça (et ils sont libres et gratuits).
Note : A vu de nez, je privilégierais GlusterFS, car il peut apparement être monté en NFS, ce qui pourrait te permettre de ne pas trop modifier l'archi existante et parcqu'il est apparemment plus performant (d'après de vieux benchmarks)
# mise à jour
Posté par romain11 . En réponse au journal Wikipédia en mode offline. Évalué à 3. Dernière modification le 06 décembre 2021 à 15:51.
D'après un rapide test avec rsync sur un mise à jour d'un zim quelconque il est effectivement possible de gagner un peu et de ne pas tout re-télécharger [1].
Cependant le calcul du delta à la demande est coûteux (en CPU) pour le serveur et probablement dans des proportions plus grandes que le surcoût évité de bande passante, toujours pour le serveur.
Il existe des méthodes de distribution efficace de ce genre de delta par pré-calcul (par exemple avec zsync).
La question s'est bien sûr posée pour le projet kiwix [2][3] mais les "delta-transfer" sur des binaires étant inefficace, il faudrait avoir une certaine stabilité dans la façon de regrouper les document pour créer les zim [3] ce qui impliquerait un modification profonde de libzim, ce qui ne serait probablement pas une mince affaire !
[1] avec son algorithme de "delta-transfer" rsync "speedup is 1.31"
entre https://archive.org/download/ekopedia_fr_all_maxi_2020-06.zim et https://archive.org/download/ekopedia_fr_all_maxi_2020-04.zim
[2] https://github.com/kiwix/overview/issues/12
[3] https://github.com/ipfs/distributed-wikipedia-mirror/issues/71#issuecomment-660609200
# faisable mais peut se faire plus simplement
Posté par romain11 . En réponse au message idée de redondance de VMs, est-ce faisable. Évalué à 2. Dernière modification le 14 mars 2021 à 08:29.
Ca me parait tout à fait possible, en revanche si il n'y a que deux backend autant ne pas utiliser de reverse ou de VPN avec une VM qui bascule sur l'IP2 dans le DNS en cas de problème :
www.domain.tld
résoud vers IP1 publique + IP2 publiqueSi il y a >2 backend la partie VPN est imaginable mais pas indispensable non plus (les reverses sur chacune des 2 IP publique pouvant tapper dans les IPs publiques des backend qui ont accès au net, en particuler sr les backend on peut utiliser un port dédié et n'autoriser les connexions que depuis les IPs de reverses.)
Dans toute ces configuration la redondance est basé sur le DNS failover, notons que les clients gèrent avec plus ou moins de bonheur le fait qu'un fqdn soit résolu en plusieurs IPs (parfois le fallback sur la 2nde IP prend >=5s, voire plus, voire jamais (vieux? java) mais est a priori correctement supporté par les navigateur)
Cf par exemple la discussion https://serverfault.com/questions/60553/why-is-dns-failover-not-recommended
# divers
Posté par romain11 . En réponse au message Technologie coté serveur. Évalué à 1.
Ta description me fait penser à :
https://en.wikipedia.org/wiki/L4_microkernel_family
(L3, son prédécesseur a été développé par un allemand)
http://rumpkernel.org/
(https://en.wikipedia.org/wiki/Rump_kernel qui mentionne qu'un "rump kernel" peut tourner sur L4 )
ou encore
http://runtimejs.org/
# Outils de tests automatisés
Posté par romain11 . En réponse au message Outils pour surveiller changements sur une page web ?. Évalué à 1.
Bonjour,
tu peux utiliser des outils tel que casperjs (ou equivalent, en général utilisé pour faire des tests automatisés) qui va "charger" les pages (inteprétation du JS inclus ce qui fait que tous les sites devraient marcher) exactement comme le ferait firerox. Tu peux ensuite vérifier des objet DOM (idée/exemple : vérifier que le n-ieme tableau a toujours le meme contenu) ou faire des screenshots ex : ( https://davidtang.io/2015/04/30/taking-screenshots-with-casper.html )
[^] # Re: Quelques éléments
Posté par romain11 . En réponse au message Aide pour faire du clonage dans une salle de classe, svp. Évalué à 2.
DRBL + Clonezilla fera l'affaire aussi bien qu'un autre
#déconnexion à mon avis tu peux enregistrer une déconnexion avec l'editeur réseau de firefox et clique droit 'copier > comme curl' pour avoir une commande qui fait l'affaire.
#anaconda system-wide = pour tous les utilisateurs, c'est différent de multi utilisateur correspondant à un groupe (voir https://stackoverflow.com/questions/27263620/how-to-install-anaconda-python-for-all-users)
# Quelques éléments
Posté par romain11 . En réponse au message Aide pour faire du clonage dans une salle de classe, svp. Évalué à 2.
En effet clonezilla peut répondre à ton problème.
Si tu ne le fais qu'une fois tu cloner le poste prof en le bootant sur une clé USB avec clonezilla live Server puis lancer clonezilla live (encore en clef USB) sur chaque poste pour récupérer l'image. Cest faisable avec 2 clefs, mais avec plus tu pourras mieux paralleliser les installation éleve.
Sinon, c'est plus complexe mais réutilisable à volonté, tu peux aussi écrire ton image master sur un disque et configurer un serveur, par exemple DRBL, qui répond aux requetes DHCP/PXE (il faut que les BIOS des machines éleves soient configurés dans ce sens) pour installer les machines au boot. C'est relativement bien expliqué sur le site de Clonezilla
#déconnexion
J'imagine que la plupart des DMs on des hooks pour ce genre de problème, ex pour gdm tu peux lancer un script grâce au hook PostLogin ( https://help.gnome.org/admin/gdm/stable/configuration.html.en#scripting )
#anaconda
if you need to, you can install Anaconda system wide ( https://docs.anaconda.com/anaconda/install/ )
# Il y a le choix?
Posté par romain11 . En réponse au journal OVH passe d'un logiciel libre à un logiciel non libre. Évalué à 2.
La page https://www.ovh.com/fr/mail/ semble laisser le choix entre plusieurs webmail, et roundcube est toujours présent
# problème d'agrégation de métrique ?
Posté par romain11 . En réponse au message Je me bats avec Grafana et Graphite. Évalué à 2.
C'est sans doute la conjonction de deux choses :
- cette métrique doit être agrégée au bout d'un moment
(ex : la métrique n'est pas stockée toutes les toute les 5 min mais moyennée toutes les 15 min lorsqu'elle a plus de 21j)
- la fonction movingSum considère qu'elle n'a pas assez d'information pour faire une valeur cohérente.
Ex : somme de 3,null,null,null = null puis grafana représente probablement null comme 0 (c'est configurable).
Si c'est bien le cas il suffit de positionner xFilesFactor [1] à 0 (une seule valeur suffit alors pour faire une somme pour movingSum [2] :
movingSum(david.metricA,'30day',0)
[1] plus d'infos : https://graphite.readthedocs.io/en/latest/functions.html#graphite.render.functions.setXFilesFactor
[2] parametre facultatif xFilesFactor de movingSum voir https://graphite.readthedocs.io/en/latest/functions.html#graphite.render.functions.movingSum
# question intéressante
Posté par romain11 . En réponse au message Logiciel de gestion de doc technique. Évalué à 1.
Je dirais une doc en html versionné avec git.
Cela permet d'avoir une doc souple (facil à faire des liens et à éditer).
Utiliser un wiki pour en faire un export parait effectivement une bonne idée.
# réponse courte : oui
Posté par romain11 . En réponse au message Isolation virtualbox / android. Évalué à 5.
Oui c'est comme une sandbox.
Le seul risque existant, c'est qu'il y ait une faille dans le système de virtualisation et qu'une application tournant sur android soit capable de détecter le système de virtualisation et d'exploiter la faille.
C'est très improbable car très difficile à réaliser, ce qui ne laisse que très peux d'attaquants potentiel (à part des services secrets étatiques par exemple)
# full remote ?
Posté par romain11 . En réponse au message L'Inra recrute un "administrateur-trice réseaux". Évalué à 4.
C'est parcque c'est en télétravail à temps complet qu'il n'y a pas de lieu ?
[^] # Re: mon setup à base de LXC (proxmox inside)
Posté par romain11 . En réponse au message LXC et TOR sur ArchLinux. Évalué à 1.
Proxmox c'est de la virtu KVM, LXC des containers légers (plus léger mais potentiellement moins sécurisé qu'une VM, ce qui à l'air d'être important ici)
# a priori pas de problème
Posté par romain11 . En réponse au message LXC et TOR sur ArchLinux. Évalué à 2.
Meme principe qu'avec tes RPi : tu fais un LXC service caché qui n'a qu'une interface vers le LXC tor qui lui accède au net.
# Gestion de parc
Posté par romain11 . En réponse au message Gérer ses serveurs facilement sans se brainfuck. Évalué à 3.
GLPI ( http://glpi-project.org/ ) me vient à l'esprit
[^] # Re: Quelques vérifications
Posté par romain11 . En réponse au message Erreur matérielle MCE. Évalué à 2.
Il arrive aussi que changer d'alim résolve le problème (le CPU peut faire n'importe quoi à cause d'une tension instable), mais comme la plupart des problèmes matériel, la seule solution est de tester..
# Utilises un agent ssh
Posté par romain11 . En réponse au message Script ssh sans mot de passe. Évalué à 10. Dernière modification le 11 mai 2017 à 23:10.
Un agent ssh te permet d'enregistrer ta passphrase pour la session en cours (ou pour une certaine durée configurable).
La plupart de distribution linux on un agent lancé par défaut avec l'environnement de bureau (ex : Gnome)
ssh-add
pour ajouter ta clé à l'agent, les commandes ssh / rsync qui suivent ne te redemanderont pas le mot de passe de la clé.
man ssh-add pour plus d'infos
# SLURM
Posté par romain11 . En réponse au message Solution job scheduller. Évalué à 1.
[SLURM] https://slurm.schedmd.com/
[^] # Re: Non je vois pas
Posté par romain11 . En réponse au message compatibilité sh -c 'echo "rr" 1>&3 && ls -al .' 3>&1. Évalué à 1.
Je pense que ce que tu cherche cest mkfifo.
Ex : https://www.linuxjournal.com/article/2156
# Sympa
Posté par romain11 . En réponse au journal Electronic Real World : Internet Packet Life. Évalué à 2.
Ca me fait penser à http://iletaitunefoislinternet.fr/
(aussi inspiré d'il était une fois la vie, mais cest une pièce de théatre, pas une bd)
Le début de la pièce (en construction au moment de la vidéo) :
https://www.youtube.com/watch?v=AuHcRd8ED6k
[^] # Re: OUTPUT vs FORWARD
Posté par romain11 . En réponse au message Problème réseau SNAT. Évalué à 1. Dernière modification le 12 mars 2016 à 00:52.
Si j'ai bien compris, il faut que tu SNAT vmbr2 et non pas vmbr0 :
sur le Proxmox "iptables -t nat -A POSTROUTING -o vmbr2 -j MASQUERADE".
(apès avoir enlevé la règle de MASQUERADE pour vmbr0)
# Bokor ?
Posté par romain11 . En réponse au message Deploiement et maintenance de parc via bittorrent. Évalué à 1.
http://bokor.io/
# Manque d'info a vue de nez
Posté par romain11 . En réponse au message On a développé un nouveau système de fichiers en peer-to-peer. Évalué à 2.
Est ce que le bloc sont redondés ?
Quels performances peut on attendre ?
Avantage inconvénients par rapport à d'autre tech similaire ? (tahoe lafs, mogilefs, ..)
# Ca timeout quand ?
Posté par romain11 . En réponse au message reverse proxy Apache + serveur backend = connexion reset by peer. Évalué à 1.
Est ce que ca timeout apres un certain temps que tout soit lancé et quelle que soit la requete (ce que suggère jemore)?
Ou alors est ce que ca timeout lorsque cest la requete qui échoue qui est longue (par ex une requete qui prend >5s) ?
Si c'est le second cas, tu as peut etre un timeout trop bas qqpart :
{timeout TCP , timeout HTTP} X {Client , LB , RP , app} ca va vite d'oublier une possibilité.
# Oui c'est exactement ça
Posté par romain11 . En réponse au message Containers de type Docker : le statique du 21e siècle ?. Évalué à 2.
De ce que je comprends, les "gros" (genre Google, cf source) règlent ce problème en recyclant rapidement les containers :
http://www.theregister.co.uk/2014/05/23/google_containerization_two_billion/
C'est sur qu'on peut se demander si une telle solution est applicable pour des plus petites structures…
# https://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems
Posté par romain11 . En réponse au message Architecture tolérance de panne en LAMP : des conseils ?. Évalué à 1.
Pour de la haute dispo de fichiers, un systeme de fichier réparti ne me paraît pas trop mal
Il semblerait que Ceph
ou GlusterFS ne soient pas si complexe que ça (et ils sont libres et gratuits).
Note : A vu de nez, je privilégierais GlusterFS, car il peut apparement être monté en NFS, ce qui pourrait te permettre de ne pas trop modifier l'archi existante et parcqu'il est apparemment plus performant (d'après de vieux benchmarks)