Merci pour les infos, je vais essayer dès que possible.
Pour rappel, le but est de tout refuser et d'autoriser certaines adresses, en fait un fonctionnement sur "liste blanche" (qui fonctionne sur l'http mais pas sur l'https).
Dans l'entreprise, il n'y a pas de risque que le personnel s'amuse a contourner les protections, déjà parce qu'ils n'ont pas les compétences et aussi parce que leur moyens sont limités (ce sont des postes virtualisés et l'usb ne fonctionne pas, le poste client lance juste startx suivi de rdesktop).
En revanche, oui, il est possible qu'il viennent avec leur smartphone ou tablette, pour l'instant, c'est reste le tricot et le journal ;-)
Le problème est que les personnes passent du "coq à l'âne", un petit bout de travail, suivi de quelques minutes sur le net a butiner, suivi d'un retour pour faire une facture à la va-vite et ensuite on repasse sur le net.
Le but étant de faire son marché ou de gérer sa messagerie au boulot pour être tranquille le soir.
Au final, il y a des fautes d'inattention et des bourdes et qui coûte cher.
De plus, les gens ne reconnaissent pas le fait d'être sur le net, "pris la main dans le sac" ce n'est pas eux, de plus, comme dit plus haut, il dilue leur "activité extérieure" de façon a pouvoir dire "Je n'y suis allé que 5 min", alors qu'en fait, en temps cumulé, c'est 4h.
Comme il ne faut "rien dire" et ne surtout pas montrer qu'on "voit tout", on ne peut que procéder a des interdictions pur et simple (certaines personnes agissent de manière "volaillesque"), il faut du simple, du canalisé.
Le problème c'est que de protéger l'employé et dire qu'il a le droit de faire autre chose que son boulot, cela se finira par "la porte".
Certaines entreprises surtout à notre époque, ne peuvent pas se permettre de payer des gens a faire autre chose que leur travail.
De plus, je ne suis pas le patron, et ne suis pas dans l'encadrement.
Le problème est complexe et vous avez tous raison.
Pour ma part, je vais regarder cette notion de --enable-ssl dans squid, mais je ne sais pas si je serai compétent pour faire cela, mais je vais essayer.
Je ne sais pas si Ipfire est compilé avec cette option, si c'était le cas ce serait bien.
L'informatique n'est pas mon métier directement, mais il se trouve que je gère une structure informatique pour un ami dans son entreprise.
Au début: un serveur DELL sous Win (jamais sauvegardé)
des postes DELL sous W2000
2 lignes de fax propriétaire matériel
Aujourd'hui:
un serveur Nas4Free sous ZFS (mirroir) + clône, et avec des snapshots
des poste clients sur des RaspberryPi (taille mini et silence)
les Windows sont sous Virtualbox (en mode headless), tous les windows tournent sur 3 serveurs de machines virtuelles.
les 2 lignes de fax sont virtualisés
tout est sauvegardé tous les jours (rsync avec option backup)
tout est indestructible (pas de dépendance)
tout est cloné sur une machine déportée localement (incendie)
toutes parties peut être remise en service ailleurs sous 10 à 15 min (temps de copies)
en gros, on peut tout voler le matos, je retrouve 2 pc et j'assure un minimum en quelques heures.
J'ai mis des années pour arriver à cela, mais aujourd'hui toutes les machines physiques fonctionnent sur du libre et le personnel utilise Windows (virt).
Au début, je suis passé pour un fou (quand j'ai parlé de virtualisation, certains croyaient qu'ils allaient avoir un gant et avoir un casque sur la tête, lol) , jamais on m'aurait laissé faire, mais aujourd'hui, tout est fait, et je suis allé même au delà de ce que je prévoyais.
Il faut prendre éléments par éléments et surtout démontrer les avantages de telle ou telle
possibilité.
Je pense que le meilleur pour commencer est le NAS (partage Windows)
L'autre plan de bataille est la virtualisation, montrer les avantages, la liberté par rapport au matériel.
Moi aussi je suis dans le même cas, j'ai été dans les automatismes/info industrielle, j'ai fais un dif, mais mon entreprise n'y a pas cru et je suis partis, je me suis lancé dans quelque chose à mon compte, mais la crise est passé par là et aujourd'hui je me remets dans l'informatique.
Je vais sans doute essayer la formation, j'ai un gros inconvénient je suis anti-Microsoft à donf (mon dernier Windows est 95), mais je suis aussi un magicien, c'est à moi de montrer tout ce que l'on peut faire.
C'est pas toujours facile, et les gens ne "suivent" pas, il faut donc des exemples concrets, montrer du 'vrai', des exemples et des choses que les gens comprennent.
Il me manque aussi plein de briques (sur le réseau par exemple), c'est dommage, car a une époque j'aurais pû faire le lien entre l'automatisme et le web dynamique.
Bien sûr, pour ma part, avoir une entreprise en réel, c'est un bon exemple, mais après, la suite, je n'en sais rien.
Toi tu as l'avantage d'avoir déjà une casquette Microsoft ;-)
Trouve toi des machines de tests et construis toi des parties, des exemples.
Je trouve que c'est très rassurant de dire "j"ai", "ça marche", "je fais" plutôt que "normalement, on devrait pouvoir faire"
Je ne suis pas un bon exemple car je suis autodidacte (j'ai tout raté mes études et j'ai aucun diplôme), mais bon, c'est un avis parmi d'autres.
Avant toute chose, une question bête: comment fait-on pour être informé des nouveaux messages sur le forum ? je pensais que j'allais recevoir un courriel lorsque le fil de discussion allait "vivre" mais apparemment, ce n'est pas le cas.
Pour ZFS, j'ai investi (pour voir, lol … ouille ça coute cher quand même !) dans un SSD de 500Go (tant qu'à faire), j'ai regardé la différence avec mes disques SAS et pour l'instant sur des petites taille de cache, je ne vois pas trop la différence.
Perso, je trouve ZFS très facile d'utilisation, si on a un disque /dev/sda, on fait: zpool create mypool /dev/sda
puis, un zfs set dedup=on mypool et c'est tout !
quelques zpool list pour voir la dedup de temps en temps.
Si on a que des disques sata, on peut les mettre en raid0 avec mdadm ça accumule les performances pour pas cher: zpool add mypool cache /dev/md0
mais on peut aussi utiliser séparément les disques avec ZFS: zpool add mypool cache /dev/sda /dev/sdb /dev/sdc
avec zpool iostat -v 1, on voit le travail du cache
Je trouve que ZFS offre pas mal de possibilité sur Linux, soit en dev directement, soit en iscsi, soit en fichier … ou pourquoi pas tous les 3 en mirroir ZFS ;-)
En tout cas je reste ouvert sur une déduplication en "offline", car en fait, j'utilise ZFS qui est "online" dans un mode plutôt "offline", d'un certain coté çà à l'avantage de faire les deux.
J'ai regardé du coté de bup, mais j'ai rien compris ;-/
vous pouvez essayer la déduplication ZFS facilement pour voir zpool create mypool /dev/sdb
et vous voilà avec un pool de la totalité du disque
un p'tit coup de zfs set dedup=on mypool et c'est partit pour la dedup
vous copiez une image iso de CD dedans, puis la même avec un nom différent, un petit zpool list, et normalement vous avez une dedup égale à 2
là, il faudra voir la vitesse d'écriture, et, voir si ça "tient la route" ou pas, c’est votre matériel qui fera les choses.
pour améliorer:
mettre un disque en plus (zpool export mypool, arrêt de la machine et ajout du disque, zpool import mypool) zpool add mypool cache /dev/sdc
puis, zfs primarycache=metadata mypool
zfs secondarycache=metadata mypool
Je mets toujours les deux cache en metadata pour minimiser la RAM et pour ne pas écrire un cache trop gros, car celui-ci augmente énormément et le temps de lecture augmentera par la même occasion.
regardez avec zpool iostat -v 1 le travail du cache lorsque l'on recopie le même fichier
si on peut, on rajoute un second disque: zpool add mypool cache /dev/sdd
l'avantage avec ZFS, c'est qu'on peut facilement récupérer ses disques "à chaud", par exemple, si on a un cache de 2 disques dont /dev/sdc, on fait: zpool remove mypool /dev/sdc et sdc est dispo de suite, et tout cela pendant que "ça tourne".
On peut imaginer démarrer un pool sur un fichier, le mettre en mirroir en iscsi et ensuite détacher le fichier, ainsi, on peut déplacer un pool en production, on peut jouer avec des To "en plein boulot", après, faut que le matos le permette, avec un PC normal en Go ça va ;-) … en To c'est une une autre histoire !
Toutefois, Btrfs est sans doute intéressant et je suivrai de près cet outil, mais pour l'instant j'ai besoin de quelque chose qui marche tout de suite, ZFS est disponible et fonctionne très bien sous Linux.
rectificatif, j'ai donné 15Mo/s, mais j'ai désormais plus de 25Mo/s de moyenne avec un facteur de déduplication de 3 et un cache de 10Go pour le cache ZFS (cache primaire et secondaire en "metadata")
Mes disques en cache ne font pas trop de bruit par contre, sans cache sur le contrôleur SAS, le bruit devient "agricolesque".
petit rectificatif: 1,1Go/s c'est en ext3 avec mdadm … pas sous ZFS (le système de gestion transactionnel des données est plus complexe et les performances ne sont pas équivalente, c'est le prix a payer pour l'ultra-fiabilité de ZFS)
Je viens de tomber sur ce post en cherchant des trucs sur ZFS.
Je viens de voir quelques échanges et je me dis que je pourrais y ajouter un petit grain de sel ;-)
Je n'étais pas inscris sur LinuxFR … c'est chose faite.
Voici ce que je peux dire:
J'ai testé ZFS sur Freenas puis sur Nas4Free (pour info, Nas4free est la suite de Freenas, Freenas ayant été racheté par une société commerciale à la version 8)
Cela fait des années que j'utilise ZFS, mon serveur perso de la maison a 3 disques de 2To sur une petite carte D510 Intel avec 4Go de RAM, ça marche Nickel et ça fait serveur DLNA.
J'ai 3 onduleurs … sans batteries, lol … et mes nas sous ZFS ont connus plusieurs fois des coupures de courant en plein travail (écritures multiples) … même pas d'erreurs ! normal c'est du COW (CopyOnWrite).
Cela fait quelques mois que je me mets a utiliser ZFS sur Linux et je trouve que cela marche très bien, très simple avec des disques usb avec la notion d'export (pas besoin de partoche, ça dit ce qu'on peut monter .. ou pas avec la commande zpool import).
Pour la gestion de ZFS, il faut de la RAM, c'est mieux mais pas obligatoire, avant, cela posait des pb, mais depuis quelques temps la gestion est mieux faite, normalement, on dit qu'il faut 1Go de RAM par To.
En fait ce qu'il faut comprendre c'est que ZFS va fonctionner par couches, il utilise d'abord la RAM, puis le(s) SSD; puis le(s) disques.
Pour ma part, j'ai commencé avec du SATA, mais aujourd'hui j'utilise du SAS, pas pour les donnée mais pour le log (des fois) mais surtout pour le cache (zpool add nomdupool cache /dev/sdd /dev/sdd, par exemple)
Quand on a pas de RAM et pas de SSD, il faut avoir un bon cache disque, je conseille de trouver de cartes SAS (de 20 à 100 euros sur les sites de bonnes affaires et de mettre quelques disques SAS (mais on peut utiliser un disques SATA ça marche aussi … mais moins bien;-)
Perso, je monte à plus de 1,1 Go/s avec 6 disques Seagate de 300Go 15k7, mais déjà avec 2 disques en raid0 matériel ou en entrelacés ZFS, on peut avoir de bons résultats.
La carte SAS, à l'avantage de passer par le "pont-nord" de la carte mère, alors que les ports SATA passeront par le "pont-sud", ce qui dans certains cas donneront des performances mauvaises (le SATA peut être bon sur le papier mais ça ne tient pas la route "en charge", il a un fonctionnement plus simpliste que le SAS)
Une astuce, on peut mettre du SATA sur une carte SAS et bénéficier du "pont-nord" (accès direct avec le proc)
Si je peux donner un conseil, c'est de privilégier ce point: avoir un "bon cache ZFS" (Si possible SSD ou SAS: ne pas oublier que ZFS a été conçu pour du SAS).
Pour la déduplication, je viens de faire pleins de tests là dessus, en fait, vouloir dédupliquer toutes ces données est une utopie, car cela va représenter une table de déduplication immense et il faudra une machine de guerre pour gérer cela.
Pour ma part, j'utilise désormais la déduplication ZFS sous Debian uniquement sur des fichiers VMDK de machines virtuelles et de même type. J'ai 150Go à sauvegarder par jour.
Tous les essais de déduplication que j'ai fais sur:
- l'ensemble de mes données (fichiers courant)
- les fichiers OVA
- la vidéo
s'est révélés catastrophique, car quand la table augmente, le temps d'accès devient très long et le taux de transfert peut finir en Ko/s !!!
En revanche, si on cible "ses données", c'est à dire que l'on comprend bien ce qu'on veut dédupliquer, on a un bon résultat, par exemple, sur un fichier brut de type VMDK, il y aura quelques Mo de différents. Ce fichier (brut) ne bougera pas et c'est seulement les différences qui seront écrites en plus par ZFS. Si on copie un fichier OVA, soit une exportation d'un fichier VMDK+config, alors là on aura une différence depuis le début et, du coup, c'est tous les blocs qui seront différents … adieu la déduplication !)
On peut jouer sur le cache primaire et secondaire pour améliorer mais ça ne fera pas tout.
Après quelques copies de fichiers VMDK, j'ai un cache de 3Go, donc, pour que le système puisse s'en sortir, deux solutions:
- soit du SSD et là, il trouve rapidement "ses petits" (vu le prix des SSD j'abandonne)
- soit "l'ensemble disque" est performant et là on aura des performances acceptables (actuellement, j'ai 2 disques de cache 15k7 (200Mo/s pour chaque disque) et une carte LSI avec 512Mo de cache).
J'ai ciblé mes sauvegardes de fichiers vmdk en faisant un pool dédié (de même type) et je ne fais que ça, j'arrête surtout ZFS quand je change de pool (/etc/init.d/zfs-fuse stop), car sinon, il va garder sa table en mémoire et elle augmentera avec les autres données et là ce sera 10Go en cache qu'il faudra scruter !
Donc, le ZFS oui ! la déduplication … oui MAIS sous des conditions strictes de bon sens avec une bonne compréhension des données que l'on possède… ou alors on investi dans une carte bi-xéon avec 192Go de RAM, 32Go de SSD, et là c'est fantastique.
Pour info, pour avoir une bonne déduplication, il faudrait "aller" vers des blocs petits (512 octets), la déduplication par défaut est sur des blocs de 128Ko (plus les blocs sont gros, moins ça déduplique).
Avec des fichiers de type "image de disque", vdi, ou vmdk, il faut utiliser les blocs de 128Ko.
Pour l'instant, je suis en production avec une B75/AsRock/8Go de RAM avec un i5-2500, carte LSI de 512Mo de cache et 4 disques SAS 15k7, ça rame en moyenne à 15Mo/s, c'est le temps qu'il faut pour scruter le cache et la table.
Je suis pris à la gorge car mes données s'accumulent, mais bon, ça charge doucement, le facteur de déduplicaction monte, c'est l’essentiel !
Mais dans quelques temps, je mets en service une carte bi-xéon avec 32Go de RAM avec 4 ou 6 disques de cache soit 10 disques durs SAS uniquement pour le fonctionnement de ZFS (2 cartes contrôleurs SAS), tant que je peux le faire en 'disques durs', je ferai ! na!
..; en été c'est pas top avec 10 disques ;-/ .. quand les SSD seront moins cher j'investirai.
Voilà en gros mon avis.
PS: je crois que les nouvelles cartes mères n'ont plus de "pont-nord".
[^] # Re: chezmoiçamarche.com
Posté par mtiburs . En réponse au message Gestion des https avec squid ou autre. Évalué à 1.
Merci pour les infos, je vais essayer dès que possible.
Pour rappel, le but est de tout refuser et d'autoriser certaines adresses, en fait un fonctionnement sur "liste blanche" (qui fonctionne sur l'http mais pas sur l'https).
# Gestion des https avec squid ou autre
Posté par mtiburs . En réponse au message Gestion des https avec squid ou autre. Évalué à 2.
Merci pour vos réponses
Dans l'entreprise, il n'y a pas de risque que le personnel s'amuse a contourner les protections, déjà parce qu'ils n'ont pas les compétences et aussi parce que leur moyens sont limités (ce sont des postes virtualisés et l'usb ne fonctionne pas, le poste client lance juste startx suivi de rdesktop).
En revanche, oui, il est possible qu'il viennent avec leur smartphone ou tablette, pour l'instant, c'est reste le tricot et le journal ;-)
Le problème est que les personnes passent du "coq à l'âne", un petit bout de travail, suivi de quelques minutes sur le net a butiner, suivi d'un retour pour faire une facture à la va-vite et ensuite on repasse sur le net.
Le but étant de faire son marché ou de gérer sa messagerie au boulot pour être tranquille le soir.
Au final, il y a des fautes d'inattention et des bourdes et qui coûte cher.
De plus, les gens ne reconnaissent pas le fait d'être sur le net, "pris la main dans le sac" ce n'est pas eux, de plus, comme dit plus haut, il dilue leur "activité extérieure" de façon a pouvoir dire "Je n'y suis allé que 5 min", alors qu'en fait, en temps cumulé, c'est 4h.
Comme il ne faut "rien dire" et ne surtout pas montrer qu'on "voit tout", on ne peut que procéder a des interdictions pur et simple (certaines personnes agissent de manière "volaillesque"), il faut du simple, du canalisé.
Le problème c'est que de protéger l'employé et dire qu'il a le droit de faire autre chose que son boulot, cela se finira par "la porte".
Certaines entreprises surtout à notre époque, ne peuvent pas se permettre de payer des gens a faire autre chose que leur travail.
De plus, je ne suis pas le patron, et ne suis pas dans l'encadrement.
Le problème est complexe et vous avez tous raison.
Pour ma part, je vais regarder cette notion de --enable-ssl dans squid, mais je ne sais pas si je serai compétent pour faire cela, mais je vais essayer.
Je ne sais pas si Ipfire est compilé avec cette option, si c'était le cas ce serait bien.
# Il faut le faire en douceur, pas à pas
Posté par mtiburs . En réponse au message Reconversion professionnelle vers le libre. Évalué à 2.
L'informatique n'est pas mon métier directement, mais il se trouve que je gère une structure informatique pour un ami dans son entreprise.
Au début: un serveur DELL sous Win (jamais sauvegardé)
des postes DELL sous W2000
2 lignes de fax propriétaire matériel
Aujourd'hui:
un serveur Nas4Free sous ZFS (mirroir) + clône, et avec des snapshots
des poste clients sur des RaspberryPi (taille mini et silence)
les Windows sont sous Virtualbox (en mode headless), tous les windows tournent sur 3 serveurs de machines virtuelles.
les 2 lignes de fax sont virtualisés
tout est sauvegardé tous les jours (rsync avec option backup)
tout est indestructible (pas de dépendance)
tout est cloné sur une machine déportée localement (incendie)
toutes parties peut être remise en service ailleurs sous 10 à 15 min (temps de copies)
en gros, on peut tout voler le matos, je retrouve 2 pc et j'assure un minimum en quelques heures.
J'ai mis des années pour arriver à cela, mais aujourd'hui toutes les machines physiques fonctionnent sur du libre et le personnel utilise Windows (virt).
Au début, je suis passé pour un fou (quand j'ai parlé de virtualisation, certains croyaient qu'ils allaient avoir un gant et avoir un casque sur la tête, lol) , jamais on m'aurait laissé faire, mais aujourd'hui, tout est fait, et je suis allé même au delà de ce que je prévoyais.
Il faut prendre éléments par éléments et surtout démontrer les avantages de telle ou telle
possibilité.
Je pense que le meilleur pour commencer est le NAS (partage Windows)
L'autre plan de bataille est la virtualisation, montrer les avantages, la liberté par rapport au matériel.
Moi aussi je suis dans le même cas, j'ai été dans les automatismes/info industrielle, j'ai fais un dif, mais mon entreprise n'y a pas cru et je suis partis, je me suis lancé dans quelque chose à mon compte, mais la crise est passé par là et aujourd'hui je me remets dans l'informatique.
Je vais sans doute essayer la formation, j'ai un gros inconvénient je suis anti-Microsoft à donf (mon dernier Windows est 95), mais je suis aussi un magicien, c'est à moi de montrer tout ce que l'on peut faire.
C'est pas toujours facile, et les gens ne "suivent" pas, il faut donc des exemples concrets, montrer du 'vrai', des exemples et des choses que les gens comprennent.
Il me manque aussi plein de briques (sur le réseau par exemple), c'est dommage, car a une époque j'aurais pû faire le lien entre l'automatisme et le web dynamique.
Bien sûr, pour ma part, avoir une entreprise en réel, c'est un bon exemple, mais après, la suite, je n'en sais rien.
Toi tu as l'avantage d'avoir déjà une casquette Microsoft ;-)
Trouve toi des machines de tests et construis toi des parties, des exemples.
Je trouve que c'est très rassurant de dire "j"ai", "ça marche", "je fais" plutôt que "normalement, on devrait pouvoir faire"
Je ne suis pas un bon exemple car je suis autodidacte (j'ai tout raté mes études et j'ai aucun diplôme), mais bon, c'est un avis parmi d'autres.
[^] # Re: petit retour d'expérience en ZFS
Posté par mtiburs . En réponse au message ZFS performance et déduplication. Évalué à 3.
Salut,
Merci pour le lien, c'est très intéressant.
Avant toute chose, une question bête: comment fait-on pour être informé des nouveaux messages sur le forum ? je pensais que j'allais recevoir un courriel lorsque le fil de discussion allait "vivre" mais apparemment, ce n'est pas le cas.
Pour ZFS, j'ai investi (pour voir, lol … ouille ça coute cher quand même !) dans un SSD de 500Go (tant qu'à faire), j'ai regardé la différence avec mes disques SAS et pour l'instant sur des petites taille de cache, je ne vois pas trop la différence.
Perso, je trouve ZFS très facile d'utilisation, si on a un disque /dev/sda, on fait: zpool create mypool /dev/sda
puis, un zfs set dedup=on mypool et c'est tout !
quelques zpool list pour voir la dedup de temps en temps.
Si on a que des disques sata, on peut les mettre en raid0 avec mdadm ça accumule les performances pour pas cher:
zpool add mypool cache /dev/md0
mais on peut aussi utiliser séparément les disques avec ZFS:
zpool add mypool cache /dev/sda /dev/sdb /dev/sdc
avec zpool iostat -v 1, on voit le travail du cache
Je trouve que ZFS offre pas mal de possibilité sur Linux, soit en dev directement, soit en iscsi, soit en fichier … ou pourquoi pas tous les 3 en mirroir ZFS ;-)
En tout cas je reste ouvert sur une déduplication en "offline", car en fait, j'utilise ZFS qui est "online" dans un mode plutôt "offline", d'un certain coté çà à l'avantage de faire les deux.
J'ai regardé du coté de bup, mais j'ai rien compris ;-/
vous pouvez essayer la déduplication ZFS facilement pour voir
zpool create mypool /dev/sdb
et vous voilà avec un pool de la totalité du disque
un p'tit coup de zfs set dedup=on mypool et c'est partit pour la dedup
vous copiez une image iso de CD dedans, puis la même avec un nom différent, un petit zpool list, et normalement vous avez une dedup égale à 2
là, il faudra voir la vitesse d'écriture, et, voir si ça "tient la route" ou pas, c’est votre matériel qui fera les choses.
pour améliorer:
mettre un disque en plus (zpool export mypool, arrêt de la machine et ajout du disque, zpool import mypool)
zpool add mypool cache /dev/sdc
puis,
zfs primarycache=metadata mypool
zfs secondarycache=metadata mypool
Je mets toujours les deux cache en metadata pour minimiser la RAM et pour ne pas écrire un cache trop gros, car celui-ci augmente énormément et le temps de lecture augmentera par la même occasion.
regardez avec zpool iostat -v 1 le travail du cache lorsque l'on recopie le même fichier
si on peut, on rajoute un second disque:
zpool add mypool cache /dev/sdd
l'avantage avec ZFS, c'est qu'on peut facilement récupérer ses disques "à chaud", par exemple, si on a un cache de 2 disques dont /dev/sdc, on fait:
zpool remove mypool /dev/sdc et sdc est dispo de suite, et tout cela pendant que "ça tourne".
On peut imaginer démarrer un pool sur un fichier, le mettre en mirroir en iscsi et ensuite détacher le fichier, ainsi, on peut déplacer un pool en production, on peut jouer avec des To "en plein boulot", après, faut que le matos le permette, avec un PC normal en Go ça va ;-) … en To c'est une une autre histoire !
Toutefois, Btrfs est sans doute intéressant et je suivrai de près cet outil, mais pour l'instant j'ai besoin de quelque chose qui marche tout de suite, ZFS est disponible et fonctionne très bien sous Linux.
[^] # Re: petit retour d'expérience en ZFS
Posté par mtiburs . En réponse au message ZFS performance et déduplication. Évalué à 1.
rectificatif, j'ai donné 15Mo/s, mais j'ai désormais plus de 25Mo/s de moyenne avec un facteur de déduplication de 3 et un cache de 10Go pour le cache ZFS (cache primaire et secondaire en "metadata")
Mes disques en cache ne font pas trop de bruit par contre, sans cache sur le contrôleur SAS, le bruit devient "agricolesque".
[^] # Re: petit retour d'expérience en ZFS
Posté par mtiburs . En réponse au message ZFS performance et déduplication. Évalué à 2.
petit rectificatif: 1,1Go/s c'est en ext3 avec mdadm … pas sous ZFS (le système de gestion transactionnel des données est plus complexe et les performances ne sont pas équivalente, c'est le prix a payer pour l'ultra-fiabilité de ZFS)
# petit retour d'expérience en ZFS
Posté par mtiburs . En réponse au message ZFS performance et déduplication. Évalué à 3.
Bonjour,
Je viens de tomber sur ce post en cherchant des trucs sur ZFS.
Je viens de voir quelques échanges et je me dis que je pourrais y ajouter un petit grain de sel ;-)
Je n'étais pas inscris sur LinuxFR … c'est chose faite.
Voici ce que je peux dire:
J'ai testé ZFS sur Freenas puis sur Nas4Free (pour info, Nas4free est la suite de Freenas, Freenas ayant été racheté par une société commerciale à la version 8)
Cela fait des années que j'utilise ZFS, mon serveur perso de la maison a 3 disques de 2To sur une petite carte D510 Intel avec 4Go de RAM, ça marche Nickel et ça fait serveur DLNA.
J'ai 3 onduleurs … sans batteries, lol … et mes nas sous ZFS ont connus plusieurs fois des coupures de courant en plein travail (écritures multiples) … même pas d'erreurs ! normal c'est du COW (CopyOnWrite).
Cela fait quelques mois que je me mets a utiliser ZFS sur Linux et je trouve que cela marche très bien, très simple avec des disques usb avec la notion d'export (pas besoin de partoche, ça dit ce qu'on peut monter .. ou pas avec la commande zpool import).
Pour la gestion de ZFS, il faut de la RAM, c'est mieux mais pas obligatoire, avant, cela posait des pb, mais depuis quelques temps la gestion est mieux faite, normalement, on dit qu'il faut 1Go de RAM par To.
En fait ce qu'il faut comprendre c'est que ZFS va fonctionner par couches, il utilise d'abord la RAM, puis le(s) SSD; puis le(s) disques.
Pour ma part, j'ai commencé avec du SATA, mais aujourd'hui j'utilise du SAS, pas pour les donnée mais pour le log (des fois) mais surtout pour le cache (zpool add nomdupool cache /dev/sdd /dev/sdd, par exemple)
Quand on a pas de RAM et pas de SSD, il faut avoir un bon cache disque, je conseille de trouver de cartes SAS (de 20 à 100 euros sur les sites de bonnes affaires et de mettre quelques disques SAS (mais on peut utiliser un disques SATA ça marche aussi … mais moins bien;-)
Perso, je monte à plus de 1,1 Go/s avec 6 disques Seagate de 300Go 15k7, mais déjà avec 2 disques en raid0 matériel ou en entrelacés ZFS, on peut avoir de bons résultats.
La carte SAS, à l'avantage de passer par le "pont-nord" de la carte mère, alors que les ports SATA passeront par le "pont-sud", ce qui dans certains cas donneront des performances mauvaises (le SATA peut être bon sur le papier mais ça ne tient pas la route "en charge", il a un fonctionnement plus simpliste que le SAS)
Une astuce, on peut mettre du SATA sur une carte SAS et bénéficier du "pont-nord" (accès direct avec le proc)
Si je peux donner un conseil, c'est de privilégier ce point: avoir un "bon cache ZFS" (Si possible SSD ou SAS: ne pas oublier que ZFS a été conçu pour du SAS).
Pour la déduplication, je viens de faire pleins de tests là dessus, en fait, vouloir dédupliquer toutes ces données est une utopie, car cela va représenter une table de déduplication immense et il faudra une machine de guerre pour gérer cela.
Pour ma part, j'utilise désormais la déduplication ZFS sous Debian uniquement sur des fichiers VMDK de machines virtuelles et de même type. J'ai 150Go à sauvegarder par jour.
Tous les essais de déduplication que j'ai fais sur:
- l'ensemble de mes données (fichiers courant)
- les fichiers OVA
- la vidéo
s'est révélés catastrophique, car quand la table augmente, le temps d'accès devient très long et le taux de transfert peut finir en Ko/s !!!
En revanche, si on cible "ses données", c'est à dire que l'on comprend bien ce qu'on veut dédupliquer, on a un bon résultat, par exemple, sur un fichier brut de type VMDK, il y aura quelques Mo de différents. Ce fichier (brut) ne bougera pas et c'est seulement les différences qui seront écrites en plus par ZFS. Si on copie un fichier OVA, soit une exportation d'un fichier VMDK+config, alors là on aura une différence depuis le début et, du coup, c'est tous les blocs qui seront différents … adieu la déduplication !)
On peut jouer sur le cache primaire et secondaire pour améliorer mais ça ne fera pas tout.
Après quelques copies de fichiers VMDK, j'ai un cache de 3Go, donc, pour que le système puisse s'en sortir, deux solutions:
- soit du SSD et là, il trouve rapidement "ses petits" (vu le prix des SSD j'abandonne)
- soit "l'ensemble disque" est performant et là on aura des performances acceptables (actuellement, j'ai 2 disques de cache 15k7 (200Mo/s pour chaque disque) et une carte LSI avec 512Mo de cache).
J'ai ciblé mes sauvegardes de fichiers vmdk en faisant un pool dédié (de même type) et je ne fais que ça, j'arrête surtout ZFS quand je change de pool (/etc/init.d/zfs-fuse stop), car sinon, il va garder sa table en mémoire et elle augmentera avec les autres données et là ce sera 10Go en cache qu'il faudra scruter !
Donc, le ZFS oui ! la déduplication … oui MAIS sous des conditions strictes de bon sens avec une bonne compréhension des données que l'on possède… ou alors on investi dans une carte bi-xéon avec 192Go de RAM, 32Go de SSD, et là c'est fantastique.
Pour info, pour avoir une bonne déduplication, il faudrait "aller" vers des blocs petits (512 octets), la déduplication par défaut est sur des blocs de 128Ko (plus les blocs sont gros, moins ça déduplique).
Avec des fichiers de type "image de disque", vdi, ou vmdk, il faut utiliser les blocs de 128Ko.
Pour l'instant, je suis en production avec une B75/AsRock/8Go de RAM avec un i5-2500, carte LSI de 512Mo de cache et 4 disques SAS 15k7, ça rame en moyenne à 15Mo/s, c'est le temps qu'il faut pour scruter le cache et la table.
Je suis pris à la gorge car mes données s'accumulent, mais bon, ça charge doucement, le facteur de déduplicaction monte, c'est l’essentiel !
Mais dans quelques temps, je mets en service une carte bi-xéon avec 32Go de RAM avec 4 ou 6 disques de cache soit 10 disques durs SAS uniquement pour le fonctionnement de ZFS (2 cartes contrôleurs SAS), tant que je peux le faire en 'disques durs', je ferai ! na!
..; en été c'est pas top avec 10 disques ;-/ .. quand les SSD seront moins cher j'investirai.
Voilà en gros mon avis.
PS: je crois que les nouvelles cartes mères n'ont plus de "pont-nord".