Journal Du stockage, du stockage :)

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes : aucune
12
7
sept.
2016

Hello à tous,

J'ai lancé un sondage dans la rubrique associée, sur une question de consommation électrique des serveurs perso (quand il sera validé, ou pas !).

J'aimerai bien pour ma part, baisser la conso de mon serveur (~40W, ce qui est déjà faible), par un/deux raspberry par exemple, mais j'ai toujours le même problème : le stockage.

Un HDD de 3,5", ça consomme un peu, entre 3 et 5W en idle, 5 à 11W en charge. Mais du coup quand on en a 2 ou 3 en raid, voire plus, ça va vite.

Dans le cas d'un Rpi (ou autre matos ARM low conso), ça consomme peu, mais y'a toujours besoin de stockage.
De plus, soit par USB, ou via SATA (ou SATA + replicateur SATA) sur les cartes qui le gèrent, c'est pas folichon niveau débits.

Resterait la solution d'un NAS + RPi, mais le NAS au final va consommer pas mal aussi (d'après les tests que j'ai vus).

Je lance un peu le sujet du coup pour voir vos avis, comment faites-vous ?

  • # spin down ?

    Posté par  . Évalué à 2.

    Ça dépend des adaptateurs USB et des disques, mais s'il y a moyen d'arrêter les disques inutilisés ça rend la chose très acceptable.

    • [^] # Re: spin down ?

      Posté par  (site web personnel) . Évalué à 2.

      le problème c'est que le controleur USB sur les Pi c'est moyen moyen.
      Après les disques faudrait les mettre en standby tout le temps, si l'OS est ailleurs (genre sur SD)

      • [^] # Re: spin down ?

        Posté par  . Évalué à 1. Dernière modification le 07 septembre 2016 à 16:30.

        Tu les branche sur le port GPIO ? s'ils sont branchés en IDE ou sata c'est encore plus simple du coup.

        ajout : j'ai compris tu brancherais pas les disques dessus en fait ? Du coup, effectivement, ça a l'air moins intéressant.

        • [^] # Re: spin down ?

          Posté par  (site web personnel) . Évalué à 2.

          je pense pas qu'on puisse brancher un HDD sur le GPO.
          Sur le RPI y'a pas de sata et l'USB est pas terrible.
          Sur le bananapi, y'a du Sata, assez correct, mais un seul port (j'ai testé un réplicateur sata, ça tourne, mais ça casse le débit à mort, normal).

          Du coup je me disais qu'au pire, tous les HDD sur un NAS, mais ça consomme pas mal.. donc ça vaut pas la chandèle :p

    • [^] # Re: spin down ?

      Posté par  . Évalué à 3.

      Si les disques sont en RAID il vont pas s’arrêter souvent.

  • # Économie vs écologie

    Posté par  . Évalué à 8.

    Si ton but c'est de faire baisser ta conso pour y gagner financièrement, why not.
    Par contre, si ton objectif c'est de faire baisser la conso dans un but (partiellement ou totalement) écolo, prends en compte que le remplacement de matos ça génère des déchets.
    Soit tu revends/donne ton ancien matos et dans ce cas il va continuer à fonctionner en plus du nouveau matos (gain nul ou négatif), soit tu le recycle ou jette (avant qu'il ne soit obsolète ?) et la c'est strictement négatif.

    • [^] # Re: Économie vs écologie

      Posté par  (site web personnel) . Évalué à 1.

      Oui tout à fait.
      J'aime pas trop changer de matos pour cela, ou alors le matos part toujours chez qq un dans la famille :p
      Financièrement, j'ai pas trop calculé, mais j'avais déjà gagné à une époque (j'étais passé d'une config à 100W, vers celle actuelle).

      • [^] # Re: Économie vs écologie

        Posté par  (site web personnel) . Évalué à 1.

        j'avais déjà gagné à une époque (j'étais passé d'une config à 100W, vers celle actuelle)

        100W vers 40W, tu as donc eu une réduction d'environ 73 € sur ta facture annuelle.
        Mais là si tu divises la consommation par 2, la réduction ne serait que de 24 €…

        (voir message plus bas pour le calcul)

    • [^] # Re: Économie vs écologie

      Posté par  (site web personnel) . Évalué à 5.

      Et encore… une puissance de 1W c'est grosso modo 1€20 par an pour un truc allumé en continu (voir le calcul ci-dessous) - je simplifie généralement même en disant que 1 W⋅an = 1 €.

      Alors si c'est pour réduire la facture d'électricité d'une dizaine d'euros par an, il faudrait plusieurs années pour amortir un achat…

      calcul approximatif du coût du Watt⋅an :

      Il y a 365×24 = 8760 heures dans l'année, donc 1 W⋅an = 8,76 kWh
      Au tarif "bleu" de base, le kWh coûte 14 centimes
      8,76 × 0,14 = 1,22 €

      • [^] # Re: Économie vs écologie

        Posté par  . Évalué à 4.

        Et si tu veux de vrai renouvelable, y compris pas de nucléaire, le kWh est à 16,8 centimes soit
        8,76 x 0,1683 = 1,47 €

        C'est vraiment devenu très proche le tarif Enercoop.

        ⚓ À g'Auch TOUTE! http://afdgauch.online.fr

  • # Visiblement pas prévu pour

    Posté par  (site web personnel) . Évalué à 10.

    Ça me rappelle encore une fois un reproche que je fais à tous les modèles courants de micro-ordinateurs sur carte comme le Raspberry Pi : sans porte SATA, ils ne sont à l'évidence pas conçus pour servir de serveur. Ou alors, seulement de serveur qui n'a rien à stocker. Ou alors, de serveur auquel il faut coller un disque dur externe, ce qui transforme une merveille de compacité en affreux machin en deux parties, ce qui n'est pas censé être le but de ces appareils.

    • [^] # Re: Visiblement pas prévu pour

      Posté par  (site web personnel) . Évalué à 5.

      Non, pas tous les modèles.

      Les Cubieboards ont un port SATA…
      http://cubieboard.org/

      • [^] # Re: Visiblement pas prévu pour

        Posté par  . Évalué à 1.

        Concernant les performances des cartes avec SATA ou USB uniquement, voici une discussion qui pourrait vous intéresser: http://forum.armbian.com/index.php/topic/1440-h3-devices-as-nas/
        ou encore: http://forum.armbian.com/index.php/topic/1917-armbian-running-on-pine64-and-other-a64h5-devices/

        En gros, la fréquence CPU à l'air de jouer un rôle important sur les performances aussi bien des débits réseau que de l'USB.

        Sur ce forum, il y a aussi quelques fils de discussion sur la consommation de ces cartes et les paramétrages à adotper suivant ce qui est attendu. Une carte à base de Allwinner H3 peut consommer moins qu'une raspberry pi zero en étant bien plus performante (enfin la fréquence CPU est bridée et dès que possible des coeurs sont désactivés).

        En tout cas, Armbian est pour moi une vraie solution offrant un OS bien paramétré et facile à paramétrer (et compiler) pour les cartes supportées. C'est ce que j'utilise pour ma banana pro et le disque 3.5" qu'elle met à disposition sur mon réseau local. C'est aussi une vraie opportunité pour les cartes Orange Pi ou certaines cartes de FriendlyARM (basée sur H3) qui sont vraiment peu cher et ont alors un OS qui n'a pas grand chose à envier aux raspberry pi pour des fonctionnalités serveurs.

        Il faudra voir aussi l'apparition de nouvelles cartes basées sur les nouveaux cpu Allwinner ou autre concurrent. Le R40 a été annoncé comme le remplaçant des A20 (banana pi) et ne devrait peut-être pas trop tarder à être intégrer à de nouvelles cartes. Reste à voir ensuite un OS stable et utilisable, ce qui est la force des raspberry pi par rapport à beaucoup de ses concurrentes.

    • [^] # Re: Visiblement pas prévu pour

      Posté par  . Évalué à 5.

      Ou alors, de serveur auquel il faut coller un disque dur externe, ce qui transforme une merveille de compacité en affreux machin en deux parties, ce qui n'est pas censé être le but de ces appareils.

      C'est pas lié au connecteur ça. Si tu colle un HDD à ton RPi qui sera 3 fois plus gros et 10 fois plus lourd mettant à mal toute la « merveille de compacité ».

      Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)

    • [^] # Re: Visiblement pas prévu pour

      Posté par  (site web personnel) . Évalué à 5.

      ils ne sont à l'évidence pas conçus pour servir de serveur. Ou alors, seulement de serveur qui n'a rien à stocker

      J'ai un Odroid X2 (2013) dont les performances de stockage (puces eMMC) sont catastrophiques comparé à un ordinateur (5Mo/s environ en écriture). Sur de l'insertion en lot avec Postgresql, c'était devenu si lent que je n'ai gardé que la collecte des données sur l'Odroid et ai déplacé le traitement et la DB sur mon PC. Peut-être que ça c'est amélioré avec des nouvelles générations de puces eMMC…

      Mais c'est largement suffisant pour des tas d'usages: un Tiny Tiny RSS pour centraliser ses lectures, un Owncloud pour le calendrier et les contacts, un OpenVPN, des pages web/services perso qui ont besoin d'autre chose que l'omni-présent PHP.

      • [^] # Re: Visiblement pas prévu pour

        Posté par  (site web personnel) . Évalué à 1.

        J'ai déjà testé mon bananapi avec un HDD dessus, ou un SSD. Les débits HDD sont basiques (env 30Mo/s), et le SSD environ 60Mo/s.
        Je pourrais faire la majorité dessus, mais en terme d'usage CPU C'est un peu limite. J'ai déjà testé un openvpn sur un bananapi, quand l'utilisation du tunel VPN est fort, je dépasse pas 3Mo/s :)
        Un transfert de fichier (hors vpn), je dépasse pas 10Mo/s (alors que la carte, soit disant Gb, arrive normalement à tirer environ 500Mb/s).

        Je vais regarder vos liens sur les discussions H3, ça a l'air pas mal !
        Faut que je vois ce que donne les cubieboard, j'en entends souvent parler (je possède pas ce modèle, mais j'ai déjà un Rpi, Bpi, PCduino3 nano).

  • # Wandboard

    Posté par  . Évalué à 3.

    Une Wandboard (IMX6 avec donc du SATA) et un disque SSD SATA devrait mois consommer…
    Tout dépend de la quantité d'espace de stockage que tu souhaite…

    Perso, sur mes NAS/Serveur… je ne stock que les données "vivantes", dont je sais que je risque d'en avoir besoin "rapidement". Cela ne représente que quelque centaine de Go maximum et donc, un SSD 256Go suffit.

    Pour le stockage de masse (archives, quelque To), j'utilise dans ce cas des Disques SATA 3.5 que j'utilise comme des cartouches dans un rack sans tiroir genre ICY BOX IB-170SK-B qui peut d'ailleurs aussi se relier a la wandboard, du coup, le disque ne consomme que lorsqu'il est présent.
    Une regle udev pour le montage automatique, un script pour le démontage et le tour est joué.

    • [^] # Re: Wandboard

      Posté par  (site web personnel) . Évalué à 1.

      Je connaissais pas ce modèle non plus :p
      En effet côté données vivantes, je dois avoir 500Go grand max.
      Un SSD j'ai testé, c'est mieux niveau conso/température, et un peu mieux niveau débit (sur le Bpi).
      Donc techniquement ça pourrait passer.
      Par contre tes HDD 3,5 tu les alimentes avec quoi ? Je vois que les tiroirs que tu donnes c'est un connecteur molex sata standard (ça ferait suer de caler une alim standard à côté) ? Après ça serait pas la première fois que j'alimenterai un HDD avec une alim maison mais bon :D

      • [^] # Re: Wandboard

        Posté par  (site web personnel, Mastodon) . Évalué à 1. Dernière modification le 08 septembre 2016 à 15:45.

        Avec le même CPU, il y a aussi l'Utilite chez Compulab, qui a un port mSATA en interne. Mais c'est donc pour mettre un SSD et pas un grod disque tournant.

  • # Consommation UC

    Posté par  (site web personnel) . Évalué à 6.

    baisser la conso de mon serveur (~40W, ce qui est déjà faible)

    Mon NUC consomme 6,5 W en utilisation basique, et 13 W en pleine charge. 40 W en 2016, ce n'est pas faible du tout.

    • [^] # Re: Consommation UC

      Posté par  . Évalué à -3. Dernière modification le 07 septembre 2016 à 18:07.

      C'est faible si tu considère que la machine n'est non seulement pas obsolète et qu'elle va être reconditionnée et donc consommera toujours autant tandis que tu auras ouvert une nouvelle usine avec le soucis de consommer moins pour faire strictement la même application.

      C'est profondément égoîste de raisonner comme ca en fait car la chaine de consommation ne s'arrète pas à la puissance énergétique.

      Exemple : le nouveau cluster de virtualisation a permis de virtualiser tous les serveurs physiques (à l'identique et à chaud).

      -cela a demandé du temps pour maitriser la technologie
      -c'est un gros investissement économique
      -les anciens serveurs ont été refilés à VMware qui ont fait une "reprise".
      -et la prise de risque que ca soit "moins bien qu'avant" dont les dsi se contre-fouttent moins que de leur idéologie parsque l'innovation c'est bien

      Dans ce cas là, on a eu une amélioration de la consommation sauf que six mois après on a refait une salle serveur pour multiplier par deux le cluster et avoir un fail-over du pool de virtualisation.

      Alors 40W pour son NUC tout ce que je vois c'est que son disque va s'user plus vite à cause de la chaleur qu'il dégage à proximité d'autant plus que ces machines sont souvent sur-exploitées du coté du CPU et que leur aération n'est pas du tout adaptée.

      D'ailleur on trouve des boitiers pour boitier NUC désormais (comme dans la bibliothèque depuis laquelle je vous écris qui est d'ailleur elle même doté d'une climatisation formidable).

      • [^] # Re: Consommation UC

        Posté par  (site web personnel) . Évalué à 1.

        Dans mon cas, niveau matos j'ai pas pu faire moins à l'époque où je l'ai montée (4-5 ans).
        L'utilisation CPU est faible (10-20%), et est un CPU 35W de TDP (le moins que j'avais pu trouver).
        Les HDD sont bien ventilés (jamais + de 35°C).

  • # SSD, HDD 2,5" ?

    Posté par  . Évalué à 2.

    Selon la capacité de stockage qu'il te faut, renseigne-toi sur les SSD.
    La consommation varie selon les puces flash et le contrôleur, mais globalement on obtient de bien meilleurs résultats qu'un disque dur 3,5".

    À priori, comparé aux disques durs 2,5", le gain est limité : http://www.tomshardware.fr/articles/ssd-idee-mythe,2-913-2.html

    Après, à toi de faire la balance entre coût à l'achat, durée d'amortissement, et envie de geeker ;)

    • [^] # Re: SSD, HDD 2,5" ?

      Posté par  . Évalué à 2.

      Pour mon NAS perso je suis parti sur une solution Raspberry +Hub usb + 2 hdd 2"5 + Nas4Free. Sachant que c'est plus pour de l'archivage et que le PC et la fbx sont plus pour les données utilisable rapidement je m'y retrouve pas mal.

    • [^] # Re: SSD, HDD 2,5" ?

      Posté par  (site web personnel) . Évalué à 0.

      oui, pour l'avoir testé j'ai vu que la différence est pas terrible. mais ça reste un peu mieux :)

  • # Intel NUC + USB 3

    Posté par  . Évalué à 3.

    Comme serveur perso j'utilise un Intel NUC. J'avais besoin d'un peu de CPU pour faire du transcoding de vidéo, le Pi était trop faible.

    Pour les disques mon usage étant très faible (regarder un film, transcoder une vidéo, recevoir un mail, consulter le site web familial, …), proche de 0 bytes par secondes sur l'année, j'ai fait le pari de l'USB. Mes disques se mettent en veille tous seuls rapidement après utilisation.

    J'ai même utilisé l'automount/auto unmount de systemd pour les brancher/débrancher à chaud. L’expérience est pas au top de ce côté là quand je fais des branchements/rebranchements successifs. Pas encore stable cette fonctionnalité de systemd.

    J'ai 2 disques de 1 et 2 To branchés en permanence. 1 Pour mon serveur de backup, l'autre pour mon serveur de vidéos. J'ai 2 disques équivalents dans un tiroir pour faire des backups des 2 disques précédents. Pour les vidéos il va falloir que je passe au 4 To bientôt …

    Globalement je suis très satisfait de cette configuration : le NUC est au top au niveau performance, c'est agréable d'avoir un peu de CPU sur son serveur perso. Les disques USB sont rapides (USB 3) et fiables (ça fait 3 ans qu'ils tournent, enfin qu'ils sont en veille la plus part du temps). Au niveau prix je m'y retrouve pas trop mal. Petit plus : je part avec en vacances avec le disque du serveur de vidéo pour les regarder sur mon laptop. J'échange facilement le disque de backup avec un autre disque en lieu sûre pour me protéger des incendies/vols.

    J'ai regardé le cloud, mais pour des vidéos c'est vraiment trop cher.

  • # The secret is in the box

    Posté par  . Évalué à 3.

    J'utilise le disque de la freebox …

  • # fit-pc

    Posté par  . Évalué à 4.

    Perso, j'ai un fit-pc2.

    Ça prends un disque SATA 2,5 pouces, le boitier est pas beaucoup plus large. Je n'ai pas vérifié s'il dépassait les 8W annoncés cela dit.

    Néanmoins :

    • pas de RAID, un disque seulement
    • les perfs I/O ne sont pas au top pour autant
    • livraison depuis les USA. Il faut penser à rajouter les taxes et frais de port et fournir un cable d'alimentation (celui livré avec est avec une prise américaine)

    Après, ça fait quelques temps que je l'ai (je dirais 7 ans, de mémoire). Je vois qu'ils ont sorti plein d'autres modèles sur leur site depuis. À voir ce qu'ils valent.

  • # Autres pistes

    Posté par  . Évalué à 4.

    Disclaimer : c'est dans les tuyaux, mais je n'ai encore rien fait avec aucun des deux produits qui suivent. Juste je tenterais bien, dès que j'ai du temps.

    A) le WiTi de Mqmaker. Pas tellement eu de retours dessus, mais ils ont deux SATA, du GBE et de l'USB3. Sur le papier, c'est assez chouette : https://mqmaker.com/product/witi-board/

    B) plus sûr, le PiDrive de WD. C'est sûr que ça n'est pas une capacité de ouf non plus, mais ça se connecte directement au Pi. Et pour faire plus joli, il y a même ça : https://www.modmypi.com/raspberry-pi/cases/osmc/osmc-pidrive-kit-raspberry-pi-case-w-integrated-314gb-hdd

    Sinon, face au même genre de problème, j'avais monté il y a quelques années pour mes parents le truc suivant : deux Cubieboard avec chacune un DD 3,5" (il faut un adaptateur spécifique, de mémoire). Chacune à un bout de la maison avec un rsync quotidien entre les deux. Eux n'accédent qu'à l'une des deux babasses, mais on sait que l'autre est capable de la remplacer au pied levé en cas de pépin. Pas optimal, mais pas compliqué non plus.

    • [^] # Re: Autres pistes

      Posté par  . Évalué à 2.

      A) Intéressant mais très orienté routeur, donc finalement c'est pour ceux qui ont pas de box. Le proc n'a pas l'air d'être un foudre de guerre (double@880Mhz) et la mémoire un poil juste pour un serveur (512Mo).

      B) Juste un boitier pour améliorer l’esthétique.

  • # Pourquoi un Rpi ?

    Posté par  . Évalué à 3. Dernière modification le 08 septembre 2016 à 09:50.

    Est-ce que un nas ou autre ne pourrais pas faire le boulot ? La plus part des nas sont facilement hackable. Ce ne sont même maintenant que des NUCs avec plus de port SATA et réseau.

    Je ne vois rien qu'un NAS + un arduino ( pour les GPIOs et encore certains en ont bien caché à l'intérieur ) ne puisse faire qu'un Rpi ferai.

    Si l'un de tes principaux besoins est du stockage, partir avec une carte ARM lowcost n'est pas la bonne solution.

    Par contre, avec plusieurs et du Ceph ou autre, pourquoi pas. Mais on arrivera, plus ou moins, à la conso d'un Nas à la fin.

  • # Pourquoi du raid ?

    Posté par  (Mastodon) . Évalué à 4.

    Je réagis à ça :

    Mais du coup quand on en a 2 ou 3 en raid, voire plus, ça va vite.

    Pourquoi du Raid ? Si je comprends bien c'est pour de l'usage perso donc tu dois pouvoir supporter quelques heures de downtime non ? Je ne vois pas bien ce que le raid t'apporte par rapport à un bon backup si tu n'as pas un besoin de disponibilité ultra élevé.

    • [^] # Re: Pourquoi du raid ?

      Posté par  (site web personnel) . Évalué à 2.

      En fait mon OS + DATA sont sur les mêmes 3 disques en RAID5.
      A cause de l'OS je peux pas les mettre en standby, il faudrait que je sorte l'OS sur un autre disque.. :)
      Le RAID c'est parce que je ne sauvegarde pas tout ailleurs (trop de volumétrie). Seules les données critiques le sont. Après je pourrais me dire osef pour les données non critiques, mais ça serait quand même relou de les perdre.

      • [^] # Re: Pourquoi du raid ?

        Posté par  (site web personnel) . Évalué à 2.

        Le RAID c'est parce que je ne sauvegarde pas tout ailleurse RAID c'est parce que je ne sauvegarde pas tout ailleurs

        Euh, tu n'as pas de backup alors tu fais du raid5 … C'est ça ?

        • [^] # Re: Pourquoi du raid ?

          Posté par  . Évalué à 2.

          Oui, généralement ça se passe comme cela : Fais des backups. Si tu n'as pas envie de les restaurer, fais du Raid en plus.

          Surtout qu'il n'y a aucun aspect performance puisque l'on part sur du RPi et disques en USB.

        • [^] # Re: Pourquoi du raid ?

          Posté par  (site web personnel) . Évalué à 0.

          Le raid me protège de l'échec d'un disque.
          La sauvegarde de l'éventuelle suppression de fichier, ou de l'échec du raid :)
          A l'époque, je faisais ça aussi pour améliorer les perfs.

          Sur RPi du coup forcement la donne va changer :p

    • [^] # Re: Pourquoi du raid ?

      Posté par  (site web personnel, Mastodon) . Évalué à 1.

      Je pense que le problème n'est pas le downtime, mais plutôt l'intégrité des données.

      • [^] # Re: Pourquoi du raid ?

        Posté par  (Mastodon) . Évalué à 4.

        Le raid ne va pas te protéger d'une corruption des données. Par contre un backup avec une rétention correcte peut éventuellement te permettre de récupérer une version non corrompue.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.