Octobre 98, Logiciels PC, Slackware 3.5. Pas encore le net à la maison, une installation difficile (pas de calcul préalable de l’espace nécessaire, un 386 avec un disque dur rikiki, avec un merveilleux lecteur cd connecté sur sound-blaster), le tout pour au final se retrouver connecté (sans X, bien sûr) et voir un merveilleux « No such file or directory » après tapé « dir ».
Ça n’a pas de prix :D (et merci le guide du rootard qui m’a donné les bases)
Plus sérieusement, se retrouver avec un système multi-utilisateurs et multi-tâches en mode protégé, quel bond rapport à cet horrible ms-dos, mono-utilisateur, mono-tâche, en mode réel…Ça m’a tellement plû que j’en suis devenu admin gnu/linux :)
Slack jusqu’à la 7, puis Mandrake, SourceMage (et d’autres), depuis plusieurs années, Fedora à la maison, CentOS au boulot.
</mavie>
C’est sympa de ta part d’intervenir, mais ce serait bien de me lire aussi ;) Les comptes ne se font pas en conso max du produit mais en puissance max théorique de l’alim (même si c’est ce que je vais essayer de négocier). Ta soluce, c’est donc du 800W selon ce mode, et ~250W sinon.
Limitation de place en rack et de consommation, donc multiplier les disques n’est pas possible. Ce serait évidemment bon pour les perfs et limiterait l’I/O quand un disque crâme, j’en suis bien conscient, mais…
Au final, j’aurais dû écrire mon post ainsi:
Vous avez 1.6kW en puissance théorique max, 15U, un budget de 20k, 2×45 ports gbps via un 2 switchs stackés en 10g à dispo, et besoin d’autant d’espace (70To utiles mini), de puissance de calcul, de dispo que possible.
Que proposez-vous ?
La vache, c’est ’achement plus court dit comme ça !
Mais merci d’avoir réfléchi à mon problème :)
J’ai eu un devis pour le microcloud, en opteron avec des disques de 6to: 17.6k€HT. Je peux gagner là-dessus 1.2k€ en achetant les disques en lignes, soit 16.4k€.
CPU à 218€HT l’unité, difficile de trouver moins cher. Basculer sur du CPU grand public, c’est compliqué, y’a pas de cm petit format, donc obligé de se tourner vers des bécanes 1U, et donc on est limité à 8 bécanes (pour la conso, principalement, mais aussi la place).
Hélas, je ne peux pas multiplier les machines à loisir. à 200W l’alim pour les plus légères que j’ai trouvé, je ne peux en avoir que 8 pour ne pas trop exploser la limite de conso qui nous est imposée. À 200W, deux disques par machine, point de salut. Donc moins de disques et moins de cœurs que ce qu’offre le microcloud pour la même conso :(
Pour les fonds de panier, je peux attendre un peu.
Quels vendeurs me conseillerais-tu de contacter ?
Pas réaliste…je ne sais pas. Pas idéal, c’est sûr. On obtient quand même quelque chose qui n’est pas si ridicule.
Y’a 10 ans, notre premier serveur (tour bien sûr) était un bi-athlon MP, avec 2go et 3×200go en raid 5 hard. Y’a quand même eu du progrès ;)
Mais effectivement, j’ai parfois l’impression que débrouille est mon second prénom ;)
Euh. On est 10 en tout. 7 au « siège ». Et la direction…ben c’est nous, vu que la boîte nous appartient. Le budget ne sort donc pas d’un chapeau mais de la tréso :)
C’est pas avec toi que je parlais précédemment de petite structure ? ;)
On utilise déjà un FS distribué (moosefs actuellement, qui fonctionne très bien (niveau stabilité), à base de réplicas (ce qui est coûteux en place), qui a le défaut de ne pas être le plus rapide du monde, et qui vient de devenir proprio).
Un hadoop/hdfs (ou quantcast fs ou je ne sais quel autre backend il existe) serait certainement très bon pour les perfs. Bouger les process plutôt que les données, c’est idéal. Aux dernières nouvelles (qui remontent un peu, j’avoue), l’accès posix aux données n’était pas dispo/stable (ou libre, je ne sais plus). Et on ne peut définitivement pas modifier les codes existants (beaucoup trop lourd), ni imposer aux clients la plate-forme (c’est plutôt l’inverse…d’où le fait qu’on soit rhel compatible et posix niveau accès fichiers).
C’est pour ça que je suis arrivé à la même conclusion que toi. c’est pas le plus efficace, mais c’est le meilleur compromis (je pense).
J’ai eu un devis micro-cloud, pour 12 machines en 3U, 1620W d’alim, 96 cœurs opteron 3380, 4go/cœur, 24 disques 6to, 2×1gbps par machine, j’en suis à 16.5k€ HT.
points forts: que 1620W, pas mal de cœurs même si ce ne sont pas des bombes, 86To utiles avec un reed-solomon ou une mojette. un prix que je trouve plutôt bas (si je peux mettre le moins possible, c’est mieux).
point faible: que deux alims redondantes, que 2×1gbps. 4×1 eût été idéal (2 pour le fs, 2 pour htcondor encore que ça me semble largement overkill), mais les cartes 4×1gbps n’existent pas en microLP, et le 10g fait trop monter le budget.
Je n’avais pas pensé à la multiplication des 1U à pas cher, merci pour la piste !
En prenant des (10) pizza box 1U, low-cost au possible, une alim par box, 10×4 cœurs xeon E3-1220v3, 4go/cœur, 10×2 disques 6to, 4×1gbps par machine, j’en suis à 15k€ HT.
points forts: 4×1gbps, le prix. 10 alims (mais sans redondance).
points faibles: 2kW (avec les 800 existants que je vais réduire à 500 incompressibles à terme, difficile de négo. 1620+500 c’est plus facile pour « rentrer » dans la case 2kW max). « Que » 72To utiles.
Si je passe à 1600W, soit 8 bécanes, je n’ai plus que 32 cœurs et 58to utiles. Par contre je suis persuadé qu’ils vont en faire une jaunisse (mais on peut pas bosser dans ces conditions, c’est le retour à la préhistoire, t’as plus qu’à m’offrir un boulier, autant devenir fleuriste (no offense) etc etc), même si ça ne coûte que 12k€.
(je sais, je sais, on compare pas des cœurs d’opteron et de xeon, mais bref).
Pour la conso vis à vis du bailleur…je vais tenter ma chance sans grand espoir.
On est léger niveau connexion réseau vers notre cœur pour monter des bécanes de processing dans la pièce. on a deux groupes de 4 bureaux, chaque groupe descendant en 1gbps vers le cœur de réseau (Et c’est non évolutif pour les mois/années qui viennent). Niveau perf ça promet. Et si en plus les utilisateurs rament…(le serveur nfs de /home est branché direct sur les switchs stackés)
En plus, il fait déjà très chaud (bâtiment hqe, pas de clim au niveau des bureaux. je suis en tshirt (et j’ai chaud), il fait 10° dehors) de base avec les machines utilisateurs, les écrans, la tour avec des cartes GPU. En rajouter, on arrête la science pour le sauna ou hammam :D
J’ai jeté un œil rapide. C’est 2kW en « puissance max théorique » tel que c’est écrit.
Quant à avoir potentiellement recours à un avocat, je pense que le gérant va mettre son véto, on a jamais eu recours à un avocat en presque 15 ans d’existence, et in fine hormis pourrir les relations, ça arrangera pas grand-chose, amha.
J’avais raté celui-çi, mea culpa.
Non, l’hébergeur n’a pas cette capacité. Ce n’est pas son cœur de métier, ce sont des « salles numériques » et pas un datacenter, d’où justement ce « mode de calcul » (erm) à la noix. Du coup, avec leur obligation d’égalité de traitement des diverses boîtes, si on leur amène de la conso réelle à coup de watt-mètre ou de doc, on fort probablement va se faire jeter (puisqu’il n’y a pas de raison que nous soyons traités différemment bla bla).
Le compte en W « alim » est une contrainte extérieure, sinon tu penses bien que je me serais basé sur la conso réelle. Il faut que je fasse avec.
Séparer les disques en gardant les bécanes ne change rien du coup, sinon augmenter artificiellement la pseudo-conso.
Pour la reprise, tu connais des boites la pratiquant ? Je vais poser la question à actualis, sait-on jamais.
hmmmmmm. du 10g partout, ce serait bien. mais c’est encore un peu cher pour notre toute petite bourse. je vais devoir faire avec du 2×1gbps (voire du 4×1) par machine et des jumbo encore un moment, je crois ;)
En supposant le cas microcloud, 12 machines, chacune avec 2 voire 4 ports gbps, ça me fait au pire du 24 ports utilisé par switch, comme ce sont des 48, je suis peinard, et j’ai quand même de la BP (et de la dispo) à pas cher avec un bonding. de quoi ne pas trop dégueulasser les perfs, je pense.
Sauf si j’arrive à caser dans nos contraintes 2 nas et 2 serveurs suffisamment pếchus auquel cas je pourrais espérer de pouvoir connecter ce petit monde en 10g sans switch, mais sinon, 1350 de switch+1600 de cartes (400€ pièce, 1 par nas, une par serveur), on est à 3k. ça risque d’être difficile à caser. Quant à l’infiniband, c’est encore moins abordable, alors je n’y pense même pas ;)
Bref, bonne nuit (et merci).
Je répète: ce n’est pas la consommation réelle qui est mesurée, c’est le chiffre indiqué sur l’alim qui est pris en compte. Je sais, mais c’est comme ça. je vais tenter de négo la conso pic, sans la moindre assurance que ça passe.
Merci d’avoir cité emc et netapp, je note. en voyant les prix, j’avais directement laissé tomber, je ne pensais pas qu’on pouvait obtenir de telles ristournes (même si tes exemples restent hors budget).
Pour le cahier des charges, c’est facile: le plus de dispo possible le plus de place possible le plus rapide possible par ordre décroissant d’importance, le tout en 2kW et 20k€. Avant, quand le jus n’était pas un souci, on ajoutait quand on pouvait une bécane qui faisait de la puissance de calcul et du stockage en plus dans le cluster. C’était complètement transparent pour eux. HTCondor gérait simplement plus de cœurs, mfs grossissait tout seul comme un grand.
Maintenant, la problématique est bien différente. je dois trouver la prod de ces prochaines années. Et elle sera figée jusqu’à ce qu’on change pour des plus gros disques voire carrément pour la remplacer par un nouveau boitier, avec des cpus plus mieux et plus de ram, le tout pour une conso et un encombrement similaires (même si sur ce dernier point on a un soupçon de marge).
Pour le vrai boulot de DSI, j’essaie. sisi. mais tu ne connais pas la joie des petites structures ou me trompe-je ? :)
Le stockage local comme tu dis faisait partie du FS réparti, que la machine claque n’a pas causé de pertes de données. Le dit fs a certes retréci, il a fallu faire du nettoyage pour que les réplicas puissent se refaire et assurer à nouveau la sécurité des données, mais le point important est que rien n’a disparu, et que le volume était dispo et accessible.
Pour le NAS, en avoir un seul avec une extension (un syno rs et un rx, ou les qnap équivalents) me donne 24 disques de 6to…avec quelque chose comme deux raid 6. soit 20 disques efficaces, donc ~108to utiles. Ce qui est très bien niveau taille, le tout pour 10k€ (avec alim redondantes, 8.3k sinon). et 800W. Une défaillance de cm, de cpu, de disque un peu trop violente, voire d’alim (le plus courant étant les disques, suivi des alims puis des cm de mon expérience), et hop, on est aux fraises et complètement bloqués. Ajouter un second rs+rx ? L’addition monte entre 16.6 et 20k, et 1600W totaux. Et j’ai pas de cpu.
Si j’avais un bon 30k€ et la possibilité d’utiliser 4kW, je chopais deux rs+rx, les disques, deux serveurs pour un total de 48 cœurs, et roule. Mais je n’ai que 20k€ et 2kW. À choisir entre la vitesse et la dispo, je vote dispo. Qui est meilleure je pense avec la solution minicloud. Si un nœud (et même deux) lache, on est toujours up and running.
Alors c’est sûr, on sera pas aussi rapide que la soluce nas+serveur dédié calcul. Mais je ne peux pas avoir l’efficacité max et la dispo max vu nos contraintes. La dispo est définitivement plus importante.
Désolé de dire niet à tout bout de champs, j’adorerais que vous me présentiez une archi qui rentre dans les clous et qui soit plus sexy :)
C’est exact, 70 à l’heure actuelle (on était montés à 115 utiles un moment, mais la grosse babasse à 36 disques nous a claqué dans les pattes et pas les moyens de la remplacer, ni possible sachant qu’il fallait gagner du watt, donc régime forcé).
Le truc, c’est que c’est l’archi qu’on va garder pendant plusieurs années, donc j’essaie d’avoir un volume utile sympa.
Après discussion avec les collègues, on semble plutôt s’orienter vers un microcloud opteron, chaque bécane avec 2 disques 6to en raid 0, le tout avec un fs distribué type erasure coding. Pour les données froides, on va claquer un syno ds1413 dans le bureau, et faire des volumes spécifiques à des satellites qui servent peu. Comme ça, en cas de besoin, on charge le syno avec les disques qui vont bien, copie (ou non d’ailleurs, à voir sur pied) des données vers le volume « prod », et on lance le processing.
J’me demande si c’est bien utile d’avoir un disk on module 8go pour l’os des machines, ou s’il faut que je planche pour les booter diskless (les disques 6to étant réservés au stockage).
Voilà l’idée en gros. Mais rien n’est fixé dans le marbre.
Voilà qui est tentant !
Un système disque qui arrache pas mal (même si les 6to intellipower ne sont pas les plus rapides…), raid 6 j’imagine ? 75to utiles une fois formaté à la louche (c’est tout de même très loin de 100). un peu light, mais à priori supportable. Par contre, j’ai peur de la proba d’explosion en vol du volume en cours de rebuild, situation qui se présentera forcément. Perso, le raid, j’ai arrêté (sauf le 1 pour l’os) quand j’ai paumé un (gros, à l’époque) volume raid 6. Puis quand ça rebuild ça patauge sévère pendant des jours, sans parler de blocs défectueux pouvant facilement causer le souk…Quelqu’un a de l’expérience avec de tels volumes en raid ? Je ne suis pas confiant, pour ma part.
Perdre partiellement des données est certes pénible, mais bien moins que de paumer le volume complet qu’on a pas les moyens de sauvegarder (dans cette configuration là, ni dans les précédentes que nous avons connu, en tout cas).
9k€ pour le nas en 10g avec des disques pas cher.
J’arrive à 12k pour 48 cœurs, du 10g pour deux serveurs, 1400W alim.
Le nas étant à 650W, on est à 2050, plus les 800 (bientôt 500) existants, sigh. (je rappelle que le « coût » conso est compté via ce qui est écrit sur les alims, et pas la conso réelle).
Dommage, c’était prometteur (bien que potentiellement (relativement) un peu léger niveau HA).
Merci pour la proposition en tout cas !
t’es à 24k/an. ici…c’est 20k sur 3 ans mini ! (+ les pièces de rechange, ok)
Quant à cette histoire de récupérer les charges pour les 2kW, faudrait que je regarde le bail, mais je crois que c’est compris, la conso est mutualisée non seulement au datacenter mais aussi au niveau du bâtiment, donc je pense que c’est même pas la peine d’essayer.
Je peux obtenir plus de courant (je l’ai déjà), ce n’est pas (vraiment) le souci, mais la grille tarifaire est prohibitive.
L’hébergement n’est pas le cœur de métier de la boite gérant le bâtiment dans lequel on bosse. C’est un service « offert ». Ils ont obligation de fournir 2kW pour chaque boîte, et à l’heure actuelle, les clims ne peuvent plus évacuer plus de chaleur, donc ils poussent tout le monde à réduire sa conso (nombre consomme plus que 2kW) pour arriver dans les clous afin de pouvoir accueillir avec le même niveau de service les nouveaux arrivants. Bref…
Louer du serveur, c’est 400HT/mois les 72 to bruts, donc il en faut 2. 800€. Et je n’ai « que » 12 cœurs. + 2 binious à 16 cœurs, hop, on est à pas loin de 1200€/mois.
En cloud, c’est 5k€ à la louche.
un petit HPC dédié, beaucoup trop cher aussi.
Un machin type EC2, on va perdre un temps fou pour y faire monter les données, et je ne suis pas sûr que nos clients acceptent que leurs données ne soient pas traitées en interne. Bref, je n’ai pas regardé plus loin.
On amorti sur 3 ans il me semble. Ce qui fait ~0.5k/mois avec un minicloud à 20k. « Notre » datacenter a beau avoir des limitations, on a ces 2kW compris dans les charges. Ne pas les utiliser est jeter de l’argent par la fenêtre.
Aller voir ailleurs c’est 1500€/mois la ½ baie. Impossible pour notre petite structure de supporter un tel coût. À 2000W de conso, l’hébergement est dans les charges. Au-delà, tu casques.
Le fait que les bécanes soient dans une salle climatisée, avec double arrivée électrique, le tout sur une connex 100mbps et à proximité de notre bureau est un plus quand tu dois, au hasard, changer un disque, ou aller voir sur place pourquoi ton serveur supermicro sans kvm ni rien ne répond plus. Sans compter qu’on a besoin de dispo. Ça fait toujours ch… quand t’as 3 semaines H24 de calculs en cours, et que le jus tombe. Déjà rien que le temps des checks disques, sans parler des merdouilles, plus reprendre la prod, tu pleures.
Nous sommes 100% privés. Même si en liens avec des labos et autres instituts, nous ne faisons pas partie des partenaires du GIS.
En plus, même si nous disposons qu’une connex pas trop dégueu (100mbps symétriques), je pense pas qu’on arrive à envoyer les données à traiter assez vite pour gagner du temps de traitement…
Mais l’idée est bonne :)
Va falloir que je bidouille un truc avec ma bécane du taff alors (cpu bulldozer), j’ai pas de 3380, les autres opteron sont en prod et pas de cette gén là. C’est ce que j’ai de plus proche. J’dois pouvoir trouver (et brancher) deux ou trois disques dessus pour tester. Pas mieux. Je vous tiendrais au courant, mais ce ne sera pas pour demain, j’ai du monde sur ma todo list et de la deadline qui pointe son nez.
# Slackware
Posté par laurent wandrebeck (site web personnel) . En réponse au sondage En quelle année êtes-vous passé(e) à GNU/Linux (ou autre système libre) ?. Évalué à 4.
Octobre 98, Logiciels PC, Slackware 3.5. Pas encore le net à la maison, une installation difficile (pas de calcul préalable de l’espace nécessaire, un 386 avec un disque dur rikiki, avec un merveilleux lecteur cd connecté sur sound-blaster), le tout pour au final se retrouver connecté (sans X, bien sûr) et voir un merveilleux « No such file or directory » après tapé « dir ».
Ça n’a pas de prix :D (et merci le guide du rootard qui m’a donné les bases)
Plus sérieusement, se retrouver avec un système multi-utilisateurs et multi-tâches en mode protégé, quel bond rapport à cet horrible ms-dos, mono-utilisateur, mono-tâche, en mode réel…Ça m’a tellement plû que j’en suis devenu admin gnu/linux :)
Slack jusqu’à la 7, puis Mandrake, SourceMage (et d’autres), depuis plusieurs années, Fedora à la maison, CentOS au boulot.
</mavie>
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Presque !
Mais ça doit pêcher du côté x86_64, et du côté réseau aussi, pi de la ram. ;)
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
C’est sympa de ta part d’intervenir, mais ce serait bien de me lire aussi ;) Les comptes ne se font pas en conso max du produit mais en puissance max théorique de l’alim (même si c’est ce que je vais essayer de négocier). Ta soluce, c’est donc du 800W selon ce mode, et ~250W sinon.
Pour me citer à propos de cette histoire de nas: http://linuxfr.org/nodes/103747/comments/1569980
Merci :)
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Limitation de place en rack et de consommation, donc multiplier les disques n’est pas possible. Ce serait évidemment bon pour les perfs et limiterait l’I/O quand un disque crâme, j’en suis bien conscient, mais…
Au final, j’aurais dû écrire mon post ainsi:
Vous avez 1.6kW en puissance théorique max, 15U, un budget de 20k, 2×45 ports gbps via un 2 switchs stackés en 10g à dispo, et besoin d’autant d’espace (70To utiles mini), de puissance de calcul, de dispo que possible.
Que proposez-vous ?
La vache, c’est ’achement plus court dit comme ça !
Mais merci d’avoir réfléchi à mon problème :)
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
J’ai eu un devis pour le microcloud, en opteron avec des disques de 6to: 17.6k€HT. Je peux gagner là-dessus 1.2k€ en achetant les disques en lignes, soit 16.4k€.
CPU à 218€HT l’unité, difficile de trouver moins cher. Basculer sur du CPU grand public, c’est compliqué, y’a pas de cm petit format, donc obligé de se tourner vers des bécanes 1U, et donc on est limité à 8 bécanes (pour la conso, principalement, mais aussi la place).
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Hélas, je ne peux pas multiplier les machines à loisir. à 200W l’alim pour les plus légères que j’ai trouvé, je ne peux en avoir que 8 pour ne pas trop exploser la limite de conso qui nous est imposée. À 200W, deux disques par machine, point de salut. Donc moins de disques et moins de cœurs que ce qu’offre le microcloud pour la même conso :(
Pour les fonds de panier, je peux attendre un peu.
Quels vendeurs me conseillerais-tu de contacter ?
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Pas réaliste…je ne sais pas. Pas idéal, c’est sûr. On obtient quand même quelque chose qui n’est pas si ridicule.
Y’a 10 ans, notre premier serveur (tour bien sûr) était un bi-athlon MP, avec 2go et 3×200go en raid 5 hard. Y’a quand même eu du progrès ;)
Mais effectivement, j’ai parfois l’impression que débrouille est mon second prénom ;)
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Euh. On est 10 en tout. 7 au « siège ». Et la direction…ben c’est nous, vu que la boîte nous appartient. Le budget ne sort donc pas d’un chapeau mais de la tréso :)
C’est pas avec toi que je parlais précédemment de petite structure ? ;)
[^] # Re: Rester sur le même type d'infrastructure
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
On utilise déjà un FS distribué (moosefs actuellement, qui fonctionne très bien (niveau stabilité), à base de réplicas (ce qui est coûteux en place), qui a le défaut de ne pas être le plus rapide du monde, et qui vient de devenir proprio).
Un hadoop/hdfs (ou quantcast fs ou je ne sais quel autre backend il existe) serait certainement très bon pour les perfs. Bouger les process plutôt que les données, c’est idéal. Aux dernières nouvelles (qui remontent un peu, j’avoue), l’accès posix aux données n’était pas dispo/stable (ou libre, je ne sais plus). Et on ne peut définitivement pas modifier les codes existants (beaucoup trop lourd), ni imposer aux clients la plate-forme (c’est plutôt l’inverse…d’où le fait qu’on soit rhel compatible et posix niveau accès fichiers).
C’est pour ça que je suis arrivé à la même conclusion que toi. c’est pas le plus efficace, mais c’est le meilleur compromis (je pense).
J’ai eu un devis micro-cloud, pour 12 machines en 3U, 1620W d’alim, 96 cœurs opteron 3380, 4go/cœur, 24 disques 6to, 2×1gbps par machine, j’en suis à 16.5k€ HT.
points forts: que 1620W, pas mal de cœurs même si ce ne sont pas des bombes, 86To utiles avec un reed-solomon ou une mojette. un prix que je trouve plutôt bas (si je peux mettre le moins possible, c’est mieux).
point faible: que deux alims redondantes, que 2×1gbps. 4×1 eût été idéal (2 pour le fs, 2 pour htcondor encore que ça me semble largement overkill), mais les cartes 4×1gbps n’existent pas en microLP, et le 10g fait trop monter le budget.
Je n’avais pas pensé à la multiplication des 1U à pas cher, merci pour la piste !
En prenant des (10) pizza box 1U, low-cost au possible, une alim par box, 10×4 cœurs xeon E3-1220v3, 4go/cœur, 10×2 disques 6to, 4×1gbps par machine, j’en suis à 15k€ HT.
points forts: 4×1gbps, le prix. 10 alims (mais sans redondance).
points faibles: 2kW (avec les 800 existants que je vais réduire à 500 incompressibles à terme, difficile de négo. 1620+500 c’est plus facile pour « rentrer » dans la case 2kW max). « Que » 72To utiles.
Si je passe à 1600W, soit 8 bécanes, je n’ai plus que 32 cœurs et 58to utiles. Par contre je suis persuadé qu’ils vont en faire une jaunisse (mais on peut pas bosser dans ces conditions, c’est le retour à la préhistoire, t’as plus qu’à m’offrir un boulier, autant devenir fleuriste (no offense) etc etc), même si ça ne coûte que 12k€.
(je sais, je sais, on compare pas des cœurs d’opteron et de xeon, mais bref).
Pour la conso vis à vis du bailleur…je vais tenter ma chance sans grand espoir.
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
On est léger niveau connexion réseau vers notre cœur pour monter des bécanes de processing dans la pièce. on a deux groupes de 4 bureaux, chaque groupe descendant en 1gbps vers le cœur de réseau (Et c’est non évolutif pour les mois/années qui viennent). Niveau perf ça promet. Et si en plus les utilisateurs rament…(le serveur nfs de /home est branché direct sur les switchs stackés)
En plus, il fait déjà très chaud (bâtiment hqe, pas de clim au niveau des bureaux. je suis en tshirt (et j’ai chaud), il fait 10° dehors) de base avec les machines utilisateurs, les écrans, la tour avec des cartes GPU. En rajouter, on arrête la science pour le sauna ou hammam :D
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Personne n’a le lieu qui va bien pour stocker les machines, ni la connex, d’ailleurs.
[^] # Re: NUC pour le calcul, plus noeuds de stockage
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
J’ai jeté un œil rapide. C’est 2kW en « puissance max théorique » tel que c’est écrit.
Quant à avoir potentiellement recours à un avocat, je pense que le gérant va mettre son véto, on a jamais eu recours à un avocat en presque 15 ans d’existence, et in fine hormis pourrir les relations, ça arrangera pas grand-chose, amha.
[^] # Re: NUC pour le calcul, plus noeuds de stockage
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
J’avais raté celui-çi, mea culpa.
Non, l’hébergeur n’a pas cette capacité. Ce n’est pas son cœur de métier, ce sont des « salles numériques » et pas un datacenter, d’où justement ce « mode de calcul » (erm) à la noix. Du coup, avec leur obligation d’égalité de traitement des diverses boîtes, si on leur amène de la conso réelle à coup de watt-mètre ou de doc, on fort probablement va se faire jeter (puisqu’il n’y a pas de raison que nous soyons traités différemment bla bla).
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Le compte en W « alim » est une contrainte extérieure, sinon tu penses bien que je me serais basé sur la conso réelle. Il faut que je fasse avec.
Séparer les disques en gardant les bécanes ne change rien du coup, sinon augmenter artificiellement la pseudo-conso.
Pour la reprise, tu connais des boites la pratiquant ? Je vais poser la question à actualis, sait-on jamais.
Merci !
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
hmmmmmm. du 10g partout, ce serait bien. mais c’est encore un peu cher pour notre toute petite bourse. je vais devoir faire avec du 2×1gbps (voire du 4×1) par machine et des jumbo encore un moment, je crois ;)
En supposant le cas microcloud, 12 machines, chacune avec 2 voire 4 ports gbps, ça me fait au pire du 24 ports utilisé par switch, comme ce sont des 48, je suis peinard, et j’ai quand même de la BP (et de la dispo) à pas cher avec un bonding. de quoi ne pas trop dégueulasser les perfs, je pense.
Sauf si j’arrive à caser dans nos contraintes 2 nas et 2 serveurs suffisamment pếchus auquel cas je pourrais espérer de pouvoir connecter ce petit monde en 10g sans switch, mais sinon, 1350 de switch+1600 de cartes (400€ pièce, 1 par nas, une par serveur), on est à 3k. ça risque d’être difficile à caser. Quant à l’infiniband, c’est encore moins abordable, alors je n’y pense même pas ;)
Bref, bonne nuit (et merci).
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Je répète: ce n’est pas la consommation réelle qui est mesurée, c’est le chiffre indiqué sur l’alim qui est pris en compte. Je sais, mais c’est comme ça. je vais tenter de négo la conso pic, sans la moindre assurance que ça passe.
Merci d’avoir cité emc et netapp, je note. en voyant les prix, j’avais directement laissé tomber, je ne pensais pas qu’on pouvait obtenir de telles ristournes (même si tes exemples restent hors budget).
Pour le cahier des charges, c’est facile: le plus de dispo possible le plus de place possible le plus rapide possible par ordre décroissant d’importance, le tout en 2kW et 20k€. Avant, quand le jus n’était pas un souci, on ajoutait quand on pouvait une bécane qui faisait de la puissance de calcul et du stockage en plus dans le cluster. C’était complètement transparent pour eux. HTCondor gérait simplement plus de cœurs, mfs grossissait tout seul comme un grand.
Maintenant, la problématique est bien différente. je dois trouver la prod de ces prochaines années. Et elle sera figée jusqu’à ce qu’on change pour des plus gros disques voire carrément pour la remplacer par un nouveau boitier, avec des cpus plus mieux et plus de ram, le tout pour une conso et un encombrement similaires (même si sur ce dernier point on a un soupçon de marge).
Pour le vrai boulot de DSI, j’essaie. sisi. mais tu ne connais pas la joie des petites structures ou me trompe-je ? :)
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Le stockage local comme tu dis faisait partie du FS réparti, que la machine claque n’a pas causé de pertes de données. Le dit fs a certes retréci, il a fallu faire du nettoyage pour que les réplicas puissent se refaire et assurer à nouveau la sécurité des données, mais le point important est que rien n’a disparu, et que le volume était dispo et accessible.
Pour le NAS, en avoir un seul avec une extension (un syno rs et un rx, ou les qnap équivalents) me donne 24 disques de 6to…avec quelque chose comme deux raid 6. soit 20 disques efficaces, donc ~108to utiles. Ce qui est très bien niveau taille, le tout pour 10k€ (avec alim redondantes, 8.3k sinon). et 800W. Une défaillance de cm, de cpu, de disque un peu trop violente, voire d’alim (le plus courant étant les disques, suivi des alims puis des cm de mon expérience), et hop, on est aux fraises et complètement bloqués. Ajouter un second rs+rx ? L’addition monte entre 16.6 et 20k, et 1600W totaux. Et j’ai pas de cpu.
Si j’avais un bon 30k€ et la possibilité d’utiliser 4kW, je chopais deux rs+rx, les disques, deux serveurs pour un total de 48 cœurs, et roule. Mais je n’ai que 20k€ et 2kW. À choisir entre la vitesse et la dispo, je vote dispo. Qui est meilleure je pense avec la solution minicloud. Si un nœud (et même deux) lache, on est toujours up and running.
Alors c’est sûr, on sera pas aussi rapide que la soluce nas+serveur dédié calcul. Mais je ne peux pas avoir l’efficacité max et la dispo max vu nos contraintes. La dispo est définitivement plus importante.
Désolé de dire niet à tout bout de champs, j’adorerais que vous me présentiez une archi qui rentre dans les clous et qui soit plus sexy :)
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
C’est exact, 70 à l’heure actuelle (on était montés à 115 utiles un moment, mais la grosse babasse à 36 disques nous a claqué dans les pattes et pas les moyens de la remplacer, ni possible sachant qu’il fallait gagner du watt, donc régime forcé).
Le truc, c’est que c’est l’archi qu’on va garder pendant plusieurs années, donc j’essaie d’avoir un volume utile sympa.
Après discussion avec les collègues, on semble plutôt s’orienter vers un microcloud opteron, chaque bécane avec 2 disques 6to en raid 0, le tout avec un fs distribué type erasure coding. Pour les données froides, on va claquer un syno ds1413 dans le bureau, et faire des volumes spécifiques à des satellites qui servent peu. Comme ça, en cas de besoin, on charge le syno avec les disques qui vont bien, copie (ou non d’ailleurs, à voir sur pied) des données vers le volume « prod », et on lance le processing.
J’me demande si c’est bien utile d’avoir un disk on module 8go pour l’os des machines, ou s’il faut que je planche pour les booter diskless (les disques 6to étant réservés au stockage).
Voilà l’idée en gros. Mais rien n’est fixé dans le marbre.
[^] # Re: NAS + 2 serveurs 1U interconnectés en 10 GbE
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Voilà qui est tentant !
Un système disque qui arrache pas mal (même si les 6to intellipower ne sont pas les plus rapides…), raid 6 j’imagine ? 75to utiles une fois formaté à la louche (c’est tout de même très loin de 100). un peu light, mais à priori supportable. Par contre, j’ai peur de la proba d’explosion en vol du volume en cours de rebuild, situation qui se présentera forcément. Perso, le raid, j’ai arrêté (sauf le 1 pour l’os) quand j’ai paumé un (gros, à l’époque) volume raid 6. Puis quand ça rebuild ça patauge sévère pendant des jours, sans parler de blocs défectueux pouvant facilement causer le souk…Quelqu’un a de l’expérience avec de tels volumes en raid ? Je ne suis pas confiant, pour ma part.
Perdre partiellement des données est certes pénible, mais bien moins que de paumer le volume complet qu’on a pas les moyens de sauvegarder (dans cette configuration là, ni dans les précédentes que nous avons connu, en tout cas).
9k€ pour le nas en 10g avec des disques pas cher.
J’arrive à 12k pour 48 cœurs, du 10g pour deux serveurs, 1400W alim.
Le nas étant à 650W, on est à 2050, plus les 800 (bientôt 500) existants, sigh. (je rappelle que le « coût » conso est compté via ce qui est écrit sur les alims, et pas la conso réelle).
Dommage, c’était prometteur (bien que potentiellement (relativement) un peu léger niveau HA).
Merci pour la proposition en tout cas !
[^] # Re: datacenter ?
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
t’es à 24k/an. ici…c’est 20k sur 3 ans mini ! (+ les pièces de rechange, ok)
Quant à cette histoire de récupérer les charges pour les 2kW, faudrait que je regarde le bail, mais je crois que c’est compris, la conso est mutualisée non seulement au datacenter mais aussi au niveau du bâtiment, donc je pense que c’est même pas la peine d’essayer.
Je peux obtenir plus de courant (je l’ai déjà), ce n’est pas (vraiment) le souci, mais la grille tarifaire est prohibitive.
L’hébergement n’est pas le cœur de métier de la boite gérant le bâtiment dans lequel on bosse. C’est un service « offert ». Ils ont obligation de fournir 2kW pour chaque boîte, et à l’heure actuelle, les clims ne peuvent plus évacuer plus de chaleur, donc ils poussent tout le monde à réduire sa conso (nombre consomme plus que 2kW) pour arriver dans les clous afin de pouvoir accueillir avec le même niveau de service les nouveaux arrivants. Bref…
[^] # Re: datacenter ?
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Louer du serveur, c’est 400HT/mois les 72 to bruts, donc il en faut 2. 800€. Et je n’ai « que » 12 cœurs. + 2 binious à 16 cœurs, hop, on est à pas loin de 1200€/mois.
En cloud, c’est 5k€ à la louche.
un petit HPC dédié, beaucoup trop cher aussi.
Un machin type EC2, on va perdre un temps fou pour y faire monter les données, et je ne suis pas sûr que nos clients acceptent que leurs données ne soient pas traitées en interne. Bref, je n’ai pas regardé plus loin.
On amorti sur 3 ans il me semble. Ce qui fait ~0.5k/mois avec un minicloud à 20k. « Notre » datacenter a beau avoir des limitations, on a ces 2kW compris dans les charges. Ne pas les utiliser est jeter de l’argent par la fenêtre.
[^] # Re: datacenter ?
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Aller voir ailleurs c’est 1500€/mois la ½ baie. Impossible pour notre petite structure de supporter un tel coût. À 2000W de conso, l’hébergement est dans les charges. Au-delà, tu casques.
Le fait que les bécanes soient dans une salle climatisée, avec double arrivée électrique, le tout sur une connex 100mbps et à proximité de notre bureau est un plus quand tu dois, au hasard, changer un disque, ou aller voir sur place pourquoi ton serveur supermicro sans kvm ni rien ne répond plus. Sans compter qu’on a besoin de dispo. Ça fait toujours ch… quand t’as 3 semaines H24 de calculs en cours, et que le jus tombe. Déjà rien que le temps des checks disques, sans parler des merdouilles, plus reprendre la prod, tu pleures.
[^] # Re: Et la grille de calcul européenne ?
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Nous sommes 100% privés. Même si en liens avec des labos et autres instituts, nous ne faisons pas partie des partenaires du GIS.
En plus, même si nous disposons qu’une connex pas trop dégueu (100mbps symétriques), je pense pas qu’on arrive à envoyer les données à traiter assez vite pour gagner du temps de traitement…
Mais l’idée est bonne :)
[^] # Re: NUC pour le calcul, plus noeuds de stockage
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
J’ai du supermicro, mais je vais regarder si c’est possible. merci pour l’info :)
[^] # Re: Code à effacement, codes systématiques et puissance de calcul
Posté par laurent wandrebeck (site web personnel) . En réponse au message Remplacer un (petit) cluster pour consommer bcp moins tout en gardant de la puissance. Évalué à 1.
Va falloir que je bidouille un truc avec ma bécane du taff alors (cpu bulldozer), j’ai pas de 3380, les autres opteron sont en prod et pas de cette gén là. C’est ce que j’ai de plus proche. J’dois pouvoir trouver (et brancher) deux ou trois disques dessus pour tester. Pas mieux. Je vous tiendrais au courant, mais ce ne sera pas pour demain, j’ai du monde sur ma todo list et de la deadline qui pointe son nez.