Forum général.cherche-logiciel Quel Object Storage open source ?

Posté par  . Licence CC By‑SA.
Étiquettes :
3
3
déc.
2017

Salut tout le monde,

Je suis à la recherche d'une solution open source d'Object Storage pour stocker de grandes quantités de petits "chunks" de taille fixe et qui sera déployée sur des serveurs dédiés.

Idéalement je voudrais en trouver une qui réponde aux critères suivants :

  • résilience ;
  • disponibilité (donc pas de SPOF notamment) ;
  • performances en lecture (surtout pour les temps d'accès) ;
  • pas trop gourmande au niveau CPU/RAM ;
  • facilité d'installation/configuration/administration ;
  • possibilité d'avoir une configuration multi-datacenters (pour faire de la réplication asynchrone entre datacenters) ;
  • la possibilité de faire du tiering au niveau des données (stocker les plus utilisées sur des SSD et les autres sur des HDD) pourrait être intéressante dans le futur.

J'ai répertorié les solutions suivantes et j'aimerais trouver des avis de personnes qui les ont utilisés en production :

  • Ceph : il en était d'ailleurs un peu question dans un journal publié récemment et j'en ai retenu que ça fonctionne bien mais que c'est un peu gourmand en ressources, que ça demande pas mal de machines pour faire un cluster (je voudrais démarrer avec seulement 3 machines) et que c'est globalement plutôt complexe.
  • Openstack Swift : vu que ça fait partie d'Openstack j'imagine que c'est du solide mais n'est-ce pas un peu compliqué à déployer/administrer ?
  • OpenIO : ça a l'air de bien correspondre à ce que je cherche mais la documentation n'est pas très épaisse et ça me semble moins connu que les 2 premiers.
  • Minio : pareil, moins connu et la documentation est plutôt courte.

Je considère aussi la possibilité d'utiliser Cassandra qui n'est pas fait explicitement pour ça mais qui coche quasiment toutes les cases (et que j'utilise déjà pour stocker d'autres données)…

Merci d'avance pour vos conseils ! ^^

  • # un peu plus

    Posté par  (site web personnel) . Évalué à 2.

    je comprend pas ta demarche en disant multi datacenter, resilience auy haute dispo avec seulement 3 machines, ca ne vas pas trop ensemble.

    cependant si tu a besoin de tester cela dans un premier temps, et en mettant de cotes la partie multi datacenter 3 machines peuvent suffire

    ceph et swift c'est ok
    ceph n est pas si compliqué que cela, il y a une bonne doc. ensuite ,tu peux aussi regarder dans les composant de hadoop (ozone)

    perso, je te conseillerais plutot ceph

    • [^] # Re: un peu plus

      Posté par  . Évalué à 1.

      je comprend pas ta demarche en disant multi datacenter, resilience auy haute dispo avec seulement 3 machines, ca ne vas pas trop ensemble.

      Effectivement, j'aurais dû préciser "à terme" pour la géo-réplication. Dans un premier temps je veux démarrer avec 3 machines sur un seul datacenter.

      • [^] # Re: un peu plus

        Posté par  (site web personnel) . Évalué à 2.

        Je plussoie : Ceph, c'est cool, simple à déployer avec ceph-deploy et la doc est très bien faite. Un truc un poil pas super top par contre, mais pas grave, c'est que des trucs de doc, genre « Comment upgrader de Jewel à Luminous » (versions majeures, resp. 10 et 12), sont dans leur blog et pas sur le site de la doc.

        Being a sysadmin is easy. As easy as riding a bicycle. Except the bicycle is on fire, you’re on fire and you’re in Hell.

        • [^] # Re: un peu plus

          Posté par  . Évalué à 1.

          Hello !

          Je prêche pour ma paroisse, mais oui, OpenIO correspond bien à ce que tu recherches puisque ça a été fait pour.

          On fait des efforts sur la documentation (sneak preview: https://docs/opennio.io/master ) qui n'est pas encore finalisée certes, mais est beaucoup plus facile à manipuler et est amenée à changer quotidiennement :)

          Dans tous les cas, on ne demande pas mieux que d'aider à la compréhension de la solution ! C'est pourquoi, si vous avez des questions par exemple, je vous invite vivement à rejoindre notre forum ou encore vous inscrire sur notre slack.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.