Journal Bigtop - Nouveau projet soumis pour incubation a la fondation Apache

Posté par . Licence CC by-sa
11
15
juin
2011

Pour mon premier journal, je tiens à partager cette excitante nouvelle.
Bigtop est un nouveau projet ayant pour but de faciliter la distribution et l’intégration des projets lies à l’écosystème Hadoop.
Ce projet est loin d’être nouveau puisqu'il s'agit en fait sous le capot de la Cloudera's Distribution including Apache Hadoop (CDH). CDH était déjà sous licence Apache v2, mais Cloudera souhaite aller plus loin en la transformant en projet Apache.

Bigtop est important car Hadoop a dépassé le cadre de simple projet pour devenir une plate-forme sur laquelle une multitude d'autres projets reposent.
Ces projets allant de la collection de logs (flume) aux bases de données (HBase), en passant par la gestion de worfklow (Oozie). Malheureusement, ces projets ne sont pas tous aussi coordonnés qu'on le souhaiterait, dépendent de fonctionnalités non sorties/finalisées, ont des dépendances exotiques ou en conflit, et ne s’intègrent pas forcément aussi bien qu'on le souhaiterait.
Bigtop vise à résoudre cela en créant un cadre de travail et en s'assurant (et fournissant des patchs) en amont que chaque projet s’intègre bien.

Les développeurs initiaux incluent des gens de chez Cloudera, Canonical, Twitter, Facebook, HP et StumbleUpon. D'autres personnes ayant signalé leur intérêt pour ce projet vont sûrement rejoindre cette liste.

Pour le moment Bigtop peut être utilisé pour construire des paquets pour :

  • RPMs pour RHEL/CentOS 5/6, openSUSE 11.4, SLES 11
  • DEBs pour Ubuntu 10.10, Debian Lenny et Squeeze

Quant aux tests, ils sont gérés par Maven et reposent sur la JVM et peuvent donc être implémentés dans un quelconque langage, tant que celui-ci est supporté par celle-ci.

La liste des projets supportés par Bigtop (pour le moment, car tout semble indiquer que la liste va s'agrandir) :

  • flume
  • hadoop
  • hbase
  • hive
  • oozie
  • pig
  • sqoop
  • whirr
  • zookeeper

Liens :

  • # Excellente nouvelle

    Posté par . Évalué à 3.

    Cloudera fait un super boulot pour le packaging de l'écosystème Hadoop. La facilité de déploiement des applicatifs permet de se lancer facilement dans la découverte de ce nouvelle manière de faire du stockage et du traitement distribué.
    Par contre ils ne proposent pas les paquets deb pour squeeze de cdh3 (et pour lenny il n'y a que les beta de cdh3) c'est frustrant.

    Ceci dit Bigtop a plus sa place dans le cadres des distribs que chez l'éditeur finalement.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.