Sortie de Bigtop 0.2.0 (en incubation à la fondation Apache)

L’équipe de développement de Bigtop a tout récemment publié la version 0.2.0.
Bigtop est un projet en incubation à la Fondation Apache ayant pour but de développer une distribution de logiciels libres liés à l’écosystème Apache Hadoop, ainsi que les tests associés.
Apache Hadoop étant une implémentation libre du modèle de programmation MapReduce, permettant de traiter des données de taille très importante.

Bigtop comprend les principaux composants suivants :

• des fichiers permettant de générer des paquets RPM et deb pour Fedora, Ubuntu 10.04, CentOS 5.7, CentOS 6.1 et openSUSE 11.4. À noter aussi, le support pour Mageia 1 ;
• des recettes de déploiement et de gestion des logiciels pour Puppet ;
• une infrastructure et des bibliothèques pour développer des tests d’intégration et de tests concernant des paquets (installation, mise à jour, désinstallation, test des scripts de service…) ;
• un ensemble de tests d’intégration, dont certains pour les paquets RPM et deb produits.

Les logiciels fournis par cette distribution sont :

• Hadoop, une implémentation libre du modèle de programmation MapReduce, qui comprend aussi un système de fichiers distribué ;
• Flume, un logiciel libre permettant de collecter, agréger et transférer d’importants volumes de données de façon distribuée et fiable ;
• HBase, une base de données orientée colonne, distribuée et versionnée suivant les principes édictés par le projet Bigtable de Google ;
• Hive, un serveur SQL se basant sur Apache Hadoop ;
• Mahout, une bibliothèque d’apprentissage automatique qui se concentre principalement sur les algorithmes liés aux recommandations, groupements et classification ;
• Oozie, service de coordination et de gestion de processus pour les travaux Apache Hadoop, ce qui permet par exemple de pouvoir coordonner certaines activités suivant certaines conditions ;
• Pig, une plate‐forme d’analyse de données proposant un langage de haut niveau permettant l’abstraction de MapReduce ;
• Sqoop, outil permettant de faciliter le transfert de données entre grappes de serveurs Apache Hadoop et bases de données relationnelles. Sqoop fut désactivé pour cette version en raison d’incompatibilités, mais devrait être disponible pour les versions à venir de Bigtop ;
• Whirr, un ensemble d’outils et bibliothèques permettant de créer des grappes de serveurs Hadoop via divers fournisseurs d’infrastructure virtuelle ;
• Zookeeper, une plate‐forme permettant de développer rapidement des services distribués fiables.

De fait, Bigtop permet de rapidement et efficacement déployer, gérer et tester toute une pile de logiciels dédiés au calcul distribué sur plusieurs centaines de machines, l’ensemble traitant plusieurs pétaoctets de données.

Historiquement, Bigtop provient de la distribution Cloudera’s Distribution including Apache Hadoop (CDH), établie par la société Cloudera.
Cloudera ayant décidé de donner à la Fondation Apache tout son travail lié à CDH, Bigtop a donc déjà été installé sur moult grappes de serveurs dans diverses configurations.

Aller plus loin

• Site de Bigtop (207 clics)
• Annonce de la sortie de Bigtop 0.2.0 (28 clics)
• Documentation pour l'ajout de dépôts BigTop pour quelques disributions (8 clics)