Sortie de Bigtop 0.2.0 (en incubation à la fondation Apache)

Posté par . Modéré par Davy Defaud.
Tags :
20
15
nov.
2011
Technologie

L’équipe de développement de Bigtop a tout récemment publié la version 0.2.0.
Bigtop est un projet en incubation à la Fondation Apache ayant pour but de développer une distribution de logiciels libres liés à l’écosystème Apache Hadoop, ainsi que les tests associés.
Apache Hadoop étant une implémentation libre du modèle de programmation MapReduce, permettant de traiter des données de taille très importante.

Bigtop comprend les principaux composants suivants :

  • des fichiers permettant de générer des paquets RPM et deb pour Fedora, Ubuntu 10.04, CentOS 5.7, CentOS 6.1 et openSUSE 11.4. À noter aussi, le support pour Mageia 1 ;
  • des recettes de déploiement et de gestion des logiciels pour Puppet ;
  • une infrastructure et des bibliothèques pour développer des tests d’intégration et de tests concernant des paquets (installation, mise à jour, désinstallation, test des scripts de service...) ;
  • un ensemble de tests d’intégration, dont certains pour les paquets RPM et deb produits.

Les logiciels fournis par cette distribution sont :

  • Hadoop, une implémentation libre du modèle de programmation MapReduce, qui comprend aussi un système de fichiers distribué ;
  • Flume, un logiciel libre permettant de collecter, agréger et transférer d’importants volumes de données de façon distribuée et fiable ;
  • HBase, une base de données orientée colonne, distribuée et versionnée suivant les principes édictés par le projet Bigtable de Google ;
  • Hive, un serveur SQL se basant sur Apache Hadoop ;
  • Mahout, une bibliothèque d’apprentissage automatique qui se concentre principalement sur les algorithmes liés aux recommandations, groupements et classification ;
  • Oozie, service de coordination et de gestion de processus pour les travaux Apache Hadoop, ce qui permet par exemple de pouvoir coordonner certaines activités suivant certaines conditions ;
  • Pig, une plate‐forme d’analyse de données proposant un langage de haut niveau permettant l’abstraction de MapReduce ;
  • Sqoop, outil permettant de faciliter le transfert de données entre grappes de serveurs Apache Hadoop et bases de données relationnelles. Sqoop fut désactivé pour cette version en raison d’incompatibilités, mais devrait être disponible pour les versions à venir de Bigtop ;
  • Whirr, un ensemble d’outils et bibliothèques permettant de créer des grappes de serveurs Hadoop via divers fournisseurs d’infrastructure virtuelle ;
  • Zookeeper, une plate‐forme permettant de développer rapidement des services distribués fiables.

De fait, Bigtop permet de rapidement et efficacement déployer, gérer et tester toute une pile de logiciels dédiés au calcul distribué sur plusieurs centaines de machines, l’ensemble traitant plusieurs pétaoctets de données.

Historiquement, Bigtop provient de la distribution Cloudera’s Distribution including Apache Hadoop (CDH), établie par la société Cloudera.
Cloudera ayant décidé de donner à la Fondation Apache tout son travail lié à CDH, Bigtop a donc déjà été installé sur moult grappes de serveurs dans diverses configurations.

  • # Disponibilite de depots

    Posté par . Évalué à 3.

    EVidemment, ce n'est que maintenant que je me rends compte que j'ai oublie le lien concernant l'ajout de depot pour votre distribution GNU/Linux favorite:
    https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop

    Cela permet de rapidement pouvoir installer et essayer les differents logiciels fournis par Bigtop

    • [^] # Re: Disponibilite de depots

      Posté par . Évalué à 2.

      une infrastructure et des bibliothèques pour développer des tests d’intégration et créer des paquets ;

      A noter une erreur de moderation. Il s'agit bel et bien d'une infrastructure et de bibliotheques pour developper des tests d'integrations et de tests concernant les paquets (j'ai surement du mal m'exprimer).
      Cela permet entre autre de pouvoir tester des paquets sous toute leur couture (installation, mise a jour, desinstallation, test des scripts de service...) tout en fournissant une couche d'abstraction au dessus de apt/zypper/yum/urpmi et dpkg/rpm.
      En fait, cela permettrait serait aussi applicable aux paquets de n'importe quelle distribution et pourrait d'ailleur etre utile a toute distribution souhaitant mettre en place des tests pour ses paquets.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.