Apache Hadoop 1.0

Posté par  (site web personnel) . Édité par Mouns, Benoît Sibaud, Manuel Menal et Lucas Bonnet. Modéré par Manuel Menal. Licence CC By‑SA.
Étiquettes :
17
5
jan.
2012
Base de données

Selon Wikipédia, « Hadoop est un framework Java libre destiné aux applications distribuées et à la gestion intensive des données. Il permet aux applications de travailler avec des milliers de nœuds et des pétaoctets de données. Hadoop a été inspiré par les publications MapReduce, GoogleFS et BigTable de Google. ».

C'est Doug Cutting qui a créé ce projet, originellement pour Nutch, et qui éclot en projet majeur Apache. Yahoo est un gros utilisateur et contributeur, mais dans les gros utilisateurs on peut également citer Facebook, qui se vante d'avoir la plus grosse grappe Hadoop au monde, et puis Amazon (sur son réseau Amazon Elastic MapReduce), le New York Times (qui fait tourner 100 instances Amazon EC2).

Au menu de Hadoop 1.0, la base de données distribuée big Data Hbase est intégrée au projet. La sécurité des nœuds est assurée par une authentification basée sur Kerberos. WebHDFS est pris en charge comme couche d'accès en lecture/écriture HTTP sur HDFS. Il y a en outre les traditionnelles corrections, optimisations et fonctionnalités mineures.

Hadoop

Aller plus loin

  • # Vous pouvez éditer cette partie en cliquant sur le crayon !

    Posté par  (site web personnel) . Évalué à 1.

    Vous pouvez éditer cette partie en cliquant sur le crayon !

  • # Pourquoi est-ce classé dans la section "Bureautique" ?

    Posté par  (site web personnel) . Évalué à 2.

    Une erreur ? (l'item "Bases de données" est juste au dessus dans le menu popup de la liste des sections)

    Python 3 - Apprendre à programmer dans l'écosystème Python → https://www.dunod.com/EAN/9782100809141

  • # Apache HBase n'est pas intégré a Apache Hadoop

    Posté par  . Évalué à 3.

    la base de données distribuée big Data Hbase est intégrée au projet.

    C'est faux :)
    Apache HBase est supportée par Apache Hadoop et non pas intégrée. Apache HBase a besoin de pouvoir rajouter des données a un fichier, chose non supportée jusqu’à récemment de manière officielle par Hadoop.
    En pratique cela était déjà supporte par hadoop depuis les version 0.20.20X, la distribution CDH de Cloudera, la version 0.23.0 (qui sera sûrement renommée en 3.0).

    Apache Hadoop 1.0 n'est que le renommage de la version 0.20.206 en 1.0. C'est juste un coup marketing.

    • [^] # Re: Apache HBase n'est pas intégré a Apache Hadoop

      Posté par  (site web personnel) . Évalué à 2.

      oui et hadoop n est pas du tout une base de donnees mais bon...
      Ce serait mieux de dire que c est une architecture de calcul distribue... de tpe map-reduce.

      • [^] # Re: Apache HBase n'est pas intégré a Apache Hadoop

        Posté par  . Évalué à 3.

        Ce n'est pas parce que c'est dans la catégorie base de données que ça veut dire que c'est une base de données mais que c'est plutôt lié aux bases de données.

        « Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.