Paf a écrit 114 commentaires

Note que ce n'est pas aussi complique ou misereux que ce qui est laisse entendre. Loin de la.

Si tu veux faire des paquets:
* Chaque distribution a ses regles de paquetage. Pour fedora, voir par exemple https://fedoraproject.org/wiki/Packaging:Guidelines et https://fedoraproject.org/wiki/Packaging:Java
* Regarde du cote de https://build.opensuse.org/ qui te fourni un service gratuitement pour faire des paquets pour les distributions GNU/Linux les plus connues
* Pour gerer ton projet, je te conseille de regarder du cote de maven :)
* le jre ne doit pas etre dans les dependances. Ton paquet dependra sur un truc du genre "Requires: java".
* Les distributions GNU/Linux fournissent au moins openJDK. Donc je ne me soucierai pas trop de la presence ou non de la JRE.

Dans le pire des cas weboob-havesex n'est pas dans les depots par defaut. Mais cela ne les empeche pas de le fournir via des depots alternatifs.
Tout comme Amazon et autres ont des depots alternatifs a android.

Alors que dans le cas d'Apple, si ils te refusent, tu ne pourras rien distribuer du tout, que je sache.

Donc au final les quelques uns qui s'y essaye sont par exemple dropbox, dont le .deb télécharge toutes les libs et binaire dans le ~/.dropbox-dist car ils évitent 3 tonnes d'emmerdes selon les distribs. Et économiquement c'est valable car tu payes le service dropbox pas l'app en elle même…..

C'est une enorme generalisation a deux balles.

Il est parfaitement possible de fournir des paquets pas trop degueu et sans trop d'emmerdes pour plusieurs distributions a la fois.
Le soucis que j'ai le plus rencontre sont lies aux implementations buggees de la LSB. Mais ce genre de soucis n'existe plus vraiment.

Sauf que maintenant les marketeux commencent à parler d'eXXXtriiiime data.
D'ailleurs le terme "données extrêmes" sonne mieux!

Pas vraiment a propos du document, mais a noter aussi la premiere reunion du groupe d'utilisateur d'Apache Hadoop France a Paris demain:
http://fr.amiando.com/GETAYVM.html?page=696595

A rajouter dans la liste: Apache Gora http://gora.apache.org/

Bon boulot!
Meme si j'aurai bien aime voir un diagramme facon "couche d'os" montrant quels sont les projets qui font quoi. Par exemple avec Apache HAdoop au centre, puis les projets gravitant autour permettant de gerer les jobs, importer les donnees en flux, importer/exporter les donnees depuis les bases de donnees, bases nosql…

Il serait admirable aussi d'introduire des cas d'utilisation. Voir ceux decrits dans les differents blogs et conferences (Hadoop summit, Hadoop World…)

De meme, des informations concernant comment sont utilises se soutils serait un plus. Par exemple pour Apache Hadoop on passe soit par du code java, C/C++ via pipes, ou n;importe quel executable via stdin/stdout.
Mais du fait de la complexite/bas niveau du concept MapReduce, des outils d'abstration tels que Hive ou Pig ont vu le jour.

De manière similaire, on voit se développer des besoins importants, et des projets matures, dans
les domaines de la gestion de parc, du déploiement automatique, du monitoring, etc. Parmi les
projets significatifs, citons: Chef, Puppet, Fabric, Zookeeper, etc.

Pourquoi mettre Apache Zookeeper dans ce sac?
Apache Zookeeper fourni un framework pour coordonner des processus distribues.
Donc je vois comment on pourrait le mettre dans la categorie "infrastructure", mais tout de meme pas au meme niveau que chef/puppet

Dans les clones de BigTable, on pourrait rajouter Apache Accumulo qui a ete developpe par la NSA puis soumis recemment pour incubation a la fondation Apache.

Dans la categorie des moteurs d'indexation et de recherche, il existe aussi blur. Voir http://www.blur.io/

Sinon il manque Hue qui sert d'interface web pour les utilisateurs (lancer des jobs, requetes Hive, pig…), Apache Hive, Apache Pig, Apache sqoop pour pouvoir transferer les donees depuis des bases de donnees vers Apache HAdoop, Apache Oozie pour la coordination de workflow, Apache Whirr pour la creation de clusters dans le cloud et Apache Bigtop (en incubation) qui sert de point d'integration a tous ces projets BigData centres sur Apache Hadoop en fournissant les choses suivantes :

• Des paquets/depots pour les distributions GNU/Linux les plus populaires (fedora, centos, debian, ubuntu, mageia, openSUSE, SLES)
• Des recettes de deploiements (recettes puppet, creation de VM, creation de bootable live cd/usb)
• Un framework de test ainsi que des tests d'integrations pour tous ces composants Au final Apache Bigtop permet de fournir et valider un stack complet repondant aux besoins du BigData. A noter par ailleurs que Apache Bigtop (en incubation) a ete donne a la fondation Apache par Cloudera et ser de base a CDH4.

la base de données distribuée big Data Hbase est intégrée au projet.

C'est faux :)
Apache HBase est supportée par Apache Hadoop et non pas intégrée. Apache HBase a besoin de pouvoir rajouter des données a un fichier, chose non supportée jusqu’à récemment de manière officielle par Hadoop.
En pratique cela était déjà supporte par hadoop depuis les version 0.20.20X, la distribution CDH de Cloudera, la version 0.23.0 (qui sera sûrement renommée en 3.0).

Apache Hadoop 1.0 n'est que le renommage de la version 0.20.206 en 1.0. C'est juste un coup marketing.

Il y a bien Apache hadoop qui justement envoi et execute le code la ou se trouve les données.
Et vu que les données sont distribuées et reparties, le code aussi.
la distribution du code prend aussi en compte la localité des données

Voir http://hadoop.Apache.org

La cessation des droits peut joueur sur quelque chose fait sur mon temps libre, donc en dehors des heures de travail ? Ça me paraîtrait fou si c'était le cas.

Je ne me rappelle plus en France, mais en Californie c'est le cas si ce que tu fais sur ton temps libre a un rapport avec ce que tu fais a ton boulot.
Il faut aussi faire tes projets persos sur ton temps libre, avec ton equipement (donc ne pas utiliser le laptop de la boite, de serveurs ou la grosse bande passante de ton employeur) et que cela n'ait pas de rapport avec ton travail.
Ca me semble plutot equitable. Mais cela doit surement etre different en France.

une infrastructure et des bibliothèques pour développer des tests d’intégration et créer des paquets ;

A noter une erreur de moderation. Il s'agit bel et bien d'une infrastructure et de bibliotheques pour developper des tests d'integrations et de tests concernant les paquets (j'ai surement du mal m'exprimer).
Cela permet entre autre de pouvoir tester des paquets sous toute leur couture (installation, mise a jour, desinstallation, test des scripts de service...) tout en fournissant une couche d'abstraction au dessus de apt/zypper/yum/urpmi et dpkg/rpm.
En fait, cela permettrait serait aussi applicable aux paquets de n'importe quelle distribution et pourrait d'ailleur etre utile a toute distribution souhaitant mettre en place des tests pour ses paquets.

EVidemment, ce n'est que maintenant que je me rends compte que j'ai oublie le lien concernant l'ajout de depot pour votre distribution GNU/Linux favorite:
https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop

Cela permet de rapidement pouvoir installer et essayer les differents logiciels fournis par Bigtop

Ca avait l'air chouette alors je l'ai installe et ai pu rapidement integre mes projets a sonar.
Malheureusement je suis reste coince avec des projets aux stats vides jusqu'a ce que je me rende compte que sonar ne supporte pas scala.

Par contre ca marche tres bien pour les projets java

Pour moi l'avantage donné à Java est avant tout dû au « potentiel commercial » . En fait
python n'est pas supporté par une entreprise comme Java a pu l'être ou l'est encore... «
Langage rigolo » , j'ai l'impression que cela s'applique plus en fait à la taille et au
nombre de gens qui sont derrière et soutiennent les améliorations du langage et de la
JVM. Pour moi, Java c'est plutôt une façon de se cacher derrière le nombre
d'utilisateurs et le nombre de développeurs plutôt que sur des réels avantages
techniques.

Bof, il y a des tas d'entreprises avec des interets financiers dans python.
Par ailleurs, le fait qu'il n'y ait qu'une boite derriere java est un desavantage face a python. Surtout quand on voit la direction dans laquelle Oracle semble se diriger.

À mon avis, une vraie façon de comparer deux langages devrait se baser sur les
fonctionnalités de la librairie standard. Je pense que python est largement comparable > à Java dans ce cas.

La bibliotheque standard n'est qu'un critere parmis d'autres. Mais meme sur la bibliotheque standard python ne peut pas se comparer face a java (au sense large).
Java est specifie et a toutes les bibliotheques necessaires pour tourner aussi bien sur des smartcards que dans le browser (je suis toujours impressione par http://jmonkeyengine.com/demo/webstart/ ). Ceci dit cela ne veut pas dire que python est pauvre (je pouvais meme coder en python sur mon vieux S60).

Avec des argumentations comme celle là, on n'est pas sorti de l'auberge.

Le message auquel je repondais n'etait pas vraiment argumente non plus :)

Pense aussi à travailler ton orthographe et à ajouter des accents dans ton texte.

J'y travaille, malheureusement le francais n'est plus ma langue premiere depuis un certain temps.

Il y a le choix:

• Passer par d'autres languages comme scala ou groovy
• Ca n'est pas aussi terrible que ca en a l'air en java avec eclipse qui auto-complete les 3/4 des choses

C'est un troll c'est ca ? Ou tu essais de t'auto-convaincre que java n'est utilise par personne car tu ne l'utilises pas ?

As-tu la moindre idee de ce qu'est Apache Hadoop ? Les gens derriere sont loin d'etre des rigolos.
Peut-etre que dans ton cas tout cela ne s'applique pas, mais dans leur cas, java leur est extremement utile, non seulement pour la rapidite de developpement, mais tout les outils autour.

Le python c'est sympa et semble te convenir, mais c'est loin d'etre aussi mature que java.
Il y a bien une raison si les boites comme twitter passent de languages rigolos comme ruby a une infrastructure base sur la JVM.

Pas que Maven par ailleurs.
Pour l'ecosysteme d'Apache Hadoop, la plupart des developpeurs principaux n'arretent pas de remercier Java car ces projets ne seraient pas aussi avances si Java n'avait pas ete utilises. La derniere fois que je l'ai entendu etait au Hadoop Summit l'autre jour.

Cela me rappelle fortement l'article de GLMF sur l'industrialisation de Java. Choses pour lesquelles j'aimerai bien connaitre les equivalents C++ par curiosite.

Meme si maven a ouvert la porte a pas mal de comportements degueulasses.

Est ce qu'il existe une communauté francophone de écosystème hadoop aujourd'hui ?

Pas a ma connaissance.

Nos difficulté aujourd'hui, c'est de trouver des tutos avec la descriptions des flux pour des objectifs assez classique comme pour hbase faire des conteurs de vues d'objets. On trouve une vidéo de la description des statistique en temps réel chez facebook1, ou le compteur de downloads en répartition géographique de firefox [3][4] mais peu qui ne soit assez détaillé pour s'en inspirer.

Ton lien [4] contient un lien vers tout le code source : https://github.com/jbalogh/glow

Concernant la documentation, je conseille fortement le livre sur Hadoop de chez O'Reilly.
Sinon Cloudera offre aussi ses services de support et formation en Europe :)

Voir https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/d272d3fc38a381da/71d4bc20948297e0 pour plus d'information sur squeeze/lenny

J'ai une bonne nouvelle: Le support pour Squeeze arrive pour CDH3u1 (d'ici 1-2 mois).
Les paquets squeeze sont d'ailleurs deja dispo sur le depot nightly ( http://nightly.cloudera.com/debian/ )
Quant a Lenny, le support revient pour CDH3u1 aussi. La encore, des paquets dont deja dispos sur le depot nightly.
Evidemment le depot nightly implique que c'est a tes risques et perils :)

Quant a la place dans les distribs, je dirai oui et non. Tout d'abord, on ne peut pas patcher de release d'un projet Apache pour cause de trademark (pour des raisons similaires a ce qui a cause la naissance de iceweasel). Et sinon comme une grosse partie des projets java, ils ont du mal a suivre les bonnes pratiques de releases et de gestion de dependances.
Bigtop repond a un besoin un peu plus en amont de ce que des paquets pour distributions resoudraient.

Je ne peux pas ecrire au nom de flagos, mais il me semble qu'il s'exprimait dans un contexte de federation d'instances de gitorious.
Donc pas grand chose a voir avec ce que l'on peut faire ou pas directement avec git.

Ce à quoi tu m'avais rétorqué que GitHub fournissait d'autres fonctionnalités. Alors, certes mais ça n'a rien à voir avec le sujet : ça ne change rien au fait qu'on n'a pas besoin de GitHub pour faire des clone et des pull, choses qu'on peut, pour en revenir au sujet, très bien faire avec un service git perso.

Tout a fait d'accord. On peut faire tout cela a la main avec git.
Mais ce serait oublier la raison d'etre de github/gitorious qui est de fournir un environnement facilitant autant que possible la collaboration sur des projets bases sur git.
Alors oui, tout ce que gitorious/github font peut etre reimplemente a la main si on en a le temps et l'envie, mais moi je suis feignant et ce qui m'interesse c'est de bosser sur mes projets et collaborer, pas de devenir sysadmin.

Le code de gitorious est libre et n'importe qui peut ainsi avoir sa propre instance.
J'ai meme vu passer des paquets pour divers distributions.

Git en lui meme permet de pouvoir bosser dans une certaine mesure sans necessiter de compte sur github/gitorious, mais cela serait aussi se passer des fonctionnalites offertes par ces sites qui sont quand meme bien pratiques.

Non seulement github est centralise, mais il n'est pas libre non plus.
Quitte a developper des logiciels libres, autant le faire sur une plateforme libre et decentralisee comme gitorious:
http://gitorious.org/

spacewalk?