Non, non je ne confond pas. En gros, Hadoop est un framework composé de trois modules :
- HDFS : système de fichier distribué
- Yarn : moteur de partage de ressources distribués (CPU et RAM) un peu comme Mesos
- Map/Reduce : moteur de traitement distribué qui est de moins en moins utilisé car chaque étape génère une écriture disque et les perfs très faible à la différence de moteur d'exécution qui utilise plus la RAM comme Spark.
Pour ce qui est de Hive c'est une surcouche SQL qui permet de faire rapidement des requêtes sur des données structurée stockée sur HDFS à l'aide moteur de traitement comme Map/Reduce et Spark.
ps : je vulgarise, je défis les puristes de trouver les raccourcis que je prends dans mes explications.
Je ne serais moins tranché que ckyl qui à du passer quelques nuits blanches pour être aussi négatif sur la techno :-)
Pratiquant aussi professionnellement ces technos, je peux te confirmer que ça sent la peinture fraîche. Il faut parfois savoir être patient et choisir des chemins détournés… Mais le jeux de l'open source est plutôt bien joué casiement tout les projets sont repris par la fondation Apache, et surtout "chez moi ça marche" :-)
Le mieux c'est de se faire la main avec les VM sandbox proposée par les distrib Hortonworks (fully open source si j'ai bien compris) et Cloudera (moins open source).
Il y a plein de conférences sur le sujet si tu cherches Hadoop summit / data works sur youtube (en anglais) ou des conférences de meetup parisien ou de devoxx.
Ensuite, il faut bien définir ce que l'on veut faire, lire des docs, essayer de voir si c'est possible et réessayer, poster sur des Mailing list / stackoverflow et autre. C'est bien aussi d'aller dans des conférences sur le sujet pour échanger. Si ton entreprise a de l'argent, tu peux souscrire au support des distribs mais c'est pas donné (plusieurs milliers d'euros du node).
@stanjer : "except the work" - no, I don't think so.
But please note that we should stay to be compatible with 2.7 too, so, it should be dual compatible.
Visiblement, ils ont l'air de bosser sur le sujet :)
Même chose pour moi, j'ai découvert ce type de rasoir sur LinuxFr.
Je me le suis fait offrir par ma chère et douce qui trouvait que c'était un beau cadeau (Acheté une marque allemande en coutellerie).
Perso, je n'ai même pas eu l'idée d'aller voir des tutos. Dès que je l'ai essayé, je l'ai adopté, je rase une barbe de 2 semaines aussi facilement qu'une petite barbichette de 2 jours, je ne me coupe pas plus qu'avec mon ancien rasoir en plastique N lames. Perso, je préfère les lames Wilkinson qui ne sont pas chère genre 2 Euros les 12 lames (trouvable en supermarché mais plus rarement que les gilettes bleue).
De ce que je comprends, ce n'est pas aussi simple que tu le dis : je suis en droit de demander le soft, mais je dois justifier pourquoi je veux ce soft.
Ca me fait rire jaune ce genre de news, je viens de tester, et les softs ne sont pas si facile d'accès :
1. il faut créer un compte
2. remplir tout un formulaire assez complexe digne de la DGSI
3. attendre que la requête soit examinée pour avoir le droit d'accéder au logiciel qui soit disant génial
Boarf, je me dis que c'est une occasion de tester de nouveau logiciel libre (j'ai bien utilisé grisbi quand j'avais du temps—lire que je n'avais pas d'enfant :)), les réponses à mon post vont dans ce sens.
Ma banque aussi permet de faire cela. Mais je ne peux pas créer de nouvelle catégorie, comme j'ai du mal rester dans le cadre qu'elle a définit…. sinon, je me serais arrêté là.
Superbe réponse, je pensais fortement à Weboob pour automatiser le download de CSV, mais je ne connaissais pas tes appli de gestion de compte, j'investigue ça avec HomeBank.
Mais visiblement, il y a bien moyen de faire quelquechose !
# Ca se bricole
Posté par MrBidon . En réponse au message Gestionnaire de tags. Évalué à 1.
Rien de ne me vient en tête, mais avec un petit script python (par exemple) ça doit être faisable rapidement…
[^] # Re: Hadoop ?
Posté par MrBidon . En réponse au journal Data Warehouse. Évalué à 1.
Mouais, je trouve dommage de se passer de système de fichier distribué dans une stack dite big data.
[^] # Re: Hadoop ?
Posté par MrBidon . En réponse au journal Data Warehouse. Évalué à 1.
Non, non je ne confond pas. En gros, Hadoop est un framework composé de trois modules :
- HDFS : système de fichier distribué
- Yarn : moteur de partage de ressources distribués (CPU et RAM) un peu comme Mesos
- Map/Reduce : moteur de traitement distribué qui est de moins en moins utilisé car chaque étape génère une écriture disque et les perfs très faible à la différence de moteur d'exécution qui utilise plus la RAM comme Spark.
Pour ce qui est de Hive c'est une surcouche SQL qui permet de faire rapidement des requêtes sur des données structurée stockée sur HDFS à l'aide moteur de traitement comme Map/Reduce et Spark.
ps : je vulgarise, je défis les puristes de trouver les raccourcis que je prends dans mes explications.
[^] # Re: Hadoop ?
Posté par MrBidon . En réponse au journal Data Warehouse. Évalué à 3.
Je ne serais moins tranché que ckyl qui à du passer quelques nuits blanches pour être aussi négatif sur la techno :-)
Pratiquant aussi professionnellement ces technos, je peux te confirmer que ça sent la peinture fraîche. Il faut parfois savoir être patient et choisir des chemins détournés… Mais le jeux de l'open source est plutôt bien joué casiement tout les projets sont repris par la fondation Apache, et surtout "chez moi ça marche" :-)
Le mieux c'est de se faire la main avec les VM sandbox proposée par les distrib Hortonworks (fully open source si j'ai bien compris) et Cloudera (moins open source).
Pour apprendre tout les noms d'oiseaux qui tourne autour de la plateforme, je recommande le livre blanc suivant (qui commence à dater) : http://www.octo.com/fr/publications/19-hadoop-feuille-de-route
Il y a plein de conférences sur le sujet si tu cherches Hadoop summit / data works sur youtube (en anglais) ou des conférences de meetup parisien ou de devoxx.
Ensuite, il faut bien définir ce que l'on veut faire, lire des docs, essayer de voir si c'est possible et réessayer, poster sur des Mailing list / stackoverflow et autre. C'est bien aussi d'aller dans des conférences sur le sujet pour échanger. Si ton entreprise a de l'argent, tu peux souscrire au support des distribs mais c'est pas donné (plusieurs milliers d'euros du node).
[^] # Re: Hadoop ?
Posté par MrBidon . En réponse au journal Data Warehouse. Évalué à 2.
En fait, je pensais plutôt au stockage des données.
Mais oui, Spark est à préconiser en tant que moteur de traitement sur Hadoop.
# Hadoop ?
Posté par MrBidon . En réponse au journal Data Warehouse. Évalué à 1.
C'est open source et ça plaît aux managers, car ça permet de dire qu'on fait du Big data.
[^] # Re: qtox
Posté par MrBidon . En réponse au message Par quoi remplaceriez-vous Facebook/Skype ? (smartphone et pc). Évalué à 1.
Je n'ai pas testé, mon problème principal étant le manque d'amis qui sont tous sur Twitter et Facebook.
# qtox
Posté par MrBidon . En réponse au message Par quoi remplaceriez-vous Facebook/Skype ? (smartphone et pc). Évalué à 2.
J'étais tombé sur ce projet https://tox.chat/download.html
Décentralisé, ergonomique et facile à utiliser.
Pour moi une très bonne alternative à Skype… mais pas à facebook.
# Sphinx
Posté par MrBidon . En réponse au message Générateur de site statique pour documentation utilisateur. Évalué à 1.
L'alter-ego d'Ascii doctor (mais qui vient du Python)
# C'est une technologie dépassée
Posté par MrBidon . En réponse à la dépêche Expiration des brevets du Fraunhofer Institute sur le format MP3. Évalué à 10.
On avait discuté de cela dans ce sujet :
https://linuxfr.org/forums/general-general/posts/ecouter-sa-musique-en-bonne-qualite#comment-1681528
Visiblement, il faut mieux s'orienter vers Opus cf : https://opus-codec.org/comparison/ (l'AAC est plutôt bon aussi mais pas libre).
# ELK ?
Posté par MrBidon . En réponse au message BI. Évalué à 1.
Une suite open source à la mode Elastic search / Logstash / Kibana
A la base c'est fait pour aggéger des logs, mais c'est tellement joli que ça peut passer pour une BI ;-)
[^] # Re: Et graphite ?
Posté par MrBidon . En réponse au journal Base de séries temporelles. Évalué à 2.
https://github.com/graphite-project/graphite-web/issues/750
Visiblement, ils ont l'air de bosser sur le sujet :)
# Et graphite ?
Posté par MrBidon . En réponse au journal Base de séries temporelles. Évalué à 2.
Pour ce genre de cas, j'avais repéré Graphite http://graphiteapp.org/ qui me semble plus mature que influxdb.
Mais, je n'ai pas encore eu le temps de tester…
[^] # Re: pas electrique
Posté par MrBidon . En réponse au message [ HS ] Problème de barbu ..... Évalué à 2.
Même chose pour moi, j'ai découvert ce type de rasoir sur LinuxFr.
Je me le suis fait offrir par ma chère et douce qui trouvait que c'était un beau cadeau (Acheté une marque allemande en coutellerie).
Perso, je n'ai même pas eu l'idée d'aller voir des tutos. Dès que je l'ai essayé, je l'ai adopté, je rase une barbe de 2 semaines aussi facilement qu'une petite barbichette de 2 jours, je ne me coupe pas plus qu'avec mon ancien rasoir en plastique N lames. Perso, je préfère les lames Wilkinson qui ne sont pas chère genre 2 Euros les 12 lames (trouvable en supermarché mais plus rarement que les gilettes bleue).
# Seamonkey / Puppy Linux
Posté par MrBidon . En réponse au message Un navigateur léger ?. Évalué à 1.
A l'époque, je n'étais pas mécontent des perfs de Seamonkey sur la distrib Puppy linux (aka toutou Linux en français).
De nos jours, j'utilise Chromium sur Raspberry Pi 2 et ça se passe bien.
[^] # Re: Freely ?
Posté par MrBidon . En réponse au journal La nasa offre sa troisième fournée de logiciel libre et gratuit. Évalué à 1.
Pendant ce temps, j'attends toujours la validation de ma "request" pour télécharger un de ces logiciels gracieusement offert la NASA :)
[^] # Re: Freely ?
Posté par MrBidon . En réponse au journal La nasa offre sa troisième fournée de logiciel libre et gratuit. Évalué à 1. Dernière modification le 08 mars 2017 à 09:39.
Bin j'ai bêtement cliqué sur le lien donné dans le journal, puis sur un autre lien et je suis arrivé ici : https://software.nasa.gov/software/HQN-11316-1
De ce que je comprends, ce n'est pas aussi simple que tu le dis : je suis en droit de demander le soft, mais je dois justifier pourquoi je veux ce soft.
# Freely ?
Posté par MrBidon . En réponse au journal La nasa offre sa troisième fournée de logiciel libre et gratuit. Évalué à 3.
Ca me fait rire jaune ce genre de news, je viens de tester, et les softs ne sont pas si facile d'accès :
1. il faut créer un compte
2. remplir tout un formulaire assez complexe digne de la DGSI
3. attendre que la requête soit examinée pour avoir le droit d'accéder au logiciel qui soit disant génial
[^] # Re: preciser la definition
Posté par MrBidon . En réponse au message Logiciel de compte personnel avec gestion de tag "automatique". Évalué à 1.
Boarf, je me dis que c'est une occasion de tester de nouveau logiciel libre (j'ai bien utilisé grisbi quand j'avais du temps—lire que je n'avais pas d'enfant :)), les réponses à mon post vont dans ce sens.
[^] # Re: preciser la definition
Posté par MrBidon . En réponse au message Logiciel de compte personnel avec gestion de tag "automatique". Évalué à 1.
Ma banque aussi permet de faire cela. Mais je ne peux pas créer de nouvelle catégorie, comme j'ai du mal rester dans le cadre qu'elle a définit…. sinon, je me serais arrêté là.
[^] # Re: weboob + ?
Posté par MrBidon . En réponse au message Logiciel de compte personnel avec gestion de tag "automatique". Évalué à 1.
Superbe réponse, je pensais fortement à Weboob pour automatiser le download de CSV, mais je ne connaissais pas tes appli de gestion de compte, j'investigue ça avec HomeBank.
Mais visiblement, il y a bien moyen de faire quelquechose !
[^] # Re: preciser la definition
Posté par MrBidon . En réponse au message Logiciel de compte personnel avec gestion de tag "automatique". Évalué à 1.
Oui c'est bien la troisième options ;-)
# News sur le sujet, posté sur LinuxFr aujourd'hui
Posté par MrBidon . En réponse au message Recherche logiciel de gestion de planning. Évalué à 2.
http://linuxfr.org/news/codevtt-v1-2-0-suivi-d-activite-et-gestion-de-projet-avec-mantisbt
Ca à l'air correspondre à ton besoin….
[^] # Re: Vimdiff
Posté par MrBidon . En réponse au message Fusion interactive des fichiers de configuration lors d'une mise à jour. Évalué à 1.
Du coup, meld devrait aussi marcher dans ce cas ?
[^] # Re: Ca veut dire quoi "être prêt pourle desktop" ?
Posté par MrBidon . En réponse au journal ON Y EST ENFIN !. Évalué à 0.
Ca ne compte pas vos exemples : l'humanoide habite sous le même toit qu'un barbus utilisateur de logiciel libre.