tag:linuxfr.org,2005:/tags/hadoop/publicLinuxFr.org : les contenus étiquetés avec « hadoop »2022-06-22T08:30:45+02:00/favicon.pngtag:linuxfr.org,2005:News/410822022-06-22T08:30:45+02:002022-06-22T08:30:45+02:00Conférence SophiaConf du 27 au 29 juin 2022 en présentielLicence CC By‑SA http://creativecommons.org/licenses/by-sa/4.0/deed.fr<div><p>La 13<sup>e</sup> édition de SophiaConf arrive les 27, 28 et 29 juin 2022 pour trois jours de workshops techniques, conférences et visites découverte sur les technologies open source, au Campus SophiaTech (Université Côte d’Azur) à Sophia-Antipolis dans les Alpes-Maritimes. Aux côtés d’experts locaux, SophiaConf accueille cette année notamment Google, OVHcloud, GitHub, Red Hat et Marigold pour parler d’open source, d’IoT et de devops.</p>
<p>La France, et notamment la Côte d’Azur, possède de nombreux acteurs et consommateurs du Logiciel Libre, et cette année encore, SophiaConf réunit ces pépites pour partager leurs expériences et savoirs lors de trois jours articulés en après-midis de workshops techniques et soirées de conférences, autour de l’open source, de l’IoT et du devops.</p>
<p>Plus encore, SophiaConf accueille notamment en têtes d’affiche, des évangélisateurs d’entités renommées dans l’univers du Libre : Laurent GRANGEAU, Solutions architect chez Google ; David APARICIO, Ingénieur DataOps chez OVHcloud ; Tugdual GRALL, Solutions Engineer chez GitHub, Christophe DE DINECHIN, Senior Principal Software Engineer chez Red Hat et Benjamin FUENTES, Technical Lead chez Marigold.</p>
<p>SophiaConf 2022 s’adresse à tous les professionnels, étudiants et passionnés d’open source, avec des sessions techniques d’expérimentation de technologies open source pour les initiés, et des conférences pour tous niveaux.</p>
</div><ul><li>lien nᵒ 1 : <a title="https://www.telecom-valley.fr/sophiaconf-2022-27-28-29-juin-3-jours-100-open-source-avec-google-ovhcloud-github-red-hat-et-marigold-en-tetes-daffiche/?cn-reloaded=1" hreflang="fr" href="https://linuxfr.org/redirect/110694">Le communiqué complet</a></li><li>lien nᵒ 2 : <a title="https://www.telecom-valley.fr/sophiaconf-2022/" hreflang="fr" href="https://linuxfr.org/redirect/110695">Le site pour s'inscrire aux différentes sessions</a></li><li>lien nᵒ 3 : <a title="https://www.agendadulibre.org/events/25424" hreflang="fr" href="https://linuxfr.org/redirect/110696">Événément sur l'Agenda du Libre</a></li></ul><div></div><div><a href="https://linuxfr.org/news/conference-sophiaconf-du-27-au-29-juin-2022-en-presentiel.epub">Télécharger ce contenu au format EPUB</a></div> <p>
<strong>Commentaires :</strong>
<a href="//linuxfr.org/nodes/128067/comments.atom">voir le flux Atom</a>
<a href="https://linuxfr.org/news/conference-sophiaconf-du-27-au-29-juin-2022-en-presentiel#comments">ouvrir dans le navigateur</a>
</p>
Datafarian00Benoît SibaudYsabeau 🧶 🧦Xavier Teyssierhttps://linuxfr.org/nodes/128067/comments.atomtag:linuxfr.org,2005:Bookmark/38232021-11-14T08:53:41+01:002021-11-14T08:53:41+01:00Tutoriel simple et complet sur Apache Spark - le module Spark SQL <a href="https://www.data-transitionnumerique.com/spark-sql/">https://www.data-transitionnumerique.com/spark-sql/</a> <p>
<strong>Commentaires :</strong>
<a href="//linuxfr.org/nodes/125952/comments.atom">voir le flux Atom</a>
<a href="https://linuxfr.org/users/juvenal-2/liens/tutoriel-simple-et-complet-sur-apache-spark-le-module-spark-sql#comments">ouvrir dans le navigateur</a>
</p>
Juvenalhttps://linuxfr.org/nodes/125952/comments.atomtag:linuxfr.org,2005:Diary/382932018-12-27T23:08:09+01:002018-12-27T23:08:09+01:00Huit ans et plus toutes ses dentsLicence CC By‑SA http://creativecommons.org/licenses/by-sa/4.0/deed.fr<p>En 2010 , j'ai trouvé un emploi d'ingénieur support dans un grand éditeur Américain .<br>
En 2019, suite à un plan social de grande envergure, je me prépare à trouver "un nouveau challenge", donc me voilà à réseauter professionnellement, pour trouver une nouveau challenge.<br>
Pas de pleurs, le CE a fait du bon travail et l'entreprise est en train de mourir (comme beaucoup de gros éditeurs), donc je ne regrette pas de quitter cet endroit toxique.<br>
Par contre, il m'est impossible de vous dire le nom de cette entreprise. </p>
<p>Je dois vous rappeler que je ne cherchais pas particulièrement à quitter mon poste, et que j'ai une utilisation assez bureautique/internet de mon linux.</p>
<p>Je me suis donc bien aperçu que les profils recherchés en production informatique avaient beaucoup évolué.</p>
<p>En 2010, le terme à la mode , si ma mémoire ne me fait pas défaut, était "virtualisation" voir "déduplication"(que mon correcteur orthographique ne connait pas encore) pour le stockage, le langage à connaitre était le perl.</p>
<p>Depuis, en suivant un peu les actualités, j'ai vu, il y a quelques années la montées en puissance des containers dockers. En suivant mes incidents, j'ai pu voir aussi la mort des unix propriétaires, souvent remplacés par des VMs vmware et la montée en puissance du cloud </p>
<p>Aujourd'hui, je vois que de nombreuses offres demandent de maîtriser le python (Est ce que perl est vraiment mort ?) . Je ne maîtrisais pas python, et je n'en avais pas vraiment l'utilité, MAIS j'ai découvert récemment un langage fourni de documentation sur internet, et très riche, avec des modules en nombre plus important que les mots clés du langage. J'aime beaucoup ce langage.<br><br>
Outre python, je vois que la virtualisation est désormais plus un basique qu'un atout.</p>
<p>Deux mots reviennent néanmoins sans cesse dans les offres d'emplois :<br>
Le Big Data et le cloud.</p>
<p>Qu'en est il du big data ? <br>
Hadoop semble tenir la corde mais quel hadoop ? <br>
Celui de Cloudera/Hortonworks , HDinsight de Microsoft , ou le hadoop from scratch ? </p>
<p>J'ai réussi à faire mon CPF sur hadoop avec hbase, hive, le java mapreduce, scala de L'EPFL et python pour les traitement RRD (impala si mes souvenirs sont bons). Est ce que cela utile ?(hadoop en tant que non développeur me semble quand même être de l'édition de fichier XML) </p>
<p>Concernant le cloud, je pense demander une formation en openstack de RedHat en reconversion, car la compréhension que j'en ai est qu'il s'agit de la base de nombreux cloud.</p>
<p>Pour le stockage, on parle désormais de stockage objet, ou de stockage partagé . La déduplication est , à juste titre selon moi, peu à peu mis aux oubliettes</p>
<p>Maintenant, je réalise que les grands éditeurs ne recrutent pas beaucoup, et qu'ils ont de sérieux problèmes. <br>
En résumé, je réalise qu'en huit passé à troubleshooter mon produit propriétaire , je n'ai pas vraiment eu de visus sur l'évolution des prods, pourriez vous me donner des avis ? <br>
Dois je continuer à apprendre python ? Dois je insister sur hadoop , sur le cloud ?<br>
Concernant les recruteurs, viser les startup est il vraiment jouable et utile ? <br>
La startup Française de stockage objet Anneau est il vraiment un killer ou juste un expert dans sa communication ?</p>
<p>Quelles sont vos prévisions pour 2019 ?</p>
<div><a href="https://linuxfr.org/users/cheumole/journaux/huit-ans-et-plus-toutes-ses-dents.epub">Télécharger ce contenu au format EPUB</a></div> <p>
<strong>Commentaires :</strong>
<a href="//linuxfr.org/nodes/116070/comments.atom">voir le flux Atom</a>
<a href="https://linuxfr.org/users/cheumole/journaux/huit-ans-et-plus-toutes-ses-dents#comments">ouvrir dans le navigateur</a>
</p>
Eh_Dis_Mwanhttps://linuxfr.org/nodes/116070/comments.atomtag:linuxfr.org,2005:News/352472014-04-06T23:46:02+02:002014-04-06T23:46:02+02:00Thème cloud computing / infonuagique Licence CC By‑SA http://creativecommons.org/licenses/by-sa/4.0/deed.fr<div><p>Cette année le thème Cloud Libre du salon Solutions Linux, Libres et Open Source (20 & 21 mai 2014 - CNIT - Paris La Défense) va s'orienter vers les déploiements effectifs de projets de <a href="http://fr.wikipedia.org/wiki/Cloud_Computing">l'IaaS au PaaS en passant par l'orchestration</a>. Retours d'expériences, solutions émergentes, quelles sont les différentes technologies pour monter et industrialiser ses déploiements et la gestion de son infrastructure ?</p>
<p>Le thème comprend une table ronde <em>du IaaS au PaaS : un écosystème de solutions libres !</em> et sept conférences spécifiques (mots-clés cloud ouvert, Prism, ownCloud, dpdk.org, Solum, OpenStack, Shinken, Hadoop) détaillées en seconde partie de dépêche.</p></div><ul><li>lien nᵒ 1 : <a title="http://www.solutionslinux.fr/Cloud+Libre_168_3484.html" hreflang="fr" href="https://linuxfr.org/redirect/89985">Salon Solutions GNU/Linux, Libre et Open Source</a></li></ul><div><h2 class="sommaire">Sommaire</h2>
<ul class="toc">
<li><ul>
<li><ul>
<li><a href="#intervenants-">Intervenants :</a></li>
<li><a href="#conf%C3%A9rences-sp%C3%A9cifiques">Conférences spécifiques</a></li>
</ul></li>
</ul></li>
</ul><p>13h00-14h00 : table ronde <em>du IaaS au PaaS</em> : un écosystème de solutions libres !</p>
<p>Lors de cette table ronde nous ferons un tour d'horizon des différents projets qui permettent de passer du IaaS au PaaS. Nous nous interrogerons notamment sur l’interopérabilité entre les outils, le rôle l’existence de standards et la possibilité de piloter des projets multi-environnements.</p>
<h4 id="intervenants-">Intervenants :</h4>
<ul>
<li>Christophe SAUTHIER, CEO, Objectif Libre</li>
<li>Hervé LERCLERC, Directeur Technique, Alter Way</li>
<li>Michel-Marie MAUDET, Directeur Général, Linagora</li>
<li>Frédéric AATZ, Responsable de Stratégie Interopérabilité et Open Source et Marc GARDETTE, Senior Business Dev Manager, Microsoft</li>
</ul><p>Animateur : Jonathan LE LOUS, meneur de pratique Cloud conputing, Savoir-faire Linux</p>
<h4 id="conférences-spécifiques">Conférences spécifiques</h4>
<ul>
<li>14h10-14h40 : Pourquoi et comment un Cloud Ouvert, par Jean-Pierre LAISNE, CEO, CompatibleOne</li>
<li>14h45-15h25 : Living in a Cloudy Post-Prism World – the User Data Manifesto, par Frank KARLITSCHEK, ownCloud project Creator & owncloud.com, CEO, ownCloud</li>
<li>15h30-16h10 : Indicateurs de haut niveau et supervision niveau métier : nouveaux défis de la supervision à l’ère du cloud, par Rodrigue CHAKODE, Ingénieur R&D, SysFera et RealOpInsight Labs</li>
<li>16h15-16h55 : dpdk.org- le cœur de la performance réseau sur les systèmes virtualisés, par Vincent JARDIN, CTO 6WIND</li>
<li>17h00-17h40 : Solum : le PaaS arrive dans OpenStack, par Julien VEY, DevOps, Numergy</li>
<li>17h45-18h25 : La supervision dans les nuages avec OpenStack et Shinken, par Thibault COHEN, Leader de pratique supervision, Savoir-faire Linux</li>
<li>18h30-19h00: Hadoop as Service, OpenStack + Hadoop, par Charly CLAIRMONT, CTO, ALTIC</li>
</ul><p>Résumé des interventions :</p>
<ul>
<li><p><strong>14h10-14h40 : Pourquoi et comment un Cloud Ouvert, par Jean-Pierre LAISNE, CEO, CompatibleOne</strong><br>
Clouds hybrides, fédérations de cloud, places de marché, bourse de services cloud, tous ces termes se recouvrent une même réalité. Dans les faits ils décrivent les différentes formes plus ou moins complexes d'évolution possible des architectures cloud. Lors de cette présentation, nous nous proposons d'exposer les points communs et les relations qui peuvent être établies entre ces différentes architectures. Grâce à des cas d'usage et des retours d'expérience, nous étudierons en particulier les standards ouverts et les logiciels libres permettant de gérer la complexité de ces nouvelles architectures massivement distribuées.</p></li>
<li><p><strong>14h45-15h25 : Living in a Cloudy Post-Prism World – the User Data Manifesto, par Frank KARLITSCHEK, ownCloud project Creator & owncloud.com, CEO, ownCloud</strong><br>
In this session Frank Karlitschek, founder of the ownCloud project and creator of the User Data Manifesto, will discuss steps individuals and businesses can take to protect their own data – as well as the responsibility we share to assure our own privacy and data protection.<br>
People have become increasingly worried about the privacy of their information, revelations have surfaced that the NSA – and other state-controlled agencies (and businesses and black hatters?) – are spying on businesses and individuals. Karlitschek founded the ownCloud project and more recently created and began publicly discussing the User Data Manifesto, defining basic rights for people to control their own data in the internet age.</p></li>
<li><p><strong>15h30-16h10 : Indicateurs de haut niveau et supervision niveau métier : nouveaux défis de la supervision à l’ère du cloud, par Rodrigue CHAKODE, Ingénieur R&D, SysFera et RealOpInsight Labs</strong><br>
Le but de cet exposé sera de présenter les enjeux et les nouvelles problématiques de la supervision des environnements IT actuels. Notamment dans un contexte où la vision cloud, de plus en plus présente, impose aux responsables de supervision de passer outre les indicateurs de bas niveau pour s’intéresser davantage à la qualité de service fournie aux utilisateurs finaux ainsi qu’aux applications tierces. </p></li>
<li><p><strong>16h15-16h55 : dpdk.org- le cœur de la performance réseau sur les systèmes virtualisés, par Vincent JARDIN, CTO 6WIND</strong><br>
La communauté dpdk.org a été lancée l'année dernière par 6WIND afin de soutenir les projets nécessitant du traitement de paquet à très haut débit (200Mpps, 200Gbps) en environnement cloud pour les solutions NFV.<br>
Cette communauté est devenue très active en quelques mois.<br>
Plusieurs projets open source (Openvswitch, rump) et sociétés spécialisées dans les télécoms (Cisco, vmware, NEC, etc.) utilisent maintenant les librte de dpdk.org afin de booster leurs performances. Elles contribuent sur dpdk.org.</p></li>
<li><p><strong>17h00-17h40 : Solum : le PaaS arrive dans OpenStack, par Julien VEY, DevOps, Numergy</strong><br>
Solum, L’un des projets d'Openstack en phase de prototypage dite “StackForge”, peut se décrire ainsi: “Transformer le code en une application managée tournant sur OpenStack en un clic de bouton”. Il s’agit bel et bien d’une solution de PaaS (Platform-as-a-Service). Solum tire partie des dernières solutions technologiques en matière de PaaS, avec notamment le projet Docker, utilisé au coeur de la plateforme. Partant d’une nouvelle base de code, sans historique à gérer, comme cela peut être le cas pour des solutions concurrentes telles que OpenShift ou CloundFoundry, Solum avance vite, poussé par des acteurs tels que RedHat ou Rackspace et l’essor de la communauté OpenStack.<br>
Dans cette présentation, nous détaillerons les aspects techniques du projet Solum, les composants OpenStack dont il tire partie, l’intégration de Docker… Nous présenterons également les différentes roadmaps du projet, quels langages vont être supportés, quel est l’horizon de sortie…</p></li>
<li><p><strong>17h45-18h25 : La supervision dans les nuages avec OpenStack et Shinken, par Thibault COHEN, Leader de pratique supervision, Savoir-faire Linux</strong><br>
Nous commencerons cette conférence par une courte présentation d'OpenStack et de Shinken. Ensuite nous montrerons les possibilités d'ingrégration de ces deux solutions. Pour finir, nous exposerons quelques exemples de supervision de différentes couches de la solution OpenStack: que ce soit au niveau du service final, des applications de gestion de la plateforme OpenStack, des systèmes d'exploitation, ou du matériel.</p></li>
<li><p><strong>18h30-19h00: Hadoop as Service, OpenStack + Hadoop, par Charly CLAIRMONT, CTO, ALTIC</strong><br>
Il existe de nombreuse questions sur le caractère prête à l'emploi du Big Data. Beaucoup d'interrogation quant à la manière de monter des architectures, ou à la souplesse d'étendre son cluster à mesure de ses besoins.<br>
Un projet open source c'est proposé de résoudre cette problématique d'"Hadoop élastique". Il s'agit du projet Savana, qui s'incrit comme un plugin pour OpenStack et qui permet aux organisation de bénéficier tant de la puissance de calcul d'Hadoop que de la flexibilité que peut délivrer OpenStack.<br>
Dans cette présentation, il s'agit de montrer à tous à quel point il est simple grâce à Savana d'avoir du "Hadoop à la demande". Après une brêve introduction et avoir détaillé les principaux composants du projet, une légère démonstration pour conclure.</p></li>
</ul></div><div><a href="https://linuxfr.org/news/theme-cloud-computing-infonuagique.epub">Télécharger ce contenu au format EPUB</a></div> <p>
<strong>Commentaires :</strong>
<a href="//linuxfr.org/nodes/101767/comments.atom">voir le flux Atom</a>
<a href="https://linuxfr.org/news/theme-cloud-computing-infonuagique#comments">ouvrir dans le navigateur</a>
</p>
JollfrclaudexBenoît Sibaudpalm123https://linuxfr.org/nodes/101767/comments.atom