Pas certain que c'est bien dans cette partie du forum qu'il faut poser cette question, donc désolé d'avance si je suis hors sujet.
En fait, j'aimerais savoir si, pour vous, un intégrateur(applicatif sur un ETL, ou exploitation) peut envisager(entamer une reconversion?) de prendre le chemin de la data, et notamment le poste très prisé qu'est le data-scientiste.
Franchement, je me suis documenté sur les pré-requis demandés, et ca fait fuir au premier abord, mais ça m'a l'air d'être un métier (…)
La version 5 d'OpenMOLE - surnommé Loving Lobster (homard aimant) - vient d'être publiée. Pour mémoire OpenMOLE est un logiciel permettant de distribuer des explorations d'espaces de paramètres, de listes de fichiers, d'algorithme d'optimisation, d'analyse de sensibilité… sur des environnements de calcul type serveurs multi-processeurs, fermes et grilles de calcul. Il permet d’intégrer facilement votre code exécutable quelque soit le langage (C++, R, Python, Java, NetLogo…) et déporte son exécution de manière entièrement transparente, sans aucune installation préalable du coté de l'environnement d'exécution. Il permet de concevoir des workflows de calcul à très grande échelle générant des millions de jobs et des centaines de Go de données.
Voir les changements depuis la version 4 en seconde partie de dépêche.
Nous donnons régulièrement des formations ouvertes au public d'OpenMOLE à l'Institut des Systèmes Complexes à Paris. La prochaine aura lieu courant octobre, elle sera annoncée très prochainement.
Bonjour à toutes et à tous,
En relais de l'information publiée par le Service des achats de l'Etat, avant le lancement d'un appel d'offres, je pense intéressant de vous faire passer une copie de cette news :
Enjeu majeur en termes de mutualisation et d’archivage, le programme VITAM sera présenté le jeudi 25 juin de 14h30 à 16h30, dans les locaux des Archives Nationales (Site de Pierrefitte (…)
Bonjour à toutes et à tous,
En relais de l'information publiée par le Service des achats de l'Etat, je pense intéressant de vous faire passer une copie de cette news :
Enjeu majeur en termes de mutualisation et d’archivage, le programme VITAM sera présenté le jeudi 25 juin de 14h30 à 16h30, dans les locaux des Archives Nationales (Site de Pierrefitte, 59 rue Guynemer, Pierrefitte-sur-Seine / Métro (…)
Nal ! De bon matin, ça boom ? Boom !
As-tu entendu parlé de do not track, un web-documentaire interactif, produit par Arte (entre autres).
C'est en 7 épisodes. Le premier a été diffusé hier soir.
Ce web-doc propose au téléspectateur de lâcher, au cours des épisodes, quelques informations persos.
Grâce à elles, il tente de nous démontrer à quel point nous sommes trackés.
Son but, surtout, est de nous expliquer, vulgairement, comment ce tracking de masse fonctionne, quels en sont (…)
La dématérialisation et l'archivage des contenus issus de sources gouvernementales est un sujet délicat, aussi bien du point de vue législatif (durée de conservation) que de la confiance dans la solution mise en place. Cette mission, remplie jusqu'à présent par des moyens de stockage "classiques", doit aujourd'hui faire face à la forte augmentation du volume de données produit. Le gouvernement réfléchit donc aux moyens nécessaires pour continuer à assurer cette mission.
À l'occasion de la sortie de la version 0.13, je vous présente cette bibliothèque basée sur Python qui permet de travailler simplement et efficacement avec des données structurées. Jusqu'à présent, les versions se sont enchaînées rapidement mais celle-ci arrive plusieurs mois après la précédente. On peut donc espérer qu'un code développé pour cette nouvelle version demandera moins de maintenance.
Les principales possibilités sont :
Pour peu que les données soient correctement formatées, pandas peut s'en sortir même dans le cas où la quantité dépasse les capacités de votre machine en traitant les sources morceaux par morceaux.
Le développement de cette bibliothèque s'inscrit dans la problématique de disposer d'outils pour manipuler de gros volumes de données dans le but de leur exploitation scientifique ou commerciale.
Note : pandas fonctionne avec la même base de code sur Python 2 et 3 mais ce n'est, peut-être, pas le cas de toutes les dépendances.
Bonjour,
Je veux creuser un peu le concept de "Big data" et j'aimerai partir d'un cas assez simple :
Créer un sorte de centre d'activité de notre infrastructure en se basant sur nos gros fichiers logs (apache pour les applis web, Postfix/Cyrus pour les mails pour commencer)
Biensûr j'ai déjà awstats qui fait bien son boulot mais par curiosité "geekienne" et pour appréhender d'une manière plus terre à terre le concept de big data, je me demande s'il n'y a (…)
ConFoo est l'une des conférences orientées développeur les plus importantes. Elle est multi-technologique (principalement vers les technologies du web) et sans but lucratif. ConFoo 2013 se tiendra du 25 février au 1 mars 2013 à Montréal au Canada.
L'équipe organisatrice vient d'ouvrir l'appel aux conférenciers. Les candidats peuvent soumettre des propositions jusqu'au 23 septembre. Consultez la page de l'appel aux conférenciers pour des détails et pour soumettre. Cette page explique aussi quelles dépenses ConFoo peut prendre en charge pour les conférenciers. Vous pouvez également trouver des conseils pour l'écriture de vos propositions. L'appel aux conférenciers est public, ce qui signifie que toutes les propositions sont publiées sur le site pour que les autres puissent voter et commenter. Cette approche permet aux organisateurs de choisir les sujets qui ont le plus d'intérêts dans la communauté. Les commentaires sont visibles seulement pour les conférenciers et organisateurs pour éviter d'influencer les votes.
Pour rester branché via Twitter, suivez @confooca et utilisez le tag #confoo.
Avec la montée en puissance du Big Data, le transport sécurisé de grands volumes de documents entre sites distants est une problématique récurrente des SI qui gèrent des quantités croissantes de ressources.
Waarp est né de la volonté d’une équipe de professionnels de créer et d’animer un outil communautaire à même d’assurer le transfert de fichiers dans des contextes sécurisés et performants.
Waarp est le nouveau nom du logiciel libre OpenR66 (licence GPL). Cet outil Open Source de monitoring de transfert de fichiers fut créé pour pallier les limites de performances de la passerelle propriétaire CFT, et supporter 10.000 transferts simultanés dans le cadre de la plate-forme d'échange de la DGFIP (Ministère des Finances à Bercy).
Ceci est un journal bookmark.
Documentaire "Big earth data" sur l'exploitations d'images sattelite pour le "monitoring" de la planète. A voir.
Du 8 au 10 juillet 2015 à Digne-les-Bains se tiendra la première édition {UDOS} Université d'été du développement de logiciel libre et open source.
Deux jours à destination des développeurs, ingénieurs, geeks et autres hackers pour partager et rencontrer des experts, dans une atmosphère conviviale : des tutoriaux et des ateliers animés par des spécialistes pour apprendre et contribuer dans la douceur de l'été.
{UDOS} propose des tutoriaux et des ateliers pour aborder par la pratique le développement de logiciel libre avec un focus sur 3 thèmes :
En marge des sessions techniques, {UDOS} organise une rencontre avec les acteurs publics du territoire, le 8 juillet 2015 à partir de 16h, dans l'amphithéâtre de l'IUT de Digne-les-Bains.