Avec la montée en puissance du Big Data, le transport sécurisé de grands volumes de documents entre sites distants est une problématique récurrente des SI qui gèrent des quantités croissantes de ressources.

Waarp est né de la volonté d’une équipe de professionnels de créer et d’animer un outil communautaire à même d’assurer le transfert de fichiers dans des contextes sécurisés et performants.

Waarp est le nouveau nom du logiciel libre OpenR66 (licence GPL). Cet outil Open Source de monitoring de transfert de fichiers fut créé pour pallier les limites de performances de la passerelle propriétaire CFT, et supporter 10.000 transferts simultanés dans le cadre de la plate-forme d'échange de la DGFIP (Ministère des Finances à Bercy).

Cela aura échappé à peu d’entre vous, le livre surveillance:// de Tristan Nitot est disponible dans les bonnes librairies francophones et en ligne depuis début octobre. Infatigable évangéliste du libre, du Web ouvert, des standards et maintenant de la vie privée, Tristan est loin de se laisser abattre par la fatalité des mécanismes d’absorption massive et d’analyse poussée de nos données par les plus grandes entreprises. Il prend le taureau par les cornes et a sorti, toutes proportions gardées, une petite bible sur la surveillance numérique et ses impacts.

Sur le fond, il n’apprendra que peu de choses aux libristes et à un public majoritairement sensibilisé comme ici. Cependant, il y a là un énorme travail que peu d’entre nous auraient été en mesure de faire. surveillance:// est pédagogique, clair, synthétique (≃150 pages), objectif et sourcé. Le livre est découpé en quatre grandes parties :

• Pourquoi la surveillance, c’est le mal.
• Concrètement, ça se passe comment cette surveillance ?
• Bon, comment fait‐on pour échapper à cette surveillance ?
• Concrètement que faut‐il faire, utiliser ?

Certes, on pourra lui trouver des défauts et discuter certains choix. Voyez‐le plutôt comme un livre qui vous donnera des armes pour les repas de famille sur le sujet. Ou encore un livre à offrir pour prouver que vous n’êtes pas paranoïaque (rappelons‐le, la paranoïa est une sorte de peur de quelque chose qui n’existe pas, alors que la surveillance massive existe).

Et comme Tristan est un gars ultra sympa, comme nous d’ailleurs, il a répondu à quelques‐unes de nos questions. Et on vous offre aussi (enfin, plutôt Tristan), dix exemplaires du bouquin aux meilleurs commentaires de cette dépêche, basés, entre autres, selon le jugement des personnes qui notent (contrairement aux journaux ou dépêches, l’affichage des notes est borné [−10 ; +10] pour les commentaires).

L’entretien et les modalités pour gagner un bouquin dans la suite de la dépêche ! Et, pour les Franciliens qui ne veulent pas attendre et souhaitent leur exemplaire dédicacé, Tristan sera vendredi 28 octobre à 19 h dans la plus libriste des librairies parisiennes, chez À Livr’Ouvert au 171 B boulevard Voltaire, Paris 11^e. Dites bonjour à @Bookynette de notre part.

À l'occasion de la sortie de la version 0.13, je vous présente cette bibliothèque basée sur Python qui permet de travailler simplement et efficacement avec des données structurées. Jusqu'à présent, les versions se sont enchaînées rapidement mais celle-ci arrive plusieurs mois après la précédente. On peut donc espérer qu'un code développé pour cette nouvelle version demandera moins de maintenance.

Les principales possibilités sont :

• récupérer des données depuis des fichiers CSV, tableaux Excel, des pages web, HDF5, etc. ;
• grouper, découper, alléger, déplacer, écrire les données ;
• ces données peuvent être à une ou deux dimensions, avec des manques, ou encore temporelles avec ou sans périodicité.

Pour peu que les données soient correctement formatées, pandas peut s'en sortir même dans le cas où la quantité dépasse les capacités de votre machine en traitant les sources morceaux par morceaux.

Le développement de cette bibliothèque s'inscrit dans la problématique de disposer d'outils pour manipuler de gros volumes de données dans le but de leur exploitation scientifique ou commerciale.

Note : pandas fonctionne avec la même base de code sur Python 2 et 3 mais ce n'est, peut-être, pas le cas de toutes les dépendances.

Un peu comme pour la dernière news, nous avons oublié de parler de la version 4.4, mais nous sommes heureux de vous annoncer la mise à disposition de Datafari 5.0

Changement majeur donc, synonyme de mise à jour majeure des composants utilisés.

Pour rappel, Datafari est une solution de recherche pour entreprise. Ça veut dire qu’elle permet aux employés de retrouver les données où qu’elles soient, quelles qu’elles soient. Plus concrètement, il s’agit de récupérer et d’indexer les données et documents depuis de nombreuses sources différentes et plusieurs formats de fichiers, et de permettre de chercher aussi bien l’intérieur des documents que leurs métadonnées. Linuxfr oblige, le focus dans cette dépêche sera sur la version libre (mais on a plein d’autres nouveautés aussi sur la version entreprise propriétaire)

Nous sommes heureux de vous annoncer la mise à disposition de Datafari 5.3. Pas mal de changements depuis la version 5.0 sur laquelle nous avions communiqué, on en fait la liste un peu plus bas.

Pour rappel, Datafari est une solution de recherche pour entreprise, sous licence Apache v2. Où que les connaissances se trouvent et sous quelque format que ce soit, elle permet aux employés de retrouver les données utiles. Plus concrètement, il s’agit de récupérer et d’indexer les données et documents depuis de nombreuses sources différentes et plusieurs formats de fichiers, et de permettre de chercher aussi bien l’intérieur des documents que leurs métadonnées. On parle également de fédération des connaissances et des savoirs au sein d’une organisation. Pour cette dépêche, on se concentre sur la version libre et open source (mais il y a aussi d’autres nouveautés sur la version entreprise propriétaire).

La version 5 d'OpenMOLE - surnommé Loving Lobster (homard aimant) - vient d'être publiée. Pour mémoire OpenMOLE est un logiciel permettant de distribuer des explorations d'espaces de paramètres, de listes de fichiers, d'algorithme d'optimisation, d'analyse de sensibilité… sur des environnements de calcul type serveurs multi-processeurs, fermes et grilles de calcul. Il permet d’intégrer facilement votre code exécutable quelque soit le langage (C++, R, Python, Java, NetLogo…) et déporte son exécution de manière entièrement transparente, sans aucune installation préalable du coté de l'environnement d'exécution. Il permet de concevoir des workflows de calcul à très grande échelle générant des millions de jobs et des centaines de Go de données.

Voir les changements depuis la version 4 en seconde partie de dépêche.

Nous donnons régulièrement des formations ouvertes au public d'OpenMOLE à l'Institut des Systèmes Complexes à Paris. La prochaine aura lieu courant octobre, elle sera annoncée très prochainement.

ConFoo est l'une des conférences orientées développeur les plus importantes. Elle est multi-technologique (principalement vers les technologies du web) et sans but lucratif. ConFoo 2013 se tiendra du 25 février au 1 mars 2013 à Montréal au Canada.

L'équipe organisatrice vient d'ouvrir l'appel aux conférenciers. Les candidats peuvent soumettre des propositions jusqu'au 23 septembre. Consultez la page de l'appel aux conférenciers pour des détails et pour soumettre. Cette page explique aussi quelles dépenses ConFoo peut prendre en charge pour les conférenciers. Vous pouvez également trouver des conseils pour l'écriture de vos propositions. L'appel aux conférenciers est public, ce qui signifie que toutes les propositions sont publiées sur le site pour que les autres puissent voter et commenter. Cette approche permet aux organisateurs de choisir les sujets qui ont le plus d'intérêts dans la communauté. Les commentaires sont visibles seulement pour les conférenciers et organisateurs pour éviter d'influencer les votes.

Pour rester branché via Twitter, suivez @confooca et utilisez le tag #confoo.