La programmation en flux, c'est facile avec PyF 2.0

PyF est un framework Python bâti autour du concept de programmation en flux permettant d'écrire des applications de traitement, analyse et modification de données de façon très légère et pouvant gérer de très gros volumes simplement. PyF est un logiciel libre et gratuit sous licence MIT.

La version 2.0 vient de sortir et propose en particulier la conception visuelle de traitement de données et la gestion des architectures multiprocesseurs sans réécriture ou changements particuliers au code. À la place de traiter « une certaine quantité de données » tout à la fois, on traite un flux de données de façon à n'avoir qu'un seul objet en mémoire qui passe à travers toutes les étapes du graphe, puis on passe à la suivante. Par exemple, traiter toute votre énorme base de clients et générer des rapports ne va pas mettre votre serveur à genoux, mais au contraire paraîtra une tâche tout à fait anodine.

Pour arriver à la programmation en flux, PyF utilise les générateurs Python (sans avoir besoin d'extensions de python comme stackless pour ceux qui connaissent) :
Chaque étape de la chaine de traitement prend un générateur en entrée et renvoie les items dès qu'il les a traités (ou un objet tous les n items, ou en rendant simplement la main pour envoyer un rapport d'aggregat à la fin sans troubler les autres branches). PyF peut même gérer un flux de données ininterrompu, en continuant à traiter les données dès qu'elles arrivent, en les renvoyant dans la foulée.

Pour entrer dans les détails, PyF est composé de plusieurs couches:

• Dans les niveaux les plus bas, vous trouverez des fonctionnalités qui vous aideront à écrire des applications utilisant la programmation en flux
  
• Au niveau intermédiaire, vous pouvez lancer des processus dans votre application en utilisant tout l'écosystème de plugins (ou écrire les vôtres)
  
• Au plus haut niveau, vous trouverez en revanche une application web complète qui vous permettra de concevoir graphiquement vos chaînes de traitement (nous les appelons les tubes) en insérant et liant les composants de traitement par simple glisser-déposer. Nous proposons plusieurs composants génériques qui peuvent être utilisés pour faire toutes sortes d'extraction, traitements, sorties et rapports et vous pouvez créer les vôtres très simplement (ou les prototyper en codant directement dans l'interface graphique avec un IDE intégré). Il y a même un scheduler avec lequel vous pouvez planifier le lancement de tâches.

Il y a un tutoriel pour l'installation de PyF, et une série de tutoriels pour faire vos premiers pas. (en anglais pour l'instant, mais si vous voulez aider à la traduction vous êtes les bienvenus !)

Il y a également de la documentation qui devrait être plus que suffisante pour commencer, même si nous travaillons actuellement à la rendre plus complète.

À propos des changements dans la version 2.0, un des plus importants est l'ajout du multiprocessing: vous pouvez envoyer les composants de votre choix dans des processus séparés (pour utiliser tous les processeurs de votre machine) avec une simple case à cocher dans le designer.

Si vous avez une quelconque question, venez sur la mailing-list ou le salon IRC :

• http://groups.google.com/group/pyf-users
  
• #pyf sur Freenode

Oh et bien sûr n'oubliez pas de visiter le site internet et d'aller voir les captures d'écran du designer et de l'interface web.

Aller plus loin

• PyF, le projet (66 clics)
• Captures d'Écrans (80 clics)
• Documentation (18 clics)
• Mailing-list PyF (7 clics)