fsx999 a écrit 30 commentaires

Disons que c'est l'idée même que les utilisateurs se co directement à la bdd qui me dérange.

C'est pour ça qu'on est parti sur trouver une solution qui permettrait de mettre à dispo les données mais avec un bon contrôle applicatif :
- Des webservices odata : de l'https, la bdd reste enfermé dans le cluster k8s, les networks policies sont facile à conserver, controle des utilisateurs, le firewall / haproxy / outil de ban continue de fonctionner tranquillment. Au niveau des webservices, on peut implementer les controles qu'on veut. Défaut : beaucoup de dev

• Une copie externe de la bdd dans sa propre vm : à partir d'une sauvegarde on restaure une bdd automatiquement dans la vm. On peut séparer la partie powerbi et cette vm du réseau sans changer quoique ce soit. Avantage: très facile à faire, pas trop de dev. Désavantage: les utilisateurs ont accès à tous, dont les données perso, il faudrait faire des users avec des droits particuliers sur les colonnes (je ne sais pas si c'est possible) etc. De plus consommation de place et de ressources

• Une extractions quotidienne des données : on extrait les données voulues sous format csv, dépot sur un partage, les users en font ce qu'ils veulent. On controle ce qu'on envoie, on peut filtrer, structurer les données, ne pas envoyer de donnée perso ou sensible etc. C'est du dev (facile), de l'espace disque (en extraction différentielle ça ne devrait pas prendre trop de place, mais des que les utilisateurs ont des besoins il faut redev, et lorsqu'il y a des changements de structure dans la bdd c'est un programme en plus à mettre à jour

Pour l'instant on cherche encore des solutions alternatives (mais on est pour l'instant partie soit sur du csv soit de l'odata)

Merci pour ton aide

Surtout que l'AMUE est une GIP, payée par les subventions et les cotisations des universités (dont les fonds proviennent de l'état).
Avec Apogée qui forçait l'utilisation d'oracle, d'une lourdeur incroyable, qui avait couté une fortune a faire, basé sur un mainframe d'ibm, fait par des prestataires qui disparaissaient les uns après les autres (et bien sur extrêmement dur de trouver un remplacant), on a l'exemple même de comment un logiciel fermé à couter une fortune, plomber le fonctionnement des facs pendant plus de dix ans.
Et je ne connais pas un seul truc pondu par l'AMUE qui était bien (j'ai quitté la fonction publique avant l'arrivé de Pegase)

merci je regarde tout ça

Merci pour cette piste, je ne connaissais pas du tout. on dirait un genre de graphql.

Si j'ai bien compris la doc, il faudrait que j'implémente pour chaque table (ou view) un webservice.

C'est assez considérable comme travail.

Je vois qu'il existe des outils sur la page https://www.odata.org/ecosystem/ et j'ai regardé du coté de api server. Mais ajouter en plus une solution (qui je suppose va couter un bras) proprio, qui n'a pas l'air k8s ready, ne m'emballe pas du tout.

Du coup si je résume : soit je développe des extractions de données (csv ou autres) soit je développe des webservices en fonction des besoins, soit j'installe un gros machin.

Est ce que tu aurais des retours sur une solution libre pour faire des endpoints web avec le minimum de dev et sinon est ce que c'était complexe à mettre en place la partie apache olingo (nous n'avons pas de dev java, que des dev python / rust)

En te remerciant par avance

l'idée de l'api rest est vraiment top. Dommage que je ne puisse pas venir cette année à Pyconfr

je croyais qu'on disait une sage-femme pour une femme, et un sage-femme pour un homme. Est ce moi qui fait une faute, ou bien c'est bien le cas ?

Non c'est pas du tout mort.

Je ne comprends pas trop pourquoi les gens partent sur tous ces microframeworks, vu que deux minutes plus tard tu as dix extentions / plugins / ou partie développer pour mettre authentification / sécu etc.

Tu prends django + django-restframework (fait par Tom Christie) et hop tu as la même chose.

Je pense surtout que beaucoup de personnes ne voient pas qu'on peut très facilement retirer des modules de django (enfin ne pas les charger). Un petit ajoute dans le settings, et tu retirent le moteur de template, les middlwares non voulus etc.

Après encore, faut pas hésiter de sortir du cadre de l'orm etc. Je vois beaucoup trop de dev vouloir absolument faire fonctionner un truc non prévu par le framework en utilisant le framework.

Django va sortir l'agsi pour sa prochaine version (mais pas encore l'orm en async) se qui va peut être le rendre un peu plus hype.

Je crois aussi que beaucoup de personnes préfèrent avoir un "outil modulaire qui n'impose rien" pour faire croire ou se persuader qu'ils ont "choisi" une voie particulière pour un projet "particulier".

On prend l'exemple de node et nestjs (pareil pour flask) :

• Je peux choisir ce que je veux, de base c'est super light
• Je suis libre de choisir exactement ce que je veux mettre.

Au final un service rest ordinaire avec : une authentification / une gestion de permission / de filtre / des requetes sur des bases de donnée etc.

La différence : 50 modules installés (issue de la communauté, maintenu ou pas par un mec dans son coin), une conf maison, des "choix maison" sur des problématiques tellement courants (comme la gestion de la session) et l'oubli de fonctionnalité de sécu. Mais ça fait plaisir aux devs / chefs de projet.

J'entends aussi (concernant le choix nodejs) c'est le même langage que le front : c'est faux !!!

Tu prend du nestjs et de l'angular : oui c'est en typescript (c'est les mêmes boucles for, la même façon de faire des class ok) mais ça s'arrete là.
- Le backend c'est une api node pour l'accès disque, l'accès à la base de donnée, peut-être un orm (typeorm), de la sérialisation etc, via l'api de node.
- Le frontend : Du HTML, du css, un moteur de template, une api pour manipuler le dom, la gestion des évents utilisateurs, les animations etc.

Bref, un argument pour justifier de coller deux métiers complement différents (oui une personne peut avoir la double compétence, mais c'est bien une double) à un junior qui a être propulsé dev full stack.

Petit scénario :
- On a une supper idée : on va prendre un dev, mais on n'a pas de sous donc ça va être stage / alternance / junior (en fonction du budget)
- Il faut une techno en back et en front rapide à apprendre : ok pour du js, on fait une pierre deux coups
- en back faut pas un truc compliqué, le mec doit codé la solution en deux jours, donc on choisi un truc avec rien dedans, une doc qui se lit en une heure et puis si nécessaire on ajoutera des trucs petits à petit
- en front on va prendre du react, c'est pareil de base il n'y a rien, il pourra démarrer le projet tout de suite.

Attention, je ne dis pas que c'est des mauvais choix, je dis que c'est souvent à partir de mauvaises raisons que ces choix sont fait.

Non, juste une vm avec 8 giga de ram, un proc ordinaire.

Pour info, des qu'une partie de ton code est problématique en python tu peux utiliser du c / rust pour l'implémenter en python. Tu peux aussi directement appelé des fonctions systèmes du noyau linux par exemple.

Ici https://pyftpdlib.readthedocs.io/en/latest/benchmarks.html tu as une comparaison des perfs.

La totalité de ce que j'ai énoncé plus haut est extrêmement léger.
Le premier projet est héberger depuis 2011 sur un server de 8 giga de ram avec un proc deux coeur (soit 4 threads), base de donnée comprise, et à même eu une transition docker en 2016.

De mon expérience, j'ai vu une multitude de programme en java tous plus lourds les uns que les autres, remplis de fuite de mémoire (si ce n'est pas parce qu'il y a un grabage collector qu'il ne peut pas avoir des fuites, tout comme python ou javascript). Je ne parle pas des programmes en c/c++ encore pire que tout, codé avec ses pieds.

Je me souvient de l'époque de transition entre apache/modwsgi => nginx en reverse proxy + gunicorn (un serveur python écrit en python) : sur la machine de 8 giga j'ai gagné 4 giga de fuite mémoire qui se produisait (la raison de la migration).

Bref, non et non, on peut faire du python performant, non gourmand en ram ou proc, et quand c'est nécessaire faire appel à des libs utilisants une implémentation compilée (numpy par exemple) ou les écrire (c'est hyper facile en rust)

Je fais du python en environnement professionnel depuis 2010 et je ne fais que ça en backend (pour les fronts je suis passé par les moteurs de template mvc puis de l'angularjs puis angular).

Durant cette période j'ai participé à trois gros projets, le premier en python 2, les deux autres en python3, chacun ayant dépassé les 300 000 lignes de codes pour un nombre d'utilisateurs d'environ 20 000 personnes.

Pourquoi avoir choisi Python à l'époque :
- Un code lisible
- Une technologie facile à apprendre
donc en tant que responsable d'équipe, une facilité à intégrer des personnes dans le projet, et pour un projet de plusieurs années c'est une chose super importante.

• un langage utilisé pour le dév backend web
• un langage utilisé par les datascientists
• un langage utiliser par les devops/sysadmin

Encore une fois pour un groupe c'est important, ça permet plus facilement de permettre à des personnes de monter en compétence (des datascientists voulant faire du back par exemple).

Bref dans une entreprise, ce genre de technologie (et à ma connaissance c'est la seule, nodejs ne fait pas encore de datascience (et encore avec tensorflowsj)) est un avantage certain pour le management d'une équipe et d'un projet.

Le manque de typage n'a jamais été un problème comme j'ai pu le ressentir avec le js (l'arrivée d'angular/typescript a tellement changé la donne) même si j'avoue que des fois j'aurais bien aimé que le typing soit arrivé un peu plus tot.

Aujourd'hui je travaille dans une société gérant des métriques, nous avons des milliers de connexions par seconde, et le serveur ftp écrit en python, ainsi que l'ensemble de prétraitement géré par celery (on parle de plusieurs millions d'écriture par jours) ne posent aucun problème de performance.

La suite Jetbrain.
C'est toujours à peu près les mêmes raccourcis, et le même fonctionnement.
Une multitude de plugins qui font le café, bref que du bonheur.
Mais c'est pas libre, et c'est pas gratuit.

Est ce qu'on peut comparer ça à un portail e-sup couplé à des applications styles nexeo (pour la ged), moteur de blog etc ?

Non le contrat était fini et il n'y a pas eu suite. Et oui les recours en cas de soucis de marché sont d'une complexité bien trop importante pour qu'un service puisse le faire.

Lors du test, j'avais sur ma machine que libreoffice, un fichier excel créé par mon application, qui est une extraction de base de donnée.
Fichier des 125 lignes avec une 15 de colonnes, aucun calcul dessus, mais des colonnes avec des cases contenant pas mal de texte.

Ma machine : un mac retina pro du taf, 16 giga de ram, un ssd, bref normalement ça devrait tenir la route.

La navigation était d'une lenteur incroyable.
J'ai testé sur un des postes utilisateurs, un dell à 400 euros, windows 7, antivirus, office 2016. le fichier s'ouvre normalement (c'est vraiment un petit fichier)
J'ai installé office 2016 sur mon mac (la version légale mis à jour), et l'ouverture du fichier est nickel.

Concernant la génération du fichier, j'utilise https://openpyxl.readthedocs.io/en/default/, donc une librairie python. La seule chose qui change par rapport à d'habitude (c'est pas la première extraction que je fais), c'est qu'il y a pas mal de texte dans le fichier.

Mais encore une fois c'est juste un fichier classique, il ne devrait y avoir aucun problème

Chez nous, le marché public universitaire nous a fourni des imprimantes photocopieurs réseaux Tochiba 100% compatibles linux après la multitude de papier que j'ai rempli, avec la totalité des cases et commentaires remplis : service 100% linux.
Résultat livraison de 7 beaux photocopieurs ultraperformants, qui font le café, livrent les pizzas du midi, le tout accompagné d'un beau CD de driver pour Windows.
Après avoir fouiller leur site, essayer des dizaines de drivers, et que le support faisait parti du marché, j'ai appelé le service de Toshiba, service commercial qui m'a répondu que si si leur imprimante était compatible Linux vu que c'était sur la brochure (la brochure ne ment jamais). Visiblement vu que je suis un gros nul, j'avais l'immense privilège de pouvoir avoir l'assistance d'un des informaticiens du support (il n'y a pas à dire j'ai trop de chance).

Personne fort sympathique, qui me dit que si si elle a déjà tester une fois un driver dans une virtualbox sous un linux et que tout avait marché. Ou est il ce petit driver tant désiré lui répondis je. Mais c'est très facile à trouver me répond il :
On télécharge le driver winows (un exe) d'un autre modèle (j'ai plus des détails des numéros), ensuite on décompresse le exe, puis un coup de cabextract, et dans les répertoires, se trouve le petit coquin, le fameux PPD.
Tellement content de l'avoir, je n'hurle pas, je reste poli, et je me lance dans l'installation de mes photocopieurs/scanners/imprimante/cafetières.
Et là miracle toutes les options fonctionnent. Youpi !!!! On débouche le champagne.
Ah il y a juste un petit truc qui ne fonctionne pas, mais vraiment juste un petit détail : les caractères accentués sont remplacés par des carrés.

Je sais bien que là c'est le constructeur qui est responsable. Mais lorsqu'on est une administration, on n'a pas le choix des fournisseurs, et en plus ça change. Du coup c'est forcément un cout à prendre en compte.

Merci pour les explications, super intéressante.

Comme je n'ai pas la moindre idée de comment les clients légers sous windows fonctionnent, je ne peux pas répondre.
Par contre niveau usage c'est pareil. Les usagers se connectent via leur identifiant sur n'importe quel client léger, et ils ont leur bureau.

Du coup :
- Usage nomade.
- Sauvegarde centralisée.
- L'utilisateur n'est pas admin, il s'occupe de rien.
- Aucune dépendance au matériel, un poste crame, on le remplace aussitôt, l'usager le démarre et c'est reparti.

Du coup, niveau fonctionnalité c'est pareil.

GlusterFS
Je ne sais pas pour les gros fichiers, vu que c'était les homes des utilisateurs qui étaient sous gluster, mais du coup oui avec les petits fichiers bien c'est pas bien terribles. Niveau perf, ça allait, c'était surtout la désynchro sur les petits fichiers avec beaucoup d'écriture (typiquement les fichiers de firefox ou thunderbird)

Windows :

Oui, c'est un windows server avec un active directory qui gère tout ça (un montage d'un disque réseau pour les documents).
Après pour les détails techniques, je m'en occupe pas du tout, je constate juste que les usagers sont contents xD (pourtant au début ils ont rallé de passer de linux à windows)

Nous aussi on a des labos qui tournent avec des postes sous linux et c'est nickel. Le département d'info est aussi entièrement sous linux, avec plusieurs salles de client légers pour les étudiants qui fonctionnent bien.

Mais dans les deux cas c'est un public assez spécifique, avec des besoins différents. Dans les labos, la plupart des chercheurs (même les non informaticiens) rédigent leurs articles sous latex par exemple. Ce type de population même si plus exigeante en terme de service est beaucoup plus tolérante au petit problème et possède aussi une bonne capacité d'autoformation ou d'apprentissage rapide.

Ce n'est pas du tout la même chose quand tu t'adresse à un public administratif, public qui éteint son écran pour redémarrer son ordinateur, et qui appelle la maintenance lorsque la souris s'est débranchée.

Cette population n'a pas ou peu de capacité d'autoformation (je parle juste d'ensemble d'un point de vue stratégique). Lors d'une mise en poste, une personne doit partir en formation Bureautique, Web etc.

Un des autres soucis qu'on avait rencontré c'est l'absence de formation à l'utilisation des outils de bureautique sous linux. Je sais bien qu'on va me dire que c'est pareil, que si on sait utiliser Word on sait utiliser Writer. Mais quand on touche comme munich plusieurs milliers de personnes, c'est vraiment quelque chose de couteux, pas forcément en argent, mais en temps et perception de l'environnement de travail pour le personnel

Je sais que la première version mise en place par le prestataire était du X11 distant par ssh. C'était d'une lenteur horrible. Ensuite je ne sais plus ce qu'il a choisi comme solution à l'époque. A la fin, niveau perf ça allait, on avait juste un problème de synchro avec les glusterfs ( les autres admins que j'ai croisé m'ont dit que ce n'était pas du tout une bonne idée d'utiliser du glusterfs en prod , mais j'ai lu tout et le contraire sur ce sujet, toujours en fonction de la stack). Avant le retour en arrière on a eu même une perte de 22 giga de données utilisateurs.

C'est vrai que la solution d'une distribution avec support entreprise n'avait pas été envisagée (soucis de marché public). J'aurais bien aimé avoir des retours là dessus.

On a testé aussi avec Ubuntu. Le soucis c'est pourquoi devoir mettre à jour son OS pour installer une nouvelle version d'un logiciel X ?
On commence à voir des solutions de packaging (genre les snaps app) qui voient le jour, mais il a fallu combien de temps ?

J'ai posté en croyant enregistrer (c'est mon premier journal en 6 ans).

En détail niveau matos (je préviens j'y suis pour rien dans les choix):

Un serveur 2 U acheté 18000 euros (une idée http://www.dell.com/fr-fr/work/shop/povw/poweredge-r830, c'est pas lui), 4 serveurs à l'intérieur (achat en 2014 il me semble), 256 giga de ram par serveurs et le reste qui va avec, de quoi faire un gros calculateur (les labos étaient moins bien équipés).
Deux serveurs de 12 tera chacun pour les datas.

Niveau infra pour 25 administratifs : un serveur en pxe + un ldap + en montage glusterfs pour les deux serveurs de data.
Pour les étudiants : un serveur en pxe avec dessus : firefox, libreoffice et rien d'autre.

Niveau activité : les étudiants (ayant leur propre réseau) font juste des regroupements (c'est des salles de prêt) et consultent les documents en ligne mis par le prof (power point, pdf, word, video youtube). Bref usage basique de chez basique.

Les administratifs : 7 heures de boulot par jour : word, excel, logiciel universitaire de gestion sous java + les outils web maisons. Toujours rien de bien extraordinaire.

Il n'y a aucun doute que des tours auraient mieux fonctionné (c'est ce que je proposais à l'époque avec un montage réseau du home). Mais ce qui est choquant pour moi c'est que les clients légers sous windows avec un serveur beaucoup moins puissant avec beaucoup d'utilisateurs (plus de 100 en simultané) fonctionnent parfaitement (exactement les mêmes modèles).

Au niveau du choix, rien que pour avoir un système répliqué de data il y a beaucoup de choix. Et pour le pxe il y a aussi plusieurs manières. Rien que pour le glusterfs on peut choisir plusieurs modes. Le resultat c'est une impressionnante combinaison de d'outil qui n'ont pas forcément été testés pour chaque cas.

Et lors d'un problème dans cet environnement trouver de la doc ou bien de l'aide c'est compliqué : par exemple, on avait un bug avec les marques pages de firefox qui s'effaçaient de temps en temps. Après un an de recherche, au final c'était un bug lié à l'usage de sqlite de firefox sur un montage nfs avec un client glusterfs. Après coup, on nous a dit que c'était pas comme ça qu'il fallait faire. Mais comment ?

Mais le soucis venaient bien des problèmes utilisateurs. Les 25 personnes étaient habitués à linux. Mais réellement, à l'usage, il y avait des problèmes principalement lié à Libreoffice (mais je ne vois pas d'administration se passer des usages liés à la bureautique).

Et non pour répondre au commentaire plus haut, ce n'est pas la meilleur façon de faire que d'exploiter un fichier de donnée avec excel, mais des outils d'extraction de donnée (dont des fichiers avec beaucoup de texte) pour que l'usager le traite de la façon qui n'est pas prévu par le logiciel (pour de multiples raisons) sont monnaie courante.

Le monde Windows est beaucoup plus standardisé, et du coup il n'y a pas beaucoup de combinaison possible pour un choix donné.

Evidement, je trouve ça dommage, mais quand je vois le monde desktop de linux, je vois énormément de choix, mais rarement des solutions finies.

Je prend les exemples serveurs :

Virtualisation : proxmod : simple, efficace jamais eu de problème, doc correcte.
Parfeu/dns/vpn : pfsense : idem
nginx : idem
docker : idem
postgresl: idem
(je ne cite que ce que j'utilise tous les jours)

Desktop :
Libreoffice : ça bug de partout (c'est pas plus clair mais le peu de fois que je l'ai utilisé et dieu sait que c'est pas pour faire des trucs extraordinaires, ça a toujours foiré)
les bureaux : il y en a t il un seul qui gère correctement un portable avec deux écrans qui mémorisent les emplacements des écrans et qui ne se dérèglent pas lors de changement de bureau temporaire ?

Les mises à jours : avec un windows on a la possibilité de mettre à jour les logiciels quotidiens sans mettre à jour son OS. Comment dans une entreprise on peut se permettre de bloquer les versions des logiciels à usage quotidien pendant 3 ans ?

Et je ne parle pas de l'absence de formation/support pro.

Je sais bien que d'après mes messages on dirait que je crache sur mon OS favori, mais ce n'est qu'un retour d'user un peu désabusé. J'ai un mac car j'en ai eu assez des soucis avec mes portables et j'ai trouvé mon confort au prix de ma liberté. J'ai conservé mes tours sous linux qui tournent à merveille, mais je ne suis pas un utilisateur ordinaire, je ne fais pas ou peu de bureautique, je ne joue pas avec mes ordinateurs.

Pour moi tant qu'il n'y aura pas le même investissement dans les outils basiques que dans les outils à usage pro serveurs, linux ne décollera pas des masses, et non aujourd'hui mon retour me montre que ce n'est vraiment pas prêt pour un usage administratif.

Je tiens à préciser que je n'ai pas évoqué le cout : ce n'est pas un paramètre qui rentrait en compte. Mon ancien directeur voulait du libre, croyant qu'on pouvait le faire. Il a mis des moyens démesurés dans le système. Il n'y a pas eu de commercial windows, de rapport X ou Y nous montrant qu'avec WIndows ça serait mieux.

Niveau coup : Linux : gratos niveau licence, à nécessiter la mobilisation de 3 informaticiens à quart temps pendant 6 ans avec des centaines d'heures de perdues à cause des pannes.
Windows : 3 jours de mise en place, 1 heure de dépannage par semaine en tout, aucune panne en 8 mois de mise en place, un administrateur pour toute l'université (du coup 3 développeurs en plus dans les équipes).
Je ne pense pas que les licences windows + office pour 25 postes vaillent plus que tout ça.

Pour ma part ce qui me derange le plus dans tout ça c'est les changements d'orientation. Pendant près de 4 ans j'ai fait migrer des personnes petit à petit vers linux (tout le monde sous ubuntu). Bref passage à unity et ce petit monde a eclaté. Comment quelqu'un qui a passé 2-3 ans à utiliser la même interface (qui était une copie de celle de windows utilisé aussi pendant pas loin de 10 ans pour certain) va réagir quand après avoir fait une mise à jour, se retrouve devant unity. On m'a répondu : ça marchait donc pas de mise à jour. Ben il y a des logiciels qui évoluent tout le temps comme libreoffice, firefox,pidgin et qui demande d'être mis à jour régulièrement (et je parle de changement de version majeure). Bref la solution : ceux qui ont voulu rester je les ai mis sous mint ubuntu avec leur port de gnome2. Ils y a des trucs de pas stables (gestion des clés ssh par exemple) mais c'est pas des truc que madame michu utilise. Pour les autres, ils sont repassé à windows (7) avec les virus. Mais surtout je ne recommande plus linux. C'est bien dommage

Est ce qu'il fait du bruit, c'est à dire est qu'on peut le mettre dans son entrée sans problème ?

Moi j'utilise gnome + awesome : ça fonctionne avec gnome2, gnome3 et kde4. Tu as tout du bureau, et tu remplaces juste le gestionnaire de fenêtre.
http://awesome.naquadah.org/wiki/Quickly_Setting_up_Awesome_with_Gnome

du coup, tu as tout les avantagesn (enfin c'est mon avis). Je sais qu'on peut aussi faire la même chose avec presque tous les autres.

je suis chiant : j'ai besoin de passer une application d'un écran à l'autre. et si on active le mode xinerama, on revient comme en twinview