steph1978 a écrit 3791 commentaires

Idem : faire le ménage dans des vieux backups.

J'ai implémenté un petit outil à base de sha512 et lmdb, avec glu python et shell.
Ça a l'avantage d'être très économe en mémoire, contrairement à l'implémentation choisie pour FIM à base de collections Java.

Après mon outil n'était pas aussi riche fonctionnellement.

tu peux donner le lien ?
je duckduckgoé mais ça donne trop de résultats.

non, il fait la conversion de l'image,

Non, il fait du rendu SVG.

rsvg in.svg -o out.png fait le rendu d'un SVG en PNG.

Les outils qui récupèrent l'information soit sous forme d'image soit sous forme de texte sont très hétéroclites, écrits principalement en shell encapsulant des exécutables.

J'aimerai tant que faire ce peut rester sur ce modèle pour l’agrégation et l'affichage.

gerer l'affichage dans le framebuffer

Il est possible de faire cat rawpixels > /dev/fb0

Reste à faire l'agrégation.

Je pensais utiliser une template en SVG et utiliser rsvg pour le rendu.

Désolé, j'ai un peu fait l'impasse sur la présentation de l'outil.

Awk est un outil de traitement de données texte tabulaires ligne à ligne.

Il simplifie l'écriture de script de traitement en préparant le travail :
* lecture ligne à ligne : chaque ligne passe dans le script.
* pour chaque ligne, découpage en colonne selon le délimiteur choisi et peuplement dans les variables $1 .. $i .. $n.

Si tu es amené à faire souvent des traitements de données tabulaires, je t'invite à investir un peu de temps pour lire la documentation, très bien faite, et à pratiquer un peu. L'apprentissage est très rapide car il est facile de raisonner sur un script qui traite une ligne. Les cas courants se font très simplement, avec des scripts courts. Tu gagnera beaucoup de temps par la suite.

D'un point de vue technique, les traitement sont rapides, souvent limités par la vitesse d'I/O disque, sur des volumétries très importantes (plusieurs GB) avec une consommation de RAM très limitée.

si ce n'est pas en C++ ?

A peu près tous les langages permettent de créer des images.

Et il y a une myriade d'outils aussi, imagemagick par exemple.

Du coup, je ne vois pas ce que tu veux exprimer…

sshd doit tourner en root (sauf reconfiguration et grosses limitations).
un CGI qui lance un truc en root, je trouve pas ça top.

restrictions de ports chez mes clients

Tu pourrais faire utiliser le port 443, rarement filtré, pour faire tourner SSH.
Si tu as aussi un serveur HTTPS (sûrement puisque tu cherchais un CGI), tu peux tester sslh pour multiplexer HTTPS et SSH sur un même port.

Pour ma part j'utilise une VPN openvpn sur le 443 puis me connecte en mosh à ma machine au travers de la VPN.

Quitte à utiliser python, j'aurai utilisé son module csv qui gère correctement la présence de retour à la ligne dans les cellules ainsi que les doubles quotes qui font partie de la norme.

On suppose que le fichier est ouvrable par un tableur (msexcel ou lo.calc).
On suppose aussi qu'il n'y a pas de retour à la ligne dans les cellules.
Sinon, vois une solution à base de python qui gère bien les cellules sur plusieurs lignes et les double quotes avec son module csv.

Tu exportes en csv avec un séparateur qui n’apparaît jamais dans une cellule, genre ";" ou "|" ou "$" ou "£".

En awk, tu utilises un script du genre :
awk -F\| 'NF>1 { cellA=$1; print $1 FS $2 next } { print cellA FS $1 next } < in.csv > out.csv


Textes et images.

Je n'ai pas besoin de widget genre boutons, champs, etc.

En gros j'ai besoin de construire une image soit à partir d'un mixe de petites images et de textes (rendus sous forme d'image).

j'ai trouvé directfb qui semble correspondre. Mais j'ai regardé les exemples, en c++, et je pense que c'est pour développer des applications complètes et monolithique.

Un peu éloigné de mon besoin qui est d’agréger du contenu sur un écran…

42

Il a pas dit qu'il voulait apprendre Linux mais le "shell linux".

avec glusterfs

on parle du DFS ?
Je sais pas ce qu'il fait avec les disques locaux et si on peut appeler ça sur RAID0 (IMHO non) mais ça reste un cas bien particulier loin de la question d'origine.

le "swap" c'est toujours une partition à part,

Il est tout à fait possible de swapper sur un fichier dans le FS root.
Bien que je n'en vois pas l'avantage si ce n'est quand on a oublié de lui réserver de l'espace avant l'installation du système et qu'on a pas mis LVM. Bref, quand on a une sale vie :)

Pas exactement.

Le RAID0 est strippé ce qui permet d'augmenter les performances (écriture et lecture sur deux axes).

Le non strippé s'appelle du JBOD : tu remplis les disques au fur et à mesure (ou tu mets du RAID logiciel, ce qui revient à du RAID).

Ta remarque sur l'innovation est en partie fausse.
Il est tout à fait possible d'innover sur l'interface, l’ergonomie sans avoir à modifier le format de stockage.
Ms ne change pas son format à chaque version de la suite office et heureusement pour ses utilisateurs.
Si vraiment ils avaient voulu s'ouvrir, ils auraient tenté d'adopter le format opendocument quitte à y apporter des demandes de changements. Ils n'en ont rien fait.

J'y songe parce que je sais que ça marche bien.

Après, swapper sur du SSD, en soit, c'est pas mal.

Par contre, de mémoire, ça ne permet pas d'activer l'hibernation.

Justement j'attendais cette partie où tu te permettrais de critiquer les gens qui prennent la voiture, dommage :)

Pour le reste, je suis d'accord avec toi, on ne va pas bouder du code ouvert par une entreprise.

C'est un choix. Affirmer qu'il est volontairement « non totalement interopérable » est un procès d'intention.

Lorsque Ms a jugé que les attaques sur l'opacité de son format pré OOXML faisaient suffisamment de bruit pour nuire à la popularité de sa suite bureautique (en particulier auprès des organismes publiques enclins par leurs administrés à plus de transparence et de pérennité), ils ont répondu en faisant normaliser un format pour pouvoir répondre que leur format était ouvert. Ouvert, certes mais suffisamment pourvu en extension non documentées pour que les autres logiciels ne soient pas réellement interopérables. En gros la manip MSword -> Libreoffoce.writer -> MSword fait perdre de l'information de mise en page. Tu penses à une maladresse de leurs ingénieurs ? Non, ça s'appelle de la stratégie d'entreprise pour garder la main sur un marché lucratif (plus techniquement nommé : vaches à lait). Leurs actionnaires doivent se réjouir d'une telle habileté de la part des dirigeants.

En voiture, ne mets pas ta ceinture de sécurité : elle ne protège pas à 100% et te donne une fausse impression de sécurité…

Suivant vos commentaires, j'ai avancé vers un scénario reproductible.

Je lance uniquement plusieurs instance d'un programme python qui consomme beaucoup de ram et beaucoup de cpu.

Les ventillos se lancent à fond.

Avec le swap, le pc finit par figer : les ventillos s'éteignent, l'écran reste allumé sur la dernière image du bureau.

Sans le swap (sudo swapoff -a), le pc tourne, les ventillos toujours à fond. Des instances finissent par planter en outofmemory. Je peux en relancer autant que je veux.

J'en déduis que c'est bien le fait de swaper qui provoque le freeze. Est-ce parce qu'il est chiffré ? je n'ai pas encore les moyens de le vérifier.

Pour l'instant je n'ai pas d'option parfaite :

1. En l'état (swap chiffré) : il ne faut pas trop swapper pour éviter le freeze et donc vivre avec une épée de Damoclès. Comme je suis gros consommateurs de firefox, libreoffice, java, python, VM, ça n'est pas simple. Je ne sais pas comment diagnostiquer mieux.

2. Sans swap : à part que le pc ne plante pas, la menace est la même mais sur un processus quelconque. Je n'ai pas trop envie de perdre un travail en cours. Est-ce que l'on peut prioriser les processus à tuer (hors "le plus gros") ? Et puis, pas d'hibernation sans réactiver le swap.

3. Swap non chiffré : cela nécessite de modifier ma conf en retaillant les partitions. Et cela compromet la sécurité de mes données (le swap, surtout en hibernation, regorge de données intéressantes).

Je vais tester un peu avec le swapiness à 10 au lieu de 60. Je ne vois pas trop comment ça solutionnerait mon problème mais ça a au moins le mérite d'améliorer les perfs sur un pc avec beaucoup de ram, dixit certains articles.

Pour ma part en mint 18, l'hibernation fonctionne. Mais le rallumage est capricieux. Quelque fois, ça fige et je suis obligé de rebooter au bouton perdant ainsi ma session. Je préfère une mise en veille simple qui économise bien la batterie (mon pc peut passer la nuit ainsi) que l'hibernation. But YMMV.

Si tu suspectes une défaillance matérielle et que tu as des données critiques non sauvegardées sur ce disque, ne t'acharnes surtout pas à le monter.

Lance un testdisk ou un ddrescue dessus pour récupérer le maximum de données.

Si tu n'as pas/plus de données critiques non sauvegardées sur ce disque, tu peux marquer les secteurs défectueux avec e2fsck -c -c (qui utilise badblocks)