J'ai travaillé dans une banque Française sur des grids de plusieurs milliers de serveurs Unix (principalement Linux) et y ai développé un outils (Libre, sinon je n'en parlerais pas ici) de métrologie conçu à la initialement pour le HPC.
Il est basé sur Collectd pour la collecte des données et l'enrichie de plusieurs modules dont un module d'agrégation des données afin de présenter les performances par groupes de serveurs.
Perfwatcher s'est récemment doté d'un module permettant de stocker les données de performance des processus ce qui permet, sur un simple clic d'afficher l'équivalant d'un "top" comprenant l'ensemble des processus. Cliquez-droit sur un moment précis dans un graph et le "top" du moment en question apparaît.
Finalement j'installe Perfwatcher aussi bien sur des grids de milliers de serveurs que pour quelques unités.
Je proposerai bientôt une dépêche dédié à cet outil.
En fait j'utilise la suite Veritas Volume Manager, et il se contrefout des symlinks, il utilise les /dev/sdX .
Je ne suis pas fan du propriétaire, mais je reconnais qu'avec VM ils ont fait un bon boulot. Le vxfs est très performant. Vivement qu'ils continuent à le libérer comme ils l'ont en partie fait avec LVM.
- Redhat (po le choix), ES5, linux 2.6.18
Il n'y a pas de log car il n'y a pas lieu d'en avoir à mon avis.
Les machines sont des DL360G5 Bi-xeon 3Ghz avec des cartes Qlogic HBA 2xxx
Le problème n'est pas lié au matériel ni à la distribution et je ne pense pas non plus lié au noyau.
Sauf erreur de ma part le /dev est peuplé par udev qui au passage gère le plug&play/hotplug en permettant des lancement d'application à la découverte de nouveau matériel.
Mon soucis est que les nodes créés dans le /dev à la découverte d'un nouveau disque san par ex. ne sont pas supprimé à la suppression de ce matériel.
Ceci ne pose pas de problème fondamental (sauf à moi ...). J'ai épluché la doc de udev, mais je n'ai rien trouvé à propos d'un "cleanage" du /dev
Ujne solution que je n'aime pas serait de forcer udev à faire un rm du node à l'arrêt d'un périphérique ...
Ici j'ai dû demander une dérogation à mon N+42 pour installer une Debian pour mes besoins d'admin système ... Pour mon poste de travail on m'a expliqué qu'on avait pas les compétences en interne pour géré la sécurité sur ce type de poste de travail ....
Il y a essentiellement du Solaris ici (Finance ...), il y a juste une cinquantaine de RedHat ES3&5 que je n'arrive pas à remplacer par Debian pour des raisons de certifications ...
Je ne pense pas avoir rêvé ce logiciel, mais impossible de me remettre le nom, et aucune trace sur google ...
# La métrologie dans le HPC avec Perfwatcher
Posté par Cyril F (site web personnel) . En réponse au journal HPC Magazine : Le média de référence du HPC et du Big Data.. Évalué à 1.
J'ai travaillé dans une banque Française sur des grids de plusieurs milliers de serveurs Unix (principalement Linux) et y ai développé un outils (Libre, sinon je n'en parlerais pas ici) de métrologie conçu à la initialement pour le HPC.
Il est basé sur Collectd pour la collecte des données et l'enrichie de plusieurs modules dont un module d'agrégation des données afin de présenter les performances par groupes de serveurs.
Perfwatcher s'est récemment doté d'un module permettant de stocker les données de performance des processus ce qui permet, sur un simple clic d'afficher l'équivalant d'un "top" comprenant l'ensemble des processus. Cliquez-droit sur un moment précis dans un graph et le "top" du moment en question apparaît.
Finalement j'installe Perfwatcher aussi bien sur des grids de milliers de serveurs que pour quelques unités.
Je proposerai bientôt une dépêche dédié à cet outil.
http://la-rache.com
# Choix multiples
Posté par Cyril F (site web personnel) . En réponse au sondage Quel débugger utilisez vous ? . Évalué à 10.
GDB et Valgrind …
http://la-rache.com
# Buffer Overflow
Posté par Cyril F (site web personnel) . En réponse à la dépêche Dennis Ritchie, un père d’UNIX, nous a quittés. Évalué à 8.
Segmentation fault
http://la-rache.com
# Puppet
Posté par Cyril F (site web personnel) . En réponse au journal Instalaltion remote/automatic d'un parc de machines. Évalué à 3.
http://la-rache.com
[^] # Re: Comme sur son foutu Solaris.
Posté par Cyril F (site web personnel) . En réponse au message Date de lancement d'un processus. Évalué à 1.
http://la-rache.com
[^] # Re: lstart est ton ami
Posté par Cyril F (site web personnel) . En réponse au message Date de lancement d'un processus. Évalué à 2.
http://la-rache.com
[^] # Re: Comme sur son foutu Solaris.
Posté par Cyril F (site web personnel) . En réponse au message Date de lancement d'un processus. Évalué à 1.
Ici c'est la guerre entre Solaris et Linux (Windows est hors concours ...).
Je lutte au quotidien pour garder mes machines sous linux. Et encore je n'ai pas le choix de la distrib, c'est Redhat, car support etc ...
J'ai installé une Debian en cachette ...
http://la-rache.com
[^] # Re: lstart est ton ami
Posté par Cyril F (site web personnel) . En réponse au message Date de lancement d'un processus. Évalué à 3.
Autant pour moi, le man de ps de cette satanée RedHat n'en parle pas ...
Je viens de trouver ça sur le man bien plus complet de ma Debian ...
http://la-rache.com
[^] # Re: Correction
Posté par Cyril F (site web personnel) . En réponse au message /dev/disk. Évalué à 1.
Je ne suis pas fan du propriétaire, mais je reconnais qu'avec VM ils ont fait un bon boulot. Le vxfs est très performant. Vivement qu'ils continuent à le libérer comme ils l'ont en partie fait avec LVM.
Cyril
http://la-rache.com
[^] # Re: Correction
Posté par Cyril F (site web personnel) . En réponse au message /dev/disk. Évalué à 1.
Il n'y a pas de log car il n'y a pas lieu d'en avoir à mon avis.
Les machines sont des DL360G5 Bi-xeon 3Ghz avec des cartes Qlogic HBA 2xxx
Le problème n'est pas lié au matériel ni à la distribution et je ne pense pas non plus lié au noyau.
Sauf erreur de ma part le /dev est peuplé par udev qui au passage gère le plug&play/hotplug en permettant des lancement d'application à la découverte de nouveau matériel.
Mon soucis est que les nodes créés dans le /dev à la découverte d'un nouveau disque san par ex. ne sont pas supprimé à la suppression de ce matériel.
Ceci ne pose pas de problème fondamental (sauf à moi ...). J'ai épluché la doc de udev, mais je n'ai rien trouvé à propos d'un "cleanage" du /dev
Ujne solution que je n'aime pas serait de forcer udev à faire un rm du node à l'arrêt d'un périphérique ...
Voilà, en plus clair, ma première demande.
A votre bon cœur les amis.
http://la-rache.com
# Correction
Posté par Cyril F (site web personnel) . En réponse au message /dev/disk. Évalué à 0.
http://la-rache.com
[^] # Re: reiserfs ?
Posté par Cyril F (site web personnel) . En réponse à la dépêche Btrfs : Le système de fichiers du futur. Évalué à 4.
http://la-rache.com
[^] # Re: cat /proc/scsi/qla2x00/*
Posté par Cyril F (site web personnel) . En réponse au message Fibre channel et monitoring. Évalué à 1.
Sous Solaris il existe la commande luxadm qui, d'après un collègue, donnerait ce genre d'infos.
Je pense me rabattre vers les mib du switch ...
http://la-rache.com
[^] # Re: iostat
Posté par Cyril F (site web personnel) . En réponse au message Fibre channel et monitoring. Évalué à 1.
[troll]Ca ne me fera pas passer à aix[/troll]
http://la-rache.com
[^] # Re: Y'a aussi...
Posté par Cyril F (site web personnel) . En réponse au message CPU usage per user .... Évalué à 1.
Mais dans l'idée c'est ce genre d'affichage que je recherche ...
http://la-rache.com
[^] # Re: top
Posté par Cyril F (site web personnel) . En réponse au message CPU usage per user .... Évalué à 1.
En fait je suis à la recherche des informations de consomation cpu et mémoire agrégée par utilisateur.
ex:
user cpu mem
root 25% 200M
www 15% 80M
etc ...
Et non la liste de leurs process.
Le script de castorpilot le fait :
ps -eo user,pcpu,pmem | tail -n +2 | awk '{num[$1]++; cpu[$1] += $2; mem[$1] += $3} END{printf("NPROC\tUSER\tCPU\tMEM\n"); for (user in cpu) printf("%d\t%s\t%.2f%\t%.2f%\n",num[user], user, cpu[user], mem[user]) }'
Si un top -qquechose ou une autre commande le faisait ça serait bien utile ...
http://la-rache.com
[^] # Re: htop
Posté par Cyril F (site web personnel) . En réponse au message CPU usage per user .... Évalué à 1.
Merci
http://la-rache.com
[^] # Re: htop
Posté par Cyril F (site web personnel) . En réponse au message CPU usage per user .... Évalué à 1.
Cela me permet de trouver immédiatement le user consomateur et de grapher ...
http://la-rache.com
[^] # Re: htop
Posté par Cyril F (site web personnel) . En réponse au message CPU usage per user .... Évalué à 1.
Je ne connaissais pas htop, il est un peu plus sympa que top, c'est vrai.
Malheureusement, il ne me sort pas d'utilisation agrégée.
http://la-rache.com
[^] # Re: Update tracker
Posté par Cyril F (site web personnel) . En réponse au message Update tracker. Évalué à 1.
Ici j'ai dû demander une dérogation à mon N+42 pour installer une Debian pour mes besoins d'admin système ... Pour mon poste de travail on m'a expliqué qu'on avait pas les compétences en interne pour géré la sécurité sur ce type de poste de travail ....
http://la-rache.com
[^] # Re: Update tracker
Posté par Cyril F (site web personnel) . En réponse au message Update tracker. Évalué à 1.
Il y a essentiellement du Solaris ici (Finance ...), il y a juste une cinquantaine de RedHat ES3&5 que je n'arrive pas à remplacer par Debian pour des raisons de certifications ...
Je ne pense pas avoir rêvé ce logiciel, mais impossible de me remettre le nom, et aucune trace sur google ...
Merci pour Tentakel, je ne connaissais pas.
http://la-rache.com