yannig a écrit 145 commentaires

  • [^] # Re: Logs?

    Posté par  (site web personnel) . En réponse à la dépêche Loki, centralisation de logs à la sauce Prometheus. Évalué à 1.

    Les librairies de log (log4j ou équivalent) permettent de faire ce genre de chose. Par contre, l'envoi par le réseau de message peut logiquement aboutir à des pertes.

    Une solution pouvant consister à passer par un stockage temporaire sur disque avant d'envoyer. Du coup, on retombe un peu sur le problème initial : autant consommer le contenu de fichier avec un agent qui se chargera de centraliser tout ça.

    D'autre part côté du serveur, dans tous les cas, il faudra tout de même procéder à une lecture de l'entrée de log.

    Au final, dans Loki, ce dernier ne fait que réceptionner le message pour le stocker avec les labels qui lui sont associés. Aucune analyse n'est faîte sur le contenu ce qui réduit la consommation CPU/mémoire au moment du stockage.

    En revanche, la consultation ne pourra pas se faire au hasard et passera forcément par l'utilisation des labels.

  • [^] # Re: on s'y perd

    Posté par  (site web personnel) . En réponse à la dépêche Loki, centralisation de logs à la sauce Prometheus. Évalué à 1.

    Pour préciser, la partie authentification qui était payante est devenue opensource il y a quelques temps (https://www.elastic.co/fr/what-is/open-x-pack). Après, pour être honnête, je ne me suis pas plus renseigné que ça sur les implications.

    A noter qu'il est également possible de protéger les accès à un cluster Elasticsearch sans utiliser X-pack en intercalant un reverse proxy (nginx, apache etc.) qui se chargera de la partie authentification + sécurisation SSL.

  • [^] # Re: Grafana et Elastic

    Posté par  (site web personnel) . En réponse à la dépêche Loki, centralisation de logs à la sauce Prometheus. Évalué à 2.

    Tout à fait. Après, je pense que si tu veux exploiter pleinement le potentiel d'Elasticsearch, Kibana reste tout de même plus indiqué.

    Après, c'est une question de goût et de couleur. Dans mon contexte, le couple Prometheus et Loki est plus adapté à ma manière de travailler.

    En effet, je ne peux pas consacrer le temps qu'il faudrait à faire fonctionner Elastic correctement (structure de l'index, volumétrie des journaux, suivi des consommations etc.).

    Mon guide principal se trouve dans Prometheus. Loki n'est là que pour confirmer un diagnostic. Dans ce cadre Elastic représentait trop de travail de maintenance.

    Mais si tu disposes d'un cluster bien configuré par quelqu'un qui s'y connait, il faut évidemment s'en servir.

  • [^] # Re: on s'y perd

    Posté par  (site web personnel) . En réponse à la dépêche Loki, centralisation de logs à la sauce Prometheus. Évalué à 4.

    Bonjour,

    Effectivement, y'a pas mal de changements en ce moment 😃

    Elasticsearch historiquement est là pour offrir un mécanisme de stockage de document non structuré. Très tôt dans son histoire il a été utilisé pour centraliser des logs de serveurs notamment avec logstash. Globalement, il s'agit d'un produit bénéficiant de nombreuses qualités. En revanche sa mise en œuvre réclame un certain savoir faire qui peut représenter un frein à son utilisation.

    Elasticsearch peut éventuellement être étendu avec la suite Beats pour avoir de l'acquisition de données sur la consommation cpu ou mémoire.

    Ces données peuvent ensuite être interrogé à l'aide de kibana ou grafana.

    Prometheus quant à lui est un outils de surveillance basé sur l'acquisition de métriques (nombre de visites, consommation cpu, mémoire, etc.). C'est un outil très à la mode dans le monde du container et qui offre des très grandes capacités d'acquisition et d'adaptation. Son point fort étant sa légèreté et sa maintenance simple. Il remplace en quelque sorte la partie Beats d'elasticsearch à un moindre coût.

    Loki - outre qu'il s'agissait d'une ancienne société spécialisée dans le portage de jeux vidéos sous Linux - est un produit qui est pensé pour centraliser des journaux d'activités avec un coût le plus faible possible. En quelque sorte, son but est de s'inspirer de ce qui a fait le succès de Prometheus et de l'appliquer aux logs.

  • [^] # Re: Choix des outils

    Posté par  (site web personnel) . En réponse à la dépêche Découverte de l’outil de supervision Prometheus. Évalué à 2.

    Je suis d'accord avec toi, ELK est là pour faire de l'analyse de log. C'est plus beats d'ELK qui était visé par mon commentaire puisque je trouve que la mise en place de cet outils a un coût non négligeable. L'idée est de remonter que c'est une fausse bonne idée d'utiliser ELK pour faire de la collecte de métrique.

    Et merci pour ta remarque sur la notion de base de données orienté colonne.

  • [^] # Re: Complémentaire à Nagios

    Posté par  (site web personnel) . En réponse à la dépêche Découverte de l’outil de supervision Prometheus. Évalué à 3.

    De mon point de vue, Prometheus remplace complétement Nagios. La différence se trouve surtout dans son fonctionnement.

    Avec Nagios, la surveillance se fait au moment du lancement de la sonde. Les états SOFT/HARD permettront ensuite de savoir si - en cas d'erreur - le problème est transitoire ou s'il s'agit d'un vrai problème pour lequel on enverra un mail/notification SMS.

    Avec Prometheus, la notion d'alerte s'appuie sur les données collectées. En gros, le travail qui était auparavant réalisé par des sondes sur le serveur à surveiller se trouve au niveau du serveur de monitoring. Mais on peut ainsi très facilement écrire des choses s'appuyant sur des intervalles de temps (si l'erreur est là depuis 30 minutes par exemple). Avec Nagios, il faudrait attendre d'avoir eu 6 erreurs dans le cas d'une collecte toutes les 5 minutes. A noter que si jamais l'agent ne répond pas, une métrique sera alimentée indiquant que ce dernier est "down".

    Pour les équipements ne proposant que du SNMP, il est possible de passer par un exporter (tout comme il fallait passer par un plugin avec Nagios) Un article explique la mise en place d'une telle solution : https://www.robustperception.io/snmp-monitoring-with-prometheus/. A noter que cet exporter peut-être mutualisé pour la surveillance de plusieurs noeuds. Au niveau comportement, on est assez proche d'un cacti où on va venir collecter un sous-ensemble de l'arbre SNMP. Le bonus de Prometheus vient de sa capacité de pouvoir analyser après coup ces métriques et d'en faire des alertes sans avoir à les définir une à une dans Nagios. En bonus, on a de belles courbes qu'on peut récupérer dans Grafana et tout ça avec un seul outils.

  • [^] # Re: influxdb vs prometheus

    Posté par  (site web personnel) . En réponse à la dépêche Découverte de l’outil de supervision Prometheus. Évalué à 3.

    Sur la partie performance, je peux déjà te faire un retour comme quoi c'est vraiment très performant. En tout cas bien moins consommateur en IO et CPU qu'une solution basée sur beats et Elasticsearch dans des conditions équivalentes. L'exploitation est également plus simple puisque pas besoin de purger, Prometheus se débrouille tout seul.

    Pour la suite, nous avons prévu d'étendre la couverture de l'outils ainsi qu'en augmentant la durée de rétention des données. Quand ça sera en place, j'essaierai de faire un petit retour sur ce que ça donne.

    Merci pour les informations autour de la stack InfluxDB. Je vais jeter un coup d'oeil pour voir ce que ça donne.

    Pour info, il existe des drivers permettant de stocker à l'extérieur de Prometheus les données collectées. Parmi les solutions, tu retrouves Influxdb. Une liste des solutions est disponible à l'adresse suivante : https://prometheus.io/docs/operating/integrations/#remote-endpoints-and-storage

  • # Avec Ansible bien sûr

    Posté par  (site web personnel) . En réponse au sondage Pour redémarrer un service, vous êtes plutôt ?. Évalué à 2.

    Pour Apache, ça donne ça :

    ansible -m service -a "state=restarted name=httpd" localhost

    SystemD ou SYS V ? Peu importe, Ansible se débrouille tout seul en fonction du contexte.

  • [^] # Re: Ansible / Puppet

    Posté par  (site web personnel) . En réponse à la dépêche Présentation d'Ansible et version 2 à venir. Évalué à 3.

    Je ne connais pas bien Fabric mais après un rapide coup d'oeil, il semblerait qu'il s'agisse d'un mécanisme permettant d'exécuter des commandes à distances. Ansible est plus dans un descriptif de ce qu'on souhaite réaliser laissant de côté la gestion des cas (ressource déjà présente, dans un état déjà correct, etc.).

    Un autre aspect pratique sur Ansible vient du fait que tu n'as pas forcément besoin de connaître un langage pour l'utiliser (même si pour être honnête, je pense que ça reste un pré-requis si tu veux faire des choses un tant soit peu complexe).

  • [^] # Re: Couplage avec un ElasticSearch externe

    Posté par  (site web personnel) . En réponse à la dépêche Gestion des logs avec Logstash, ElasticSearch & Kibana. Évalué à 1.

    Quand tu veux te coupler vers un ElasticSearch externe, il faut donner le nom de ton cluter et celui de ta machine (paramètre host et cluster). Ci-dessous un exemple :

    output {
      elasticsearch {
        host=> "robert"
        cluster => "elasticsearch"
      }
    }
    

    Si tu veux vérifier ta communication vers ton serveur, tu peux lancer la commande telnet avec le nom de la machine + le numéro de port que tu veux atteindre. Ici, ça ressemblerait à telnet elasticnode 9300. Si ça ne t'affiche rien, c'est que tu as un problème d'ouverture de port, si ça t'affiche quelque chose, tu as un autre problème :).

  • [^] # Re: Merci aux contributeurs !

    Posté par  (site web personnel) . En réponse à la dépêche Gestion des logs avec Logstash, ElasticSearch & Kibana. Évalué à 2.

    C'est parce que j'étais jaloux que quelqu'un ai eu l'idée d'écrire cette dépêche à ma place !

  • [^] # Re: DH ne chiffre pas

    Posté par  (site web personnel) . En réponse au journal Chiffrement SSL et confidentialité. Évalué à 1.

    Oui tout à fait. On échange un secret durant la phase de chiffrement asymétrique pour ensuite passer à une communication symétrique à l'aide de cette clé.

  • [^] # Re: un autre lien

    Posté par  (site web personnel) . En réponse au journal Chiffrement SSL et confidentialité. Évalué à 3.

    Justement, j'aurais bien aimé avoir un avis éclairé sur la question et l'utilisation de l'algorithme DH. Les articles qui affirment que tout est déchiffrable me dérange. Je ne vois aucune référence à des travaux ou des papiers sur le sujet.

    Par ailleurs, les échos parle de à peu près tout ce qui par définition n'inclus pas tout. Il ne nous reste plus qu'à étendre cette sous-partie sur le reste d'Internet …

  • [^] # Re: Alors moi ...

    Posté par  (site web personnel) . En réponse au journal Comment écoutez-vous de la musique ?. Évalué à 0.

    Quand je parlais de streaming, je parlais de radio en streaming.

  • # Alors moi ...

    Posté par  (site web personnel) . En réponse au journal Comment écoutez-vous de la musique ?. Évalué à 2.

    … j'écoute de la musique à la maison avec mon PC à l'aide d'Amarok.

    Je transferts éventuellement des morceaux sur mon appareil Android sous cyanogen avec le logiciel Apollo par défaut.

    Enfin, quand je suis dans ma voiture, j'écoute souvent la radio et éventuellement un CD soit original soit un gravé contenant des titres au format MP3.

    Sinon, j'aime bien écouter de la musique en streaming quand je reçois des gens chez moi (toujours avec Amarok et son excellent script permettant de récupérer la liste des streams de radio française).

  • [^] # Re: La liberté

    Posté par  (site web personnel) . En réponse au sondage Selon vous, quel est l'avantage d'un système libre type GNU/Linux sur un ordinateur de bureau ?. Évalué à 6.

    Oui, il te suffit pour cela d'installer une interpréteur perl/python/PowerShell. Il te suffit ensuite de rajouter un logiciel qui est en mesure de faire ça (mencoder par exemple).

    Pour se faire, rien de plus simple, tu vas sur chaque site, tu télécharges tes logiciels, tu les installes (clique, clique-clique, clique, suivi de clique, clique et clique-clique). Après tu ouvres ton éditeur de texte (notepad), tu rédiges ton script (sans colorisation syntaxique) et après, tu peux lancer ton script en faisant clique-clique.

    Effectivement, tu peux aussi le faire sous Windows. C'est juste que sous Linux, c'est plus simple.

  • # La liberté

    Posté par  (site web personnel) . En réponse au sondage Selon vous, quel est l'avantage d'un système libre type GNU/Linux sur un ordinateur de bureau ?. Évalué à 10.

    Je trouve dommage que ce choix n'ai pas été rajouté. Pour moi, la vraie raison qui me fait utiliser Linux sur mon bureau est simplement la liberté de faire ce que je veux comme je le veux.

    Quand je retourne sur un ordinateur Windows ou MacOSX, je me sens complètement bridé au niveau de ce que je peux faire. Sur mon Linux, je peux utiliser le vieux mécanisme de terminaux virtuels en basculant dessus avec un ++F1-F8 pour lancer un programme en arrière plan. Je peux développer un petit script pour recompresser les vidéos de mon appareils. Je peux lancer mon lecteur multimédia directement depuis ma console.

    Bref, je ne suis pas sûr que ça soit quelque chose de complètement factuel à expliquer mais c'est plutôt un sentiment.

  • # Support de Livestatus

    Posté par  (site web personnel) . En réponse à la dépêche Interface de supervision openpom 1.5.0. Évalué à 2.

    La question est dans le sujet du commentaire ...

    Les auteurs auraient-ils prévu une version pouvant se pluguer sur Livestatus qui a comme gros avantage de ne rien réclamer en plus si ce n'est un moteur nagios avec un plugin.

  • # Shinken !

    Posté par  (site web personnel) . En réponse au journal utiliser un nokia n900 pour monitorer des serveurs. Évalué à 1.

    Shinken est un equivalent de nagios ecrit en python. Il te reste juste a trouver un interpreteur python 2.4 (ou superieur) pour le faire fonctionner. Il se configure ensuite comme un nagios.
  • [^] # Re: Bravo !

    Posté par  (site web personnel) . En réponse au journal Plugin de graph pour mediawiki. Évalué à 4.

    Désolé mais je n'ai rien trouvé de particulier pour commencer à coder. En gros, je me suis inspiré du code de l'extension de google (gchart4mw) et j'ai commencé à coder.

    Après, si tu regardes le code en lui même, ce n'est pas très compliqué à prendre en main. Pour résumer, tu as les points suivants à respecter :
    - déclarer une fonction d'enregistrement ($wgExtensionFunctions[] = 'jpChartSetup';)
    - dans cette fonction déclarer des balises pour ton extension avec le nom d'une fonction ($wgParser->setHook('jplines', 'jpLinesRender');)
    - coder la fonction.

    Tu peux aller fouiller ça directement au niveau du fichier de l'extension : http://code.google.com/p/jpgraphmw/source/browse/trunk/jpgra(...)
  • [^] # Re: calculs 3D

    Posté par  (site web personnel) . En réponse au journal Rendu 3D sur un second GPU. Évalué à 4.

    Oui mais là, on parle de solution libre de rendu graphique multi-GPU alors que tu parles d'une solution propriétaire de calcul déporté sur le processeur de la carte graphique.

    Donc, non, pour l'instant aucune solution n'existe.
  • [^] # Re: Comprend pas ...

    Posté par  (site web personnel) . En réponse au journal La fin du monde. Évalué à 2.

    Pas mieux au niveau de la version mais avec un build time beaucoup plus vieux :)

    # ./httpd -v
    Server version: Apache/1.3.12 (Unix)
    Server built: Apr 8 2002 16:32:11
  • [^] # Re: Et les SSI ?

    Posté par  (site web personnel) . En réponse à la dépêche Répartition de charge : axes de réflexion et quelques exemples de solutions libres. Évalué à 2.

    Effectivement, je n'ai pas pensé à parler de ce type de solution. D'autant qu'un des gars de Kerrighed (Mathieu Fertré) est un ex-collègue à moi sous Wormux :). Salut Matt !

    Je tiens qu'en même à préciser qu'il ne s'agit en aucun cas d'une solution miracle. D'après ce que m'avait dit les gars de la société (je les avais vu lors d'une Linux expo ou un truc du genre), ça ne fonctionnait que sur certains types de traitement mais qu'effectivement, lorsque la solution fonctionne bien, il s'agit vraiment d'une solution miracle.
  • [^] # Re: Réplication Mysql master/master

    Posté par  (site web personnel) . En réponse à la dépêche Répartition de charge : axes de réflexion et quelques exemples de solutions libres. Évalué à 1.

    Merci pour toutes ces précisions ! Je n'avais pas connaissance de toutes ces fonctions.
  • [^] # Re: et les annuaires ?

    Posté par  (site web personnel) . En réponse à la dépêche Répartition de charge : axes de réflexion et quelques exemples de solutions libres. Évalué à 2.

    Il est vrai que je n'avais pas trop pensé à discuter de cet élément du SI mais effectivement, il est tout à fait possible de gérer de la répartition de charge avec LDAP. Pour ma part, à chaque fois que j'ai vu des solutions de réplications d'annuaire LDAP, elles répondaient plutôt à des problématiques de sécurisation des données :
    - réplication temps réel pour fail-over
    - réplication via LDAP de rebond (pour des raisons de sécurité, on ne va répliquer qu'une partie de l'arbre LDAP et on le proposera à nos partenaires via une DMZ)

    Contrairement à une base, l'annuaire LDAP n'est que très rarement sollicité pour l'hébergement et la mise à jour fréquente des données. J'imagine qu'il doit y avoir des situations qui obligent à une mise en place de répartition de charge (on trouvera toujours des fous partout !). D'autant que la scalabilité doit être assez bonne étant donné le ratio écriture/lecture. Merci pour la remarque, j'essaierai d'en parler une prochaine fois :).