Gestion des logs avec Logstash, ElasticSearch & Kibana

Posté par  . Édité par yannig, rogo, palm123, Benoît Sibaud, NeoX, Benoît et eMerzh. Modéré par claudex. Licence CC By‑SA.
31
29
sept.
2013
Supervision

Tout bon administrateur a un jour dû chercher une info à coup de grep, tail, awk dans les fichiers de logs des équipements qu'il gère.
Or la recherche est toujours un peu fastidieuse, avec les questions qui reviennent : "Où est-ce qu'ils sont ces logs ?", "Et c'est quoi le format déjà ?", "Tu connais le mot de passe pour se connecter sur le routeur ?".

Si on peut mettre en place une récupération des logs de façon centralisée avec des outils connus comme syslog, le trio Logstash, ElasticSearch et Kibana est un très bon candidat pour gérer et trouver efficacement des informations dans les milliers de lignes de traces que peuvent générer les divers services.

Journal Rétro-ingénierie de la gestion d'énergie sur les cartes graphiques NVIDIA

Posté par  (site web personnel) . Licence CC By‑SA.
71
14
juil.
2013

Bonjour à tous,

Je prend la plume aujourd'hui pour parler d'un sujet d'actualité, la gestion d'énergie du pilote graphique Nouveau, pilote libre et communautaire pour les cartes graphiques NVIDIA.

Ce sujet devient de plus en plus important dans les drivers graphiques libres car il est le nouvel objectif à remplir. En effet, l'infrastructure pour améliorer les performances 2D, 3D et le décodage matériel de vidéos est bien en place et le support est assez fiable. Cependant, les performances proposées par (…)

Journal Annonce : un blog sur une équipe de recherche en langages de programmation

Posté par  .
21
8
nov.
2012

Cette année j'ai lancé un blog (anglophone) en commun avec les autres membres de mon équipe de recherche, Gallium, qui travaille sur les langages de programmation et la preuve de programme. C'est aussi l'équipe qui a conçu et maintient le langage de programmation OCaml, donc une partie des articles concernent ce langage et son développement—au passage, c'est un logiciel libre dans l'écosystème duquel de nombreuses contributions sont possibles.

Voilà, on m'a signalé que ça pourrait intéresser des LinuxFRiens donc (…)

Journal Opération Red Bull Stratos

Posté par  (site web personnel) . Licence CC By‑SA.
5
14
oct.
2012

Vous n’êtes pas sans savoir que le record du monde du saut le plus haut détenu par Joseph Kittinger aurait été probablement battu par Felix Baumgartner .
Ce projet sponsorisé par Red Bull [1], qui a réuni Felix Baumgartner , Joseph Kittinger et des scientifiques à pour finalité entre autres que de battre le record est l'amélioration des combinaisons préssurisés utilisées dans le spatial par la collecte de données qui ont été effectués durant ce saut .
Pourtant ce projet (…)

Journal lefrigo pour vos magnets

Posté par  . Licence CC By‑SA.
24
1
août
2012

Salut journal !

Donc chose promise, chose due, voilà donc encore un autre projet que je te présente. Il est encore en version de test, mais déjà bien utilisable (ça veut dire que vous devez être indulgents). Attention… lefrigo débarque !

Il s'agit d'un moteur de recherche de magnets de torrents, utilisant au mieux les technologies permises par notre cher HTML5 (je ne vous dis pas quelle version maintenant qu'il y en a deux, parce que je n'en sais fichtre rien) pour (…)

Forum Programmation.php [Resolu] ELDA SAS Cherche developpeur freelance pour terminer un projet

Posté par  .
Étiquettes :
0
5
mar.
2012

Dans le cadre d'un projet de recherche en analyse automatique du document écrit, ELDA procède à la collecte de 10.000 documents fictifs (=>libres de droits), rédigés par des internautes volontaires.

Le développement du site web de collecte a été largement commencé, mais les ressources humaines manquent à sa finalisation.
Les fonctionnalités prévues sont :
- l'inscription des internautes qui disposent alors d'un compte personnel sécurisé avec l'état de leur participation
- la délivrance, via le compte de chaque rédacteur, d'une (…)

Nouveau moteur de recherche interne à LinuxFr.org

Posté par  (site web personnel) . Édité par Florent Zara, Nÿco, tuiu pol, Lucas Bonnet et Benoît Sibaud. Modéré par Lucas Bonnet. Licence CC By‑SA.
65
1
fév.
2012
LinuxFr.org

Jusqu'à présent, la recherche de contenus sur LinuxFr.org se faisait avec Google. Ce n'est plus le cas : nous avons maintenant notre propre moteur de recherche \o/. C'est une fonctionnalité qui était très demandée. Pour les utilisateurs pressés de l'utiliser, le champ de recherche est en haut à droite avec la feuille de style par défaut (« Entrer un mot-clé »). Il permet de rechercher sur tous les contenus de LinuxFr.org : dépêches, journaux, forums, sondages, pages de wiki et entrées de suivi.

D'un point de vue technique, ce moteur de recherche utilise Elastic Search et la gem Ruby Tire. Elastic Search est une interface REST (Representational_State_Transfer), sous licence Apache2, construit au dessus de Lucene. Il permet donc de profiter de la puissance des index Lucene, et notamment des facettes, en HTTP et JSON. Tire, de son coté, est une petite bibliothèque Ruby qui simplifie les requêtes d'indexation et de recherche à destination d'Elastic Search. Un autre avantage est qu'il est possible de profiter des opérateurs de recherche avancée de Lucene. Par exemple, "Elastic Search"^3 OR Google permet de faire une recherche sur la chaîne Elastic Search ou sur Google, mais en favorisant Elastic Search. Ce moteur est bien sûr perfectible (N'est pas Google qui veut !). Une première entrée a déjà été ouverte dans le système de suivi de LinuxFr.org. N'hésitez pas à y ajouter vos remarques de manière constructive.

Auparavant, comme mentionné plus haut, le champs de recherche renvoyait vers Google search. Pour la transparence, cela leur permettait de placer de la publicité et pour LinuxFr.org cela générait quelques petits revenus, en décroissance régulière cependant (moins de 100 $ par an désormais). Donc nous perdons une petite source d'argent (l'autre étant les dons ponctuels), mais nous gagnons désormais encore plus en indépendance.

Plus que de l'argent, ce dont LinuxFr.org a vraiment besoin pour vivre, c'est du contenu. Nous avons de sympathiques mécènes pour l'hébergement ou la motivation. Le meilleur moyen de nous aider est donc de contribuer. Merci à tous.

Nouvelles de DuckDuckGo

Posté par  . Modéré par rootix. Licence CC By‑SA.
36
12
nov.
2011
Internet

Ce moteur de recherche alternatif (qui a déjà fait l’objet d’une dépêche) prend de l’ampleur. Son créateur, Gabriel Weinberg a décidé récemment d’augmenter le capital de cette startup. Cela se traduit par de nouveaux investisseurs et de l’emploi. Ce changement de cap (auparavant Gabriel travaillait seul et sur ses propres fonds) répond à l’augmentation de popularité de ce moteur de recherche.

Rappelons que DuckDuckGo est un moteur de recherche qui se différencie de ses principaux concurrents par un réel respect de la vie privée et la « Zero-click Info boxes » qui permet l’affichage d’informations sans à avoir à cliquer sur un résultat. De plus, la syntaxe !bang permet une navigation plus rapide.

Si vous cherchez des raisons d’utiliser ce moteur de recherche, le mieux est de visionner ces deux tutoriels : We don’t bubble you et We don’t track you.

Il y a beaucoup de nouveautés et d’améliorations depuis la dernière dépêche. Pour n’en citer que quelques‐unes, notons que DuckDuckGo possède maintenant des serveurs à Singapour et bientôt en Europe, ce qui devrait augmenter sa rapidité pour ces zones géographiques. De plus, DuckDuckGo ne se contente plus de récupérer les résultats d’autres moteurs de recherche, mais possède maintenant son propre robot d’indexation. Il est également depuis peu le moteur de recherche par défaut sur Opera.

Enfin, ce moteur de recherche essaie de s’ouvrir et de permettre facilement aux développeurs ou utilisateurs confirmés de participer au développement.

Journal il est minuit 4

Posté par  (site web personnel) . Licence CC By‑SA.
21
15
juin
2011

Tiens cher toi. J'ai 5 minutes à perdre, donc je vais te raconter ce que j'ai découvert depuis 6 jours. Et dont je ne pourrais plus me passer.

Un ami dont j'entretiens la machine linux m'écrit (je copie-colle son mail) : "XG nous a montré en stage hier la nouvelle interface d'UBUNTU avec une barre d'application latérale ou en bas comme le dock d'Apple ou le Rocket Dock sous Seven. Sous Ubuntu, il comprend not. une fonction Recherche et une (…)

HIPP : lire et dessiner au toucher et à l’oreille

Posté par  (site web personnel, Mastodon) . Modéré par Lucas Bonnet. Licence CC By‑SA.
Étiquettes :
27
28
avr.
2011
Audiovisuel

En Suède, le projet HIPP (pour Haptique dans la pratique pédagogique), vient de sortir une première version bêta d’un programme de dessin haptique. Les interfaces haptiques sont de celles qui sont relatives au toucher, par analogie avec optique pour la vue et acoustique pour l’ouïe.

DuckDuckGo

Posté par  . Modéré par Bruno Michel. Licence CC By‑SA.
47
8
avr.
2011
Internet

DuckDuckGo est un moteur de recherche.

Créé par Gabriel Weinberg en février 2008, il utilise les résultats d'autres sites web (Crowdsourcing) comme Wikipedia. Son objectif est de permettre un accès rapide, pertinent et confidentiel à ces données brutes.

DuckDuckGo se différencie d'autres moteurs de recherche par une réelle confidentialité (versions SSL, non-JS, avec un service Tor caché, possibilité de remplacer le stockage des préférences personnelles par des urls personnalisées au lieu de cookies…).

Il vise aussi à donner une expérience de recherche plus rapide. Sur ce point, il permet d'obtenir des "réponses instantanées", c'est-à-dire des informations sans avoir besoin de cliquer sur l'un des résultats d'une recherche (un ou deux exemples). De plus, la syntaxe !bang permet d'effectuer des recherches sur des sites via DuckDuckGo. Ainsi, au lieu de taper "amazon" dans un moteur de recherche puis le titre du livre que vous voulez acheter sur le site d'amazon, vous pouvez taper directement, dans DuckDuckGo, "!a titre" ("!a" indique que "titre" sera cherché directement sur amazon.fr).

Le modèle économique de DuckDuckGo repose sur une publicité minimale et désactivable et sur les ventes effectuées à partir d'une recherche avec DuckDuckGo sur des site comme Amazon ou eBay. Il est possible de sélectionner le français pour la recherche mais pas encore pour l'interface.

Enfin, pour ne rien gâcher, DuckDuckGo consacre une partie de ses revenus à financer des projets libres.

Journal je découvre yacy, moteur de recherche p2p

Posté par  . Licence CC By‑SA.
31
2
mar.
2011

Journal,

J'ai un problème : google est très gentil, mais ça m'embête fortement qu'un seul acteur contrôle autant la recherche sur internet. Je suis parano : que faire si mon pays demande à google de censurer les résultats ou s'il modifie sciemment certains résultats ? Dans ma quête de liberté, je suis tombé sur le moteur de recherche yacy.

L'idée est séduisante : un moteur de recherche décentralisé, résistant à la censure et qui ne stocke pas les données des (…)

Solr 1.4 est de sortie

Posté par  . Modéré par tuiu pol.
12
11
nov.
2009
Java
Solr est un moteur de recherche libre, écrit en java, et faisant partie du projet Apache. Après plus d'un an depuis la dernière version stable, Solr 1.4 est finalement disponible depuis hier en téléchargement.

Les améliorations sont nombreuses, tant au niveau de l'optimisation des performances que du point de vue fonctionnel. Au menu de cette version toute fraîche, on trouvera entre autre :
  • Meilleure intégration aux SGBD grâce au gestionnaire d'import de données ;

  • Possibilités d'indexation de documents externes (Word, OOo, PDF, HTML, etc.) grâce au projet Apache Tika ;

  • Clustering dynamique de résultats de recherche avec Carrot2 ;

  • Une tonne d'améliorations, de nouveaux greffons et de corrections de bugs ;

La liste des améliorations est vraiment très importante. Les intéressés auront tout intérêt à consulter le CHANGELOG complet.

Pour rappel, Lucene est une bibliothèque de recherche full-text écrite en Java et gérée par le projet Apache. Solr utilise Lucene pour proposer les fonctionnalités d'un moteur de recherche de qualité professionnelle (recherche à facette, recherches approximatives, requêtes booléennes, etc.).

La communication avec Solr se fait via appels de web-services, et des bibliothèques existent déjà dans la majorité des langages les plus utilisés. Il est ainsi parfaitement possible d'utiliser Solr pour gérer le moteur de recherche d'un site en PHP.