Elasticsearch est un moteur de recherche distribué, RESTful, reposant sur la bibliothèque Apache Lucene et sous licence Apache 2.
En un an, depuis sa sortie en version 0.90, sa popularité et ses fonctionnalités n'ont cessé de croître.
Note: Si vous n'avez jamais joué avec Elasticsearch, il est plus intéressant de commencer par le test.
Tout bon administrateur a un jour dû chercher une info à coup de grep, tail, awk dans les fichiers de logs des équipements qu'il gère.
Or la recherche est toujours un peu fastidieuse, avec les questions qui reviennent : "Où est-ce qu'ils sont ces logs ?", "Et c'est quoi le format déjà ?", "Tu connais le mot de passe pour se connecter sur le routeur ?".
Si on peut mettre en place une récupération des logs de façon centralisée avec des outils connus comme syslog, le trio Logstash, ElasticSearch et Kibana est un très bon candidat pour gérer et trouver efficacement des informations dans les milliers de lignes de traces que peuvent générer les divers services.
Depuis peu, LinuxFr.org utilise son propre moteur de recherche interne basé sur Elastic Search. Cependant, celui-ci nécessite encore clairement une optimisation. Une idée est de le faire en mode "Crowd". Après le « crowd-sourcing », voici donc la proposition du « crowd-optimization ». Ceci implique de proposer une interface avancée de recherche permettant aux utilisateurs de jouer sur les différents paramètres de la recherche (poids de chaque mot, des contenus, des zones de la dépêche, etc.) mais aussi de préciser si les retours (…)
En ces temps de PRISM/NSA et autres grandes oreilles, et aussi parce que c'est techniquement intéressant, nous essayons d'avoir sur LinuxFr.org des configurations pertinentes au niveau sécurité (pour nos serveurs et pour vos données genre adresses de courriel). Vous trouverez ci-dessous un petit statut de l'existant et les pistes d'améliorations, et nous sommes bien entendu ouverts à vos propositions sur le sujet.
Au sommaire, d'abord un descriptif de ce qui est commun à nos différents serveurs, puis les spécificités de chacun et quelques questionnements pour ouvrir le sujet.
Pour l'édition 2013, le Forum PHP Paris se déroulera le 21 et 22 novembre au Beffroi de Montrouge et inaugure un nouveau lieu de conférences pour une semaine parisienne dédiée au langage PHP, et marqué l'importance de celui-ci avec les 200 millions de sites web en 2013.
À cette occasion, l'AFUP (Association Française des Utilisateurs de PHP) met en avant 4 thématiques :
Venue de Derick Rethans, déjà présent l’an passé, qui donnera une présentation sur OpenStreetMap. Venue d’Andi Gutmans, qui est le CEO de Zend Technologies. Mais aussi des conférenciers français, tels que Julien Pauli, le Release Manager de PHP 5.5 ; et Olivier Zemrag de Oracle. Enfin des retours d'expériences seront assurés par des représentants de Google, de M6 et de Ouest-France.
Le programme complet des conférences (susceptible de modifications) est en deuxième partie.
Elasticsearch est un système distribué, RESTful, reposant sur le moteur de recherche Apache Lucene. Il est développé par Shay Banon et est publié sous la licence Apache Software. Elasticsearch est développé en Java.
ElasticSearch est une réécriture complète du moteur de recherche Compass par son auteur pour prendre en charge au cœur de l’application la montée en charge horizontale (scalability) ; cette réécriture commencée début 2010 lui permet aussi de profiter des avancées du moteur d’index Lucene. Pour plus de détail, lire The Future of Compass & ElasticSearch.
Bonjour,
J'ai tendance à utiliser régulièrement la recherche du site. Je trouve qu'il regorge d'informations intéressantes, aussi bien sur les nouveautés, les astuces sur l'utilisation de programmes, la programmation et le choix de logiciel (il y a toujours dans les commentaires les programmes équivalent à celui présenté).
Par contre il faut avouer que la recherche est très peu pratique: les résultats sont là mais il n'est pas possible de filtrer facilement, de voir la chaîne recherchée, connaître le nombre de (…)
Vous le savez peut-être mais la rotation de la terre ne fait pas tout à fait 24h. Je vous rassure, ça tombe vraiment pas loin. Mais il arrive de temps en temps qu'il faille corriger cet écart. C'était le cas ce week-end avec l'introduction d'une « leap second » : samedi à minuit, une minute a duré 61 secondes au lieu des 60 secondes habituelles.
Petit changement, mais conséquences non-négligeables : beaucoup de code écrit sur cette planète n'est pas (…)
Pendant longtemps, les bases de données relationnelles ont été l'unique solution pour enregistrer des données, ou en tout cas, la solution adoptée par défaut par beaucoup de monde sans plus de réflexion sur le sujet. Pourtant, certaines personnes considèrent que le problème de stockage de données est en fait multiple et qu'il convient de se poser de nombreuses questions :
Les bases de données relationnelles proposent leurs réponses à ces questions ; elles peuvent paraître raisonnables dans bien des cas, mais pas toujours. Par exemple, les bases de données relationnelles sont très mal adaptées quand on veut privilégier les performances plutôt que la garantie d'écriture des données.
Aussi, pour répondre à ces problématiques différentes, un mouvement, NoSQL, a proposé d'adopter des outils différents, spécialisés pour certains cas d'usage. Certaines bases de données NoSQL sont destinées à traiter d'énormes volumes de données, d'autres sont conçues pour maximiser le nombre de requêtes par seconde qu'un serveur pourra traiter, etc. Notons en particulier que la plupart des plus gros sites web ont quitté le monde relationnel (Google, Facebook, Twitter, Amazon), ce qui tend à valider le besoin d'avoir d'autres outils que les bases de données relationnelles.
NdA : Merci à Christophe Turbout, Thomas Douillard, Buf, olivierweb, Spack, baud123, Bruno Michel, mike.simonson et rakoo pour leur aide lors de la rédaction de cette dépêche
Cette semaine (du 18 au 20 Avril 2012), se déroule à Paris la conférence Devoxx France 2012. Conférence légèrement axée Java et Enterprise, elle est néanmoins l'occasion de réunir un paquet de petits geeks pour des conférences plus ou moins techniques sur des sujets informatiques. Environ 150 présentateurs vont se succéder au micro pour parler Java, ElasticSearch, Intégration continue ou même Arduino. IBM, Google sont les gros partenaires internationaux alors que Xebia et Zenexity sont les partenaires français qui ont organisé l'événement dans le somptueux cadre de l'Hôtel Mariott Rive Gauche…
Parmi les intervenants, on notera entre autres Willy Tarreau, le fameux concepteur de HAProxy…
Jeudi soir, la soirée « Meet & Greet » est ouverte à tout le monde et peut être l'occasion pour vous d'aller papoter avec cette plèbe javaiste, de nouer quelques contacts professionnels, ou juste de changer d'air. L'organisateur annonce attendre 1200 personnes sur les trois jours, ce qui n'est pas rien.
NdM. : l'accès aux conférences est payant (350 € HT + 19,6% de TVA).
Elastic Search est un moteur de recherche full-text, sous licence Apache 2. Plus précisément, c'est une interface Rest (Representational State Transfer) distribuée, utilisant le format JSON, qui permet d'exposer des index Lucene pour construire des moteurs de recherche avec des fonctionnalités avancées comme de la recherche par facette. On peut donc le comparer à Solr, mais avec une approche plus moderne et plus proche du mouvement NoSQL.
Il existe de nombreux clients pour Elastic Search comme la gem Tire dans le monde Ruby ou ElasticSearch.pm pour Perl. Elastic Search est utilisé en production par Mozilla, Stumble Upon , yfrog, Klout, af83, etc.
NdM : LinuxFr.org utilise Elastic Search pour son moteur de recherche interne, dans sa version 0.19 depuis le jour de sa sortie. Merci Lukhas !
La version 0.19.0 d'Elastic Search vient de sortir. Ça serait pas mal de l'installer sur nos serveurs parce qu'elle est plus stable (d'après l'annonce).
Jusqu'à présent, la recherche de contenus sur LinuxFr.org se faisait avec Google. Ce n'est plus le cas : nous avons maintenant notre propre moteur de recherche \o/. C'est une fonctionnalité qui était très demandée. Pour les utilisateurs pressés de l'utiliser, le champ de recherche est en haut à droite avec la feuille de style par défaut (« Entrer un mot-clé »). Il permet de rechercher sur tous les contenus de LinuxFr.org : dépêches, journaux, forums, sondages, pages de wiki et entrées de suivi.
D'un point de vue technique, ce moteur de recherche utilise Elastic Search et la gem Ruby Tire. Elastic Search est une interface REST (Representational_State_Transfer), sous licence Apache2, construit au dessus de Lucene. Il permet donc de profiter de la puissance des index Lucene, et notamment des facettes, en HTTP et JSON. Tire, de son coté, est une petite bibliothèque Ruby qui simplifie les requêtes d'indexation et de recherche à destination d'Elastic Search. Un autre avantage est qu'il est possible de profiter des opérateurs de recherche avancée de Lucene. Par exemple, "Elastic Search"^3 OR Google permet de faire une recherche sur la chaîne Elastic Search ou sur Google, mais en favorisant Elastic Search. Ce moteur est bien sûr perfectible (N'est pas Google qui veut !). Une première entrée a déjà été ouverte dans le système de suivi de LinuxFr.org. N'hésitez pas à y ajouter vos remarques de manière constructive.
Auparavant, comme mentionné plus haut, le champs de recherche renvoyait vers Google search. Pour la transparence, cela leur permettait de placer de la publicité et pour LinuxFr.org cela générait quelques petits revenus, en décroissance régulière cependant (moins de 100 $ par an désormais). Donc nous perdons une petite source d'argent (l'autre étant les dons ponctuels), mais nous gagnons désormais encore plus en indépendance.
Plus que de l'argent, ce dont LinuxFr.org a vraiment besoin pour vivre, c'est du contenu. Nous avons de sympathiques mécènes pour l'hébergement ou la motivation. Le meilleur moyen de nous aider est donc de contribuer. Merci à tous.
Je vais avoir besoin d'Elastic Search pour le moteur de recherche.