Je me suis posé la question de savoir si un moteur de recherche comme Elasticsearch n’était pas plus adapté pour ce genre de tâches mais comme je ne connais pas bien… meh… flemme de chercher plus… Peut-être avez-vous une idée sur la question ?
Hello.
Disclaimer: Cela fait 10+ ans que je fais de l'Elasticsearch. A tel point que je bosse chez Elastic :)
Oui je te recommande de le tester car il pourrait t'amener de la performance mais surtout des fonctionnalités de recherche. Par exemple, la recherche tolérante aux fautes de frappe.
Ou encore significant text qui va permettre non pas de trouver les textes les plus fréquents (ça c'est facile), mais les textes les plus anormalement fréquents pour un candidat vs les autres.
Autrement dit, si COVID est dit massivement par tous les candidats, ce terme ne ressortira pas avec significant_text car "trop commun".
Bref, beaucoup de possibilités…
Plus de la dataviz disponible nativement avec Kibana qui te permettra de fabriquer des dashboards super sympa en quelques clics.
J'invite également à lire cette analyse (certes en anglais), mais que j'ai trouvée très intéressante sur le sujet. C'est écrit par un avocat dans un language assez compréhensible. :)
D'autre part, j'invite quiconque qui n'utilise pas aujourd'hui la version par défaut et qui a le moindre doute si son business est compatible avec la licence Elastic (que je conseille) ou la licence SSPL, à contacter elastic_license@elastic.co pour obtenir une confirmation de la part d'Elastic que l'activité n'entre pas en conflit avec la licence choisie. Ca lève toute "ambiguité" et permet d'être serein à l'avenir et vous focaliser à nouveau sur le développement de vos services.
Enfin, selon moi (et cela n'engage que moi), la licence choisie en complément de la licence Elastic permet justement à n'importe qui d'utiliser le code source pour en faire absolument n'importe quoi, à la condition que lui aussi s'engage à publier tout le code source qui lui permet de faire tourner ce service et qui donc permettra à tout un chacun de faire un produit concurrent.
Si la société qui souhaite faire offrir ce type de service ne veut pas publier son code source, il faut alors utiliser une Licence Elastic et là faire un partenariat.
Un exemple français à ce sujet : https://www.clever-cloud.com/ fournit un Elasticsearch as a Service avec les licences Elastic.
Quentin et Laurent ont d'ailleurs expliqué pourquoi et comment ils veulent contribuer à Elasticsearch à leur manière. Voir la vidéo ici : https://youtu.be/XxOFy5wARCY?t=2001
Oui. Tout dépend de ce qu'on entend par libre en effet.
Il y a effectivement un cas (et à ma connaissance uniquement celui-là) qui fait que tu n'es pas libre de faire tout ce que tu veux avec le code source. Tu ne peux pas commercialiser un service SaaS (Elasticsearch as a Service) sans un partenariat ou une license adéquate ou alors tu t'engages également à publier le code source qui te permet aussi de faire tourner ton service.
Tout le reste est "libre" au sens que tu peux faire ton business en utilisant la partie gratuite d'Elasticsearch, sans reverser la moindre chose, ni revenus, ni code source, …
En tout cas, j'espère avoir clarifié pour nos nombreux utilisateurs actuels qu'ils peuvent continuer à utiliser les projets elastic comme ils l'ont toujours fait jusqu'à ce jour.
Enfin, en dernier lieu, je me permets d'ajouter l'adresse email à contacter (elastic_license@elastic.co) si jamais quelqu'un a le moindre doute sur ce qu'il fait et souhaite avoir un email qui valide que l'utilisation qui est faite est bien conforme.
Je me suis probablement mal exprimé sur la chronologie.
Non. C'était clair ;)
Nous avons choisi de passer la sécurité en basic afin de pouvoir avoir des un opérateur Kubernetes. Je crois, de mémoire, qu'il fallait qu'il soit sécurisé par défaut.
C'était de toute façon dans les tuyaux de mettre ça en gratuit. Le projet ECK (Elastic Cloud for Kubernetes) a fait avancer plus rapidement notre décision.
mais floragunn semble toujours en vie.
Oui. Je le crois aussi.
Je n'étais pas dans les discussions légales mais de mémoire également, il me semble que le problème que nous avions eu à l'époque avec ce code est qu'il s'agissait d'une copie de notre code source par moment et qu'il y avait eu visiblement une décompilation de xpack pour disons "s'inspirer" de notre implémentation de sécurité. A l'époque, le code source de xpack n'était pas publique. Quand nous l'avons publié, les analogies sont devenues plus évidentes.
Je crois que depuis le code en question a été réécrit.
Plutôt que de crawler des pages web (ce qui peut être fait avec GOPA: https://github.com/infinitbyte/gopa), n'est il pas possible d'avoir accès à la source qui génère les pages (genre une base de données) ou mieux à l'application qui écrit ces données en base ?
Pour préciser, il faut toujours une license gold ou platinum pour accéder à XPack security.
En fait, la possibilité de lire et contribuer au code ne change quasiment rien à la situation.
Par contre pour Xpack basic, il ne sera plus nécessaire de fournir son e-mail pour avoir accès à ces fonctionnalités.
Autrement dit, il n'y a que du bonus dans cette ouverture du code.
On trouve exactement le même comportement avec elasticsearch.
Plus depuis la version 2.
La V2 n'écoute que depuis 127.0.0.1 donc n'est accessible que localement. Si tu veux écouter sur une autre IP tu dois le dire explicitement et donc aussi t'assurer que tu n'exposes pas ta machine.
Idéalement on met Elasticsearch dans le backend comme n'importe quelle base.
Je n'étais pas assez précis mais en fait ça peut utiliser moins que 1Go, hein.
Je sais qu'un de mes collègues avait fait un cluster de raspberry PI à une lointaine époque (version 0.90 de mémoire).
Pour la recherche full-text, on n'a rien de comparable à ElasticSearch. On a essayé d'indexer les données de CouchDB via des moteurs externes (pas ElasticSearch, car il faut quand même que ça puisse tourner sur machines avec peu de RAM pour les auto-hébergés), mais ça n'a pas été très concluant.
Suivant le volume, ça peut passer dans Elasticsearch avec peu de RAM. Je stocke 1m de docs facilement sur 1Go de RAM.
A noter qu'on peut ranger déjà Elasticsearch dans les bases NoSQL orientées document. En effet, par configuration, il est possible par exemple de désactiver la recherche dans Elasticsearch et donc de le transformer en un simple système de persistance de documents.
On profite alors de la scalabilité native de ES (partitionnement, réplication, distribution, …). De fait, ES devient très comparable à ce qu'on trouve dans MongoDB.
D'ailleurs, Shay Banon, l'auteur d'Elasticsearch, a annoncé son intention d'investir sur cet axe pour les prochaines versions.
# Elasticsearch
Posté par dadoonet (site web personnel) . En réponse au journal Compter automatiquement les mots prononcés sur les chaînes d'information continue. Évalué à 8. Dernière modification le 28 décembre 2021 à 12:05.
Hello.
Disclaimer: Cela fait 10+ ans que je fais de l'Elasticsearch. A tel point que je bosse chez Elastic :)
Oui je te recommande de le tester car il pourrait t'amener de la performance mais surtout des fonctionnalités de recherche. Par exemple, la recherche tolérante aux fautes de frappe.
Ou encore significant text qui va permettre non pas de trouver les textes les plus fréquents (ça c'est facile), mais les textes les plus anormalement fréquents pour un candidat vs les autres.
Autrement dit, si COVID est dit massivement par tous les candidats, ce terme ne ressortira pas avec
significant_textcar "trop commun".Bref, beaucoup de possibilités…
Plus de la dataviz disponible nativement avec Kibana qui te permettra de fabriquer des dashboards super sympa en quelques clics.
Nous pouvons t'aider sur le forum français.
Developer | Evangelist at elastic
[^] # Re: Les promesses n’engagent que ceux qui y croient
Posté par dadoonet (site web personnel) . En réponse au lien AWS fork Elastic Search qui n'est plus sous licence Apache. Évalué à 1.
Bonjour
Disclaimer: je bosse pour Elastic
J'invite également à lire cette analyse (certes en anglais), mais que j'ai trouvée très intéressante sur le sujet. C'est écrit par un avocat dans un language assez compréhensible. :)
https://writing.kemitchell.com/2021/01/20/Righteous-Expedient-Wrong.html
D'autre part, j'invite quiconque qui n'utilise pas aujourd'hui la version par défaut et qui a le moindre doute si son business est compatible avec la licence Elastic (que je conseille) ou la licence SSPL, à contacter elastic_license@elastic.co pour obtenir une confirmation de la part d'Elastic que l'activité n'entre pas en conflit avec la licence choisie. Ca lève toute "ambiguité" et permet d'être serein à l'avenir et vous focaliser à nouveau sur le développement de vos services.
Enfin, selon moi (et cela n'engage que moi), la licence choisie en complément de la licence Elastic permet justement à n'importe qui d'utiliser le code source pour en faire absolument n'importe quoi, à la condition que lui aussi s'engage à publier tout le code source qui lui permet de faire tourner ce service et qui donc permettra à tout un chacun de faire un produit concurrent.
Si la société qui souhaite faire offrir ce type de service ne veut pas publier son code source, il faut alors utiliser une Licence Elastic et là faire un partenariat.
Un exemple français à ce sujet : https://www.clever-cloud.com/ fournit un Elasticsearch as a Service avec les licences Elastic.
Quentin et Laurent ont d'ailleurs expliqué pourquoi et comment ils veulent contribuer à Elasticsearch à leur manière. Voir la vidéo ici : https://youtu.be/XxOFy5wARCY?t=2001
Developer | Evangelist at elastic
[^] # Re: En gros, ça ne change rien à votre activité...
Posté par dadoonet (site web personnel) . En réponse au lien Elasticsearch et Kibana passent de APLv2 à SSPL à partir de la 7.11. Évalué à 0.
Oui. Tout dépend de ce qu'on entend par libre en effet.
Il y a effectivement un cas (et à ma connaissance uniquement celui-là) qui fait que tu n'es pas libre de faire tout ce que tu veux avec le code source. Tu ne peux pas commercialiser un service SaaS (Elasticsearch as a Service) sans un partenariat ou une license adéquate ou alors tu t'engages également à publier le code source qui te permet aussi de faire tourner ton service.
Tout le reste est "libre" au sens que tu peux faire ton business en utilisant la partie gratuite d'Elasticsearch, sans reverser la moindre chose, ni revenus, ni code source, …
En tout cas, j'espère avoir clarifié pour nos nombreux utilisateurs actuels qu'ils peuvent continuer à utiliser les projets elastic comme ils l'ont toujours fait jusqu'à ce jour.
Enfin, en dernier lieu, je me permets d'ajouter l'adresse email à contacter (elastic_license@elastic.co) si jamais quelqu'un a le moindre doute sur ce qu'il fait et souhaite avoir un email qui valide que l'utilisation qui est faite est bien conforme.
Developer | Evangelist at elastic
[^] # Re: Quelle alternative ?
Posté par dadoonet (site web personnel) . En réponse au lien Elasticsearch et Kibana passent de APLv2 à SSPL à partir de la 7.11. Évalué à 1.
Non. C'était clair ;)
Nous avons choisi de passer la sécurité en basic afin de pouvoir avoir des un opérateur Kubernetes. Je crois, de mémoire, qu'il fallait qu'il soit sécurisé par défaut.
C'était de toute façon dans les tuyaux de mettre ça en gratuit. Le projet ECK (Elastic Cloud for Kubernetes) a fait avancer plus rapidement notre décision.
Oui. Je le crois aussi.
Je n'étais pas dans les discussions légales mais de mémoire également, il me semble que le problème que nous avions eu à l'époque avec ce code est qu'il s'agissait d'une copie de notre code source par moment et qu'il y avait eu visiblement une décompilation de xpack pour disons "s'inspirer" de notre implémentation de sécurité. A l'époque, le code source de xpack n'était pas publique. Quand nous l'avons publié, les analogies sont devenues plus évidentes.
Je crois que depuis le code en question a été réécrit.
Developer | Evangelist at elastic
# En gros, ça ne change rien à votre activité...
Posté par dadoonet (site web personnel) . En réponse au lien Elasticsearch et Kibana passent de APLv2 à SSPL à partir de la 7.11. Évalué à -1.
Bonjour,
Disclaimer: je bosse pour Elastic
Un petit message pour vous inviter à lire la FAQ ici : https://www.elastic.co/pricing/faq/licensing
Comme je le dis dans le titre, dans l'immense majorité des cas, ça ne change strictement rien à votre usage, à votre business, etc…
Voici un très bon résumé en image de ce qui se passe.
Si vous avez des questions ou un doute sur votre cas, n'hésitez pas à les poster ici ou me trouver sur Twitter (dadoonet) :)
Developer | Evangelist at elastic
[^] # Re: Quelle alternative ?
Posté par dadoonet (site web personnel) . En réponse au lien Elasticsearch et Kibana passent de APLv2 à SSPL à partir de la 7.11. Évalué à 0.
A noter que Elasticsearch fournit aujourd'hui une version gratuite de la sécurité.
Developer | Evangelist at elastic
[^] # Re: Quelle alternative ?
Posté par dadoonet (site web personnel) . En réponse au lien Elasticsearch et Kibana passent de APLv2 à SSPL à partir de la 7.11. Évalué à 1.
Hello. De ce que je peux voir, cela ne change rien pour toi.
As-tu regardé ce lien ? https://www.elastic.co/pricing/faq/licensing
Developer | Evangelist at elastic
[^] # Re: Source des données
Posté par dadoonet (site web personnel) . En réponse au journal Crowd sourcing pour le nouveau data pipeline de linuxfr. Évalué à 1.
Je ne l'ai jamais utilisé.
Mais c'est pour cette raison que je conseille de partir de la source.
Sinon si il y a un dump local de toutes les pages web, mon projet FSCrawler indexera ça correctement je pense. https://github.com/dadoonet/fscrawler
Developer | Evangelist at elastic
# Source des données
Posté par dadoonet (site web personnel) . En réponse au journal Crowd sourcing pour le nouveau data pipeline de linuxfr. Évalué à 6.
Plutôt que de crawler des pages web (ce qui peut être fait avec GOPA: https://github.com/infinitbyte/gopa), n'est il pas possible d'avoir accès à la source qui génère les pages (genre une base de données) ou mieux à l'application qui écrit ces données en base ?
Developer | Evangelist at elastic
# Oui security toujours sous license gold/platinum
Posté par dadoonet (site web personnel) . En réponse à la dépêche Elastic inclura X-Pack dans sa distribution. Évalué à 0.
Pour préciser, il faut toujours une license gold ou platinum pour accéder à XPack security.
En fait, la possibilité de lire et contribuer au code ne change quasiment rien à la situation.
Par contre pour Xpack basic, il ne sera plus nécessaire de fournir son e-mail pour avoir accès à ces fonctionnalités.
Autrement dit, il n'y a que du bonus dans cette ouverture du code.
Developer | Evangelist at elastic
[^] # Re: qwant ?
Posté par dadoonet (site web personnel) . En réponse au journal De la difficulté de trouver un moteur de recherche pertinent pour un site institutionnel du libre. Évalué à 6.
En effet. Et ils utilisent Elasticsearch d'ailleurs…
Chez elastic (disclaimer: je suis un employé de cette boite), nous avons:
Evidemment toutes ces solutions ont un coût:
Developer | Evangelist at elastic
[^] # Re: Faille trouvée : Redis
Posté par dadoonet (site web personnel) . En réponse au journal Un ransomware tout à fait déloyal ... et inquiétant. Évalué à 5.
Plus depuis la version 2.
La V2 n'écoute que depuis 127.0.0.1 donc n'est accessible que localement. Si tu veux écouter sur une autre IP tu dois le dire explicitement et donc aussi t'assurer que tu n'exposes pas ta machine.
Idéalement on met Elasticsearch dans le backend comme n'importe quelle base.
Developer | Evangelist at elastic
[^] # Re: Une vie sans jointure
Posté par dadoonet (site web personnel) . En réponse à la dépêche Donnez votre avis sur la nouvelle architecture de Cozy. Évalué à 1.
Je n'étais pas assez précis mais en fait ça peut utiliser moins que 1Go, hein.
Je sais qu'un de mes collègues avait fait un cluster de raspberry PI à une lointaine époque (version 0.90 de mémoire).
Bref, faut tester… :)
Developer | Evangelist at elastic
[^] # Re: Une vie sans jointure
Posté par dadoonet (site web personnel) . En réponse à la dépêche Donnez votre avis sur la nouvelle architecture de Cozy. Évalué à 1.
Suivant le volume, ça peut passer dans Elasticsearch avec peu de RAM. Je stocke 1m de docs facilement sur 1Go de RAM.
Disclaimer : je bosse pour elastic.
Developer | Evangelist at elastic
# Elasticsearch
Posté par dadoonet (site web personnel) . En réponse à la dépêche Petit état des lieux du NoSQL. Évalué à 2.
Bonjour,
A noter qu'on peut ranger déjà Elasticsearch dans les bases NoSQL orientées document. En effet, par configuration, il est possible par exemple de désactiver la recherche dans Elasticsearch et donc de le transformer en un simple système de persistance de documents.
On profite alors de la scalabilité native de ES (partitionnement, réplication, distribution, …). De fait, ES devient très comparable à ce qu'on trouve dans MongoDB.
D'ailleurs, Shay Banon, l'auteur d'Elasticsearch, a annoncé son intention d'investir sur cet axe pour les prochaines versions.
Quelques liens :
Le groupe Elasticsearch France
Présentation Elasticsearch à Devoxx France :
David
Developer | Evangelist at elastic