Sortie de Datafari 6.2, moteur de recherche open source pour entreprise avec de l'IA

Posté par  . Édité par Benoît Sibaud. Modéré par Pierre Jarillon. Licence CC By‑SA.
Étiquettes :
13
15
juin
2025
Java

Nous (NdM: France Labs qui porte datafari.com) sommes fiers de vous annoncer la mise à disposition de Datafari 6.2

Pour faire court, la grosse nouveauté vient de l’intégration simplifiée des outils tiers d’IA générative. Ces travaux ont été en partis financés par le projet Européen NGI Search Neural Datafari, qui a permi du coup également d'ajouter la recherche vectorielle bout en bout au projet Apache Solr.

Pour rappel, Datafari est une solution de recherche pour entreprise. Où que les connaissances se trouvent et sous quelque format que ce soit, elle permet aux employés de retrouver les données utiles.

Et désormais grâce à l’IA, de « discuter » avec ses connaissances. Plus concrètement, il s’agit de récupérer et d’indexer les données et documents depuis de nombreuses sources différentes et plusieurs formats de fichiers, et de permettre aussi de chercher des documents mais aussi d’utiliser une IA générative pour les questionner.

Pour cette dépêche, on se concentre sur la version libre et open source (mais il y a aussi d’autres nouveautés sur la version entreprise propriétaire).

Titre de l'image

Notre dernière dépêche datant de… Datafari 5.3, voici Les nouveautés et changements principaux par rapport à cette dernière:

  1. Ajout d’un module RAG (Retrieval Augmented Generation)
  2. Passage à Solr 9.8 avec recherche vectorielle
  3. Ajout d’un module d’appel de LLM à l’indexation
  4. Gestion automatique du chunking des documents indexés
  5. Création d’un module autonome d’analytics au lieu de Zeppelin pour optimiser les ressources
  6. Création d’un regex connector à l’indexation
  7. Refonte technique de l’interface graphique, en React
  8. Passage à la V2 des API REST de Datafari
  9. Prototype d’agent autonome pour héberger en local un modèle d’IA
  10. Du bugfix de partout

Comment démarrer ?

Pour voir à quoi ça ressemble, nous avons téléversé une courte vidéo de démonstration. Pour démarrer tout de suite, le mieux est d’aller lire le quick start guide. Nous mettons gratuitement à disposition notre documentation Datafari sur Confluence, qui couvre les usages, l’administration et le développement. Attention, les modules d’IA que nous avons développés, nécessitent la disponibilité d’un serveur exposant un modèle d’IA compatible. De base, Datafari n’héberge pas localement une IA. Le plus simple pour débuter est de le connecter par exemple à openAI pour se faire la main, et ensuite de passer à des modèles locaux hébergés par vos soins ou par des partenaires.

Pour rappel, voici les principales fonctionnalités de Datafari en tant que moteur de recherche :

Que peut‐on faire avec Datafari ?

Datafari est un moteur de recherche pour entreprise enrichi à l’IA : membres de la famille des outils de gestion des connaissances, les solutions de recherche fédèrent les connaissances en analysant et indexant tous les documents d’une organisation, aussi bien leur contenu que leurs métadonnées. Pour cela, le moteur de recherche doit être multi‐sources, multi‐formats, et gérer la sécurité. En outre, il faut permettre l’administration de l’outil.

Dans la version libre, on peut, côté admin :

  1. Administrer les connecteurs aux sources de données vers de nombreuses sources (nous utilisons Apache ManifoldCF avec tous ses connecteurs) dont Sharepoint, Confluence, Alfresco et les partages de fichiers ;
  2. Gérer l’algorithme de pertinence qui classe les documents pour leur affichage suite à une requête ;
  3. Activer les modules de recherche vectorielle et de RAG
  4. Mettre en avant des documents pour des requêtes identifiées ;
  5. Créer des utilisateurs et leur assigner des rôles ;
  6. Voir des statistiques d’usage de l’outil ;
  7. Créer l’équivalent de Google AdWords (appelés promoliens) ;
  8. Gérer des synonymes ;
  9. Plein d’autres choses accessibles depuis la documentation Confluence.

Côté utilisateur, on peut :

  1. Chercher de façon simple ou avancée ;
  2. Prévisualiser les résultats ;
  3. « Discuter » avec ses documents via le module RAG
  4. Bénéficier de la correction orthographique et de l’auto‐complétion ;
  5. Choisir et utiliser des facettes pour filtrer les résultats ;
  6. Mettre des résultats dans un panier de favoris ;
  7. Créer des alertes par courriel quand des documents modifiés ou nouveaux correspondent à une requête.

Et ensuite ?

Pour le reste de 2025, nous allons continuer à ajouter des fonctionnalités se basant sur les IA génératives pour multiplier les possibilités.

Des commentaires ?

Nous sommes en permanence à l’écoute des commentaires et suggestions pour faire avancer le produit, alors profitez-en, que ce soit d’un point de vue technique ou fonctionnel, ça nous intéresse. Ha et si vous êtes déjà un utilisateur, n’hésitez pas à en parler sur le web !

Aller plus loin

  • # liens pour le jargon

    Posté par  . Évalué à 6 (+5/-0).

  • # Existe-t-il un connecteur web?

    Posté par  . Évalué à 9 (+9/-0).

    Bonjour,

    Après avoir durant des années utilisé le moteur htdig (https://fr.wikipedia.org/wiki/Ht-//Dig) puis UDMSearch / mnoGoSerach (https://fr.wikipedia.org/wiki/MnoGoSearch), on se retrouve depuis son abandon en situation d'impasse dans le monde Open Source… Ils faisaient pourtant parfaitement le job : quelques millions de pages indexées, réponse en 0,2s. Une machine. Une!

    Datafari (référence au fichier Safari??) que je découvre aujourd'hui dispose-t-il d'un connecteur "web"?
    On lui passe la liste des URLs à aller crawler, et il y va?
    Dans l'affirmative et sous réserve de pouvoir le paramétrer un peu (éviter d'aller crawler les calendriers jusqu'en 2100…), il pourrait être sacrément intéressant.

    Le couplage à une ia générative finira par être un plus, mais il y a tellement de conditions préalables que la validation risque de prendre "un certain temps"…

    Merci de vos lumières.

    Christophe.

  • # Éleveur de subvention : plus qu'un métier, une passion

    Posté par  (site web personnel) . Évalué à 6 (+3/-0).

    financés par le projet Européen NGI

    Pourquoi l'Europe finance du fauxpensource?

    Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.

    • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

      Posté par  (site web personnel, Mastodon) . Évalué à 6 (+3/-0).

      Parce qu'il y a des gens dont c'est le métier d'être chasseur de prime et qui se débrouillent pour que ça soit leur boite qui récupère l'argent des subventions.

      « Tak ne veut pas quʼon pense à lui, il veut quʼon pense », Terry Pratchett, Déraillé.

    • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

      Posté par  (site web personnel) . Évalué à 4 (+2/-0).

      Dans leur dépot github, c'est sous licence "Apache License Version 2.0, January 2004"

      Votez les 30 juin et 7 juillet, en connaissance de cause. http://www.pointal.net/VotesDeputesRN

      • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

        Posté par  (site web personnel) . Évalué à 7 (+4/-0).

        Sur leur page Pricing, on voit que c'est de l'opensource as a demo : des fonctions essentielles (sécurité) ne sont pas libres.

        Beaucoup d'entreprises veulent profiter de la réputation de l'opensource pour vendre des solutions privatrices : elles me font perdre mon temps et elles siphonnent des fonds publics.

        Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement.

        • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

          Posté par  . Évalué à 1 (+0/-0).

          Même si là encore vous prévenez en PS que votre post est une grosse co…rie, je vais préciser car j'ai peur que certains lecteurs ne prennent pas attention à cette précision en bas de votre commentaire.

          La sécurité est également présente dans la version CE, modulo un aspect: le respect des permissions d'accès aux documents sources indexés. Le mode TLS et les certificats sont bien présents également dans la version CE (https). Donc tout scénario d'usage qui ne nécessite pas de gérer des documents dont les droits accès changeraient par utilisateur, est utilisable directement avec la version open source.

          Et pour aller plus loin, il reste du coup deux choix: soit passer par la version EE (et financer ainsi nos activités de R&D qui sont en grande partie reversées dans la version CE), soit forker la version CE et y ajouter un module de gestion des droits d'accès.

          • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

            Posté par  (site web personnel) . Évalué à 3 (+1/-0). Dernière modification le 19 juin 2025 à 14:31.

            soit passer par la version EE (et financer ainsi nos activités de R&D qui sont en grande partie reversées dans la version CE)

            Dave relève principalement qu'un modèle plus apprécié est :

            • version CE développée avec les dernières évolutions et contributions directes, ce qui permet d'impliquer des contributeurs externes (au besoin dans des branches dédiée)
            • version EE intégrée à partir version CE, éventuellement avec des greffons supplémentaires (non structurant au fonctionnement nominal et principal, apport de valeur ajoutée métier spécifique…) et apportant un support — potentiellement — plus restreint en terme de plateformes de déploiement prises en charge et validées

            soit forker la version CE

            pas besoin de forker si tout le monde peut travailler sur la version en cours de dév' et à jour.

            C'est la différence de modèle entre

            • (feu) OpenOffice.org à l'époque de Sun : IBM, Suse et consors ramaient à publication pour ajouter leurs patchs pour Go-OOo retenue par toutes les distributions Linux à l'époque…
            • et LibreOffice.org : contribution directe, plus efficace car impliquant plus de monde directement sur la version en cours plutôt que la version précédemment publiée, capacité à mobiliser plus de 500 personnes sur un an dès le début

            Chacun son modèle ;-)

            • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

              Posté par  . Évalué à 2 (+1/-0).

              Et oui en effet, chacun son modèle. Ce serait mieux d'avoir une boule de cristal au démarrage d'un projet open source, pour savoir quel modèle permettrait de le rendre autonome et pérenne, mais je n'ai pas un tel objet en ma possession (ou alors je l'utilise mal).

              Le sujet des modèles d'affaire pour l'open source reste un sujet chaud, avec régulièrement des interventions et réflexions sur ce thème, par exemple à OSXP ou à l'Open Source Founders Summit.

      • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

        Posté par  . Évalué à 1 (+0/-0).

        En effet c'est correct, Datafari CE est en licence Apache v2, même si ça limite du coup les librairies qu'on peut y intégrer avec les incompabilités entre certaines licences.

    • [^] # Re: Éleveur de subvention : plus qu'un métier, une passion

      Posté par  . Évalué à 1 (+0/-0).

      La première fois que j'ai lu votre commentaire, je l'avais mal pris, mais je n'avais pas vu votre post scriptum "Le post ci-dessus est une grosse connerie, ne le lisez pas sérieusement." :P

  • # AI ?

    Posté par  . Évalué à 2 (+0/-0).

    En effet, c'est non libre, mais pas si chère que cela.

    Est-ce qu'on peut en savoir plus sur le RAG et l'IA utilisé ?

    Quels types de endpoints sont supportés ?

    je n'ai d'intéressant dans les docs
    https://datafari.atlassian.net/wiki/spaces/DATAFARI/pages/3931832326/RAG+and+others+AI-powered+features+-+Recap

    j'ai vu que vous pouvez aussi "clouder" de la puissance GPU, j'aurais bien aimer avoir un retour d'expérience sur le prix par mois que coute ce genre d'IA

    Beau boulot en tout cas

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.