Journal DeuSu, un moteur de recherche libre avec son propre index

Posté par  . Licence CC By‑SA.
Étiquettes :
16
9
sept.
2016

DeuSu est un moteur de recherche libre, qui utilise son propre index (ce n'est pas un méta-moteur comme searx, qui vient de passer en v0.10), ne stocke pas les adresses IP et n'utilise pas de cookies.

Il clame aussi ne pas mettre de pubs et ne jamais en mettre, mais comme c'est un site géré par une seule personne, et qui cherche à financer son serveur par des dons (300€/mois), on ne peut en être sûr (pas comme avec Yacy, qui fonctionne en pair à pair).

Le logiciel (écrit en Delphi) a indexé 2 milliards de pages web.
Les résultats ne sont pas très probants, le développeur le sait et y travaille: «I planned to use link-data between pages to improve the ranking. This link-data is stored separately from the actual search-index and I only have this data for about 10% of crawled pages so far. It's a LOT of data! I will continue to collect this link-data. I think it is possible that I just don't have enough data yet for this function to work as intended. With more data it may work. Until then I have to keep this function disabled

Il mettra (mets?) à disposition une api totalement libre d'utilisation et la base de donnée de l'indexation en téléchargement libre.

Bel effort, mais est-il viable en étant centralisé et ne dépendant que d'une personne ? Son propre index est-il une valeur ajoutée suffisante ?

  • # recherche

    Posté par  (site web personnel, Mastodon) . Évalué à 6. Dernière modification le 09 septembre 2016 à 15:24.

    Je fais une recherche pour tester avec « linuxfr », et le premier résultat qui tombe est mon propre flux atom (http://linuxfr.org/users/goffi.atom), c'est une coïncidence ? Je n'ai pas ajouté « goffi » ou quoi que ce soit.

    La réponse est très rapide en tout cas.

    Sinon quitte à faire du Pascal, pourquoi ne pas utiliser Lazarus/Free Pascal qui sont libres, multi-plateformes et ont une communauté qui semble très active ?

    L'effort est louable, mais je suis plus convaincu par le P2P à la Yacy ou le collaboratif. Si on peut accéder à l'index via API et le télécharger, c'est très appréciable en tout cas.

    • [^] # Re: recherche

      Posté par  . Évalué à 7.

      Je fais une recherche pour tester avec « linuxfr », et le premier résultat qui tombe est mon propre flux atom (http://linuxfr.org/users/goffi.atom), c'est une coïncidence ? Je n'ai pas ajouté « goffi » ou quoi que ce soit.

      Pour moi aussi c'est ton flux qui sort en premier.

      Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)

    • [^] # Re: recherche

      Posté par  . Évalué à 4.

      Sinon quitte à faire du Pascal, pourquoi ne pas utiliser Lazarus/Free Pascal qui sont libres, multi-plateformes et ont une communauté qui semble très active ?

      https://github.com/MichaelSchoebel/DeuSu/blob/master/README.md

      The software was originally written in Delphi (=Pascal). The latest Delphi version I have is XE2, and I don't know if it will compile and run in newer versions of Delphi. Please see the notes below about compiling with FreePascal for Linux and Windows.
      New development will be done for FreePascal only.

  • # Source: Diaspora #decentralization

    Posté par  . Évalué à 2.

    En fait, je l'ai découvert sur Diaspora: https://framasphere.org/posts/2174861 avec le tag #searchengine. Sur lequel je découvre à l'instant GoodGopher, un moteur de recherche pour des informations de qualité, qui choisit les sites d'info à indexer !

  • # algo

    Posté par  . Évalué à 10.

    Je m'interroge sur l'algo de détermination de la pertinence par exemple pour chauve https://deusu.org/query?q=chauve c'est relativement étonnant.

    C'est expliquer sur le site ? je n'ai pas vu

    • [^] # Re: algo

      Posté par  . Évalué à 6.

      Euh… lol ^^

      Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)

    • [^] # Re: algo

      Posté par  (site web personnel) . Évalué à 10.

      C'est indiqué dans la tagline :

      DeuSu is short for "Deutsche Sucemaschine"

      Adhérer à l'April, ça vous tente ?

      • [^] # Re: algo

        Posté par  (site web personnel, Mastodon) . Évalué à 4. Dernière modification le 09 septembre 2016 à 20:08.

        bon c'est pas moi qui ait commencé : tentez la traduction de 'doux s'il vous plait' sur google translate du français vers l'allemand… ( sachant que le ß correspond à deux s ).

      • [^] # Re: algo

        Posté par  . Évalué à 3.

        « Comment on appelle six putes allemandes ?
        - Six sauteuses boches. »

        Je passe directement par la fenêtre…

      • [^] # Re: algo

        Posté par  . Évalué à 3.

        DeuSu is short for "Deutsche Sucemaschine"

        Un moteur de recherche qui suce, ça c'est une bonne nouvelle ! Parce que avec Google, je trouve à chaque fois mon bonheur mais je dois me finir à la main.

        s/ce/ch/

  • # Moyens

    Posté par  (site web personnel) . Évalué à 5.

    Quel est le problème d'un moteur de recherche?
    Le cout de l'infrastucture de crawling ou l'algo de classement?

    • [^] # Re: Moyens

      Posté par  (Mastodon) . Évalué à 4.

      J'ai envie de dire "les 2 mon commandant".

      Sans une capacité gigantesque au crawling, tu n'auras pas dans ta base les bonnes réponses, mais sans un bon algo (surtout si tu index énormément) tu ne sortiras pas les bons résultats en tête.

      En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.

      • [^] # Re: Moyens

        Posté par  . Évalué à 5.

        Mouais, je dirais quand même que l'algo est plus important, parce que si tu te contentes d'indexer le web grand public (Wikipédia, journaux en ligne, etc), tu vas pouvoir donner une réponse pertinente à beaucoup de requêtes si ton algo est bon. Ça peut permettre de démarrer un projet, de donner confiance aux utilisateurs, et de monter en puissance. Par contre, si ton truc renvoie une page au hasard, jamais personne ne va te faire confiance.

    • [^] # Re: Moyens

      Posté par  (site web personnel) . Évalué à 8.

      Trouver quelqu'un pour payer quand un concurrent le fait déjà, "bien" et gratos ?

      • [^] # Re: Moyens

        Posté par  . Évalué à 4.

        marrant j'aurais mis les guillemets sur gratos et pas sur bien.

  • # Delphi

    Posté par  (site web personnel) . Évalué à 4.

    Peut-on vraiment faire du logiciel libre en Delphi ? Par le passé, pour compiler Delphi, il fallait utiliser un compilateur propriétaire, est-ce encore le cas ?

    • [^] # Re: Delphi

      Posté par  (site web personnel) . Évalué à 4.

      Je ne pense pas que ce soit incompatible. En gros, si les sources sont libres, la spec du langage est libre/publique, et que le compilateur n'impose pas sa licence au code qu'il compile, peu importe si le seul compilo existant est proprio.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.