Journal : DLFP social network

Posté par Krunch (Jabber id, page perso, ) le 01 novembre 2006
0
Dans un moment de désoeuvrement j'ai entrepris d'écrire de quoi générer un graphe des relations entre les utilisateurs de DLFP. Après quelques heures de travail, j'ai un truc qui donne des choses comme ceci :
http://ms800.montefiore.ulg.ac.be/~kunysz/dlfpers.8.png

Chaque flèche représente un certains nombre de réponses à des messages dans l'ordre "message parent -> réponse". Par exemple on peut voir que thoasm a répondu à huit messages de briaeros007. Ce graphe ce base sur 965 dépêches et journaux. Ne sont représentés que les liens d'au moins huit messages.

Je sais pas trop à quoi ça peut servir mais si vous voulez essayer il vous faudra WWW::Mechanize, HTML::Parser, graphviz et ces deux scripts :
http://www.krunch.be/vrac/qua/dlfpget.pl
http://www.krunch.be/vrac/qua/dlfpdot.pl

Le premier sert à récupérer les pages voulues tandis que le second les analyse.
$ ./dlfpget.pl 3 # nombre de pages à récupérer en argument
21546.html
21515.html
21534.html
$ ls *.html* | ~/prj/dlfp/dlfpdot.pl 1 > dlfpers.dot # "largeur" minimum des liens en argument
$ dot -Tpng -o dlfpers.png dlfpers.dot
dlfpget.pl ne récupère que les dépêches et journaux, il ne va pas chercher dans les forums mais l'adaptation est triviale à réaliser. Évitez aussi de demander trop de pages à dlfpget.pl si vous ne voulez pas DDoSer DLFP.

Par ailleurs, un projet similaire existe pour IRC : PieSpy. J'avais commencé un patch pour lui permettre d'analyser des logs hors ligne mais je sais plus ce que j'en ai fait (et javasaynul de toute façon).
http://www.jibble.org/piespy/

> Lire le journal (44 commentaires, moyenne: 3,8).  

Cette discussion est archivée, il n'est plus possible de laisser des commentaires.

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.

...

Posté par Julien (Jabber id, page perso, ) le 02/11/2006 à 00:00. (lien). Évalué à 8.

Inutile donc indspensable *\o/*

  • [^]Re: ...

    Posté par Krunch (Jabber id, page perso, ) le 02/11/2006 à 00:10. (lien). Évalué à 10.

    J'ai généré le graphe de chaque personne ayant au moins un lien plus gros que 1.
    http://ms800.montefiore.ulg.ac.be/~kunysz/dlfp/fancy_indexin(...)
    http://www.krunch.be/vrac/qua/dlfpeople.pl

    --
    Free Softwares Users Group Arlon (Sud Luxembourg, Belgique)
    pertinent, e adj. Approprié ; qui se rapporte exactement à ce dont il est question.
    • [^]Re: ...

      Posté par LeVulcain () le 02/11/2006 à 12:21. (lien). Évalué à 2.

      oh , j'y suis !
      'tain le seul qui apparait avec moi c'est "matiasf" (alias "007" , "ehobadoag" ...) .

      je suis maudiiiiiiiiiit ...........

    • [^]Re: ...

      Posté par Sylvain Sauvage () le 02/11/2006 à 17:53. (lien). Évalué à 3.

      S'il te plaît M. Kadbury, tu peux pas faire donner la liste des fichiers dans l'ordre analphabétique ?

    • [^]Re: ...

      Posté par ashram4 () le 02/11/2006 à 21:14. (lien). Évalué à 1.

      oh je suis présent ! pourtant je n'ai jamais été très actif sur le site et presque plus du tout depuis plusieurs mois.

Et pour la tribune ?

Posté par jr lamoule (page perso, ) le 02/11/2006 à 00:54. (lien). Évalué à 3.

Ce serait bien de pouvoir faire la meme chose avec la tribune.
Je crois d'ailleurs qu'il y avait un truc qui faisait ca a une epoque ...

Mais ca a pas duré longtemps.
C'etait deporté sur un serveur distant qui tenait pas la charge si mes souvenirs sont bons.

D'un autre coté, vu que certaines personnes archivent la tribune maintenant ca pourrait etre marrant ...

  • [^]Re: Et pour la tribune ?

    Posté par Wo0chY () le 02/11/2006 à 09:59. (lien). Évalué à 3.

    C'est ça, LLG en avait fait un mais c'était sur un serveur qui ce vautrait régulièrement ce qui avait le bon goût de faire planter le compteur de preum's

PasBill PasGates

Posté par Matthieu Moy (page perso, ) le 02/11/2006 à 06:33. (lien). Évalué à 4.

Et bah, PbPg est encore une fois la star de Linuxfr !

Des clans sur DLFP ??

Posté par Mais qui suis-je ? :) () le 02/11/2006 à 07:10. (lien). Évalué à 4.

Il y a un truc qui saute aux yeux sur ton graphe
Tu as deux gros clans sur linuxfr (MSUSA et TImaniac )
Et qui en plus ne se parle pas...
Il faudrait pousser ton étude pour voir si dans les trolls les membres de ces clans sont du même camp ou non. :)

Bravo pour ton petit joujou...

  • [^]Re: Des clans sur DLFP ??

    Posté par Marc Poiroud (Jabber id, page perso, ) le 02/11/2006 à 07:34. (lien). Évalué à 10.

    bah moi je vois que LiNuCe parle tout seul !
    ...
    le pauvre !

    LiNuCe on t'aime :-*

    --
    La chanson est une industrie parce qu’une poignée d’imbéciles a réussi à être moins con que le reste.
    (Coluche)
  • [^]Re: Des clans sur DLFP ??

    Posté par TImaniac (page perso, ) le 02/11/2006 à 08:39. (lien). Évalué à 5.

    C'est pas une question de "camp", c'est juste que globalement pBpG et moi avons un point commun : on aime pas les affirmations gratuites FUD et autres dénigrements sans fondement des produits "concurrents" à Linux. Ca explique assez logiquement qu'on est souvent d'accord, et qu'on trouve rien à se "re"dire, enfin c'est le cas pour ma part :) (Faudrait pouvoir faire un graphe des pertinentages, mais les données ne sont pas dispo).
    Ca explique aussi assez logiquement qu'on engendre un certain nombre de troll et qu'on se retrouve "au milieu" vu le site sur lequel on est.

Moi ça me fait peur ce genre de script.

Posté par locnet () le 02/11/2006 à 07:41. (lien). Évalué à 3.

Suis-je le seul ?

Sur la toile, les acteurs du web (nous) laissent tes traces minuscules, toutes insignifiantes.

Mais des gens s'amusent à analyser ces traces et visiblement en sortent une synthèse qui contient des informations peut être pertinentes que ces acteur n'ont jamais voulu diffuser.

Aller, je retourne désactiver les cookies.

--
--
locnet
  • [^]Re: Moi ça me fait peur ce genre de script.

    Posté par jr lamoule (page perso, ) le 02/11/2006 à 08:24. (lien). Évalué à 6.

    Euh ....
    Je crois effectivement qu'a ce point là, tu as quand meme pas mal de soucis a te faire.

    Premièrement, tu sais que pour commenter les news, il faut avoir un compte.
    Deuxièmement, tu te plains que l'on puisse lire tes commentaires et en faire une synthèse.
    Bizarre....

    Surtout que google fait ca aussi tres bien sur linuxfr.
    Par exemple, je te propose une recherche anodine : "gateau yahourt micro onde".
    Et ben paf : Premier lien : "Journal de Ragnagna: J'ai découvert le micro-onde...."

    Je ne comprend pas trop, tu n'assumes pas ce que tu dis ?

    • [^]Re: Moi ça me fait peur ce genre de script.

      Posté par thom_ra () le 02/11/2006 à 10:01. (lien). Évalué à 5.

      Non, il veut peut-être dire qu'à partir de quelques infos insignifiantes laissées ça-et-là, on peut arriver à en tirer d'autres données, qui pourraient être croisées avec d'autres, etc... Et finir par apprendre pas mal de choses sur des gens qui ne l'imaginent même pas.

Génial !

Posté par ploum (page perso, ) le 02/11/2006 à 07:44. (lien). Évalué à 4.

Vraiment excellent !

Je pense adapter le machin pour faire un truc que j'ai envie de faire depuis quelques temps : l'analyse des réseaux des blogrolls sur les blogs dotclear.

Le principe serait de prendre un blog dotclear de départ et puis d'analyser récursivement les blogs dotclear qui sont dans sa blogroll. (je parie que le standblog se trouvera bien au centre)

Tout à fait inutile mais j'avais juste envie de le faire et je crois que ça doit être relativement simple d'adapter ton script.

Merci en tout cas :-)

  • [^]Re: Génial !

    Posté par Matthieu Moy (page perso, ) le 02/11/2006 à 09:04. (lien). Évalué à 5.

    Au passage, c'est ce genre d'algos qui est utilisé par les moteurs de recherches. Le web est juste un énorme graph ;-).

  • [^]Re: Génial !

    Posté par Clément varaldi (page perso, ) le 02/11/2006 à 09:22. (lien). Évalué à 3.

    Une tentative dans ce sens avait ete faite pour savoir quels auteurs lisent quels blogs. "testing meme propagation in blogspace"

    http://www.google.fr/search?hl=fr&q=testing+meme+propaga(...)

    Le souci, c'est que ca se faisait sur trackbacks. Et j'ai l'impression que les spammeurs ont sauté sur celui-là. A tel point que la moitie des commentaires a spam arrivaient sur mon billet relatif a ce testing meme propagation. J'y ai desactivé commentaires et trackbacks, et en une semaine ca a reduit mon spam de 75%.


    A noter que le genre de techniques que tu penses utiliser dans un but tout a fait louable est aussi celui utilisé apparemment par les crawlers de spam (et les moteurs de recherche). Pour s'en convaincre : cree un blog, sans blogroll, aucun lien vers d'autres blogs, desactivation systematique des trackbacks, et lien dans les commentaires supprimé. Tu verras, tu ne recevras quasiment aucun spam.

    Par contre l'idee de parcourir la blogosphere pour faire une carte des blogrolls pourrait etre vachement fun :)

  • [^]Re: Génial !

    Posté par Krunch (Jabber id, page perso, ) le 02/11/2006 à 12:05. (lien). Évalué à 3.

    Mon script n'est pas vraiment adapté pour analyser de cette manière mais il devrait être assez facile d'en réécrire en utilisant les mêmes outils pour faire ce que tu veux.

    --
    Free Softwares Users Group Arlon (Sud Luxembourg, Belgique)
    pertinent, e adj. Approprié ; qui se rapporte exactement à ce dont il est question.

Private Joke

Posté par Julien L. () le 02/11/2006 à 09:16. (lien). Évalué à 3.

C'est bien tout ça, mais où est ploum ?

  • [^]Re: Private Joke

    Posté par chl (page perso, ) le 02/11/2006 à 09:20. (lien). Évalué à 6.

    T'es pas au courant ? Il est chez sa boulangère ...

    • [^]Re: Private Joke

      Posté par Gniarf () le 02/11/2006 à 21:11. (lien). Évalué à 1.

      et merde, perdu :'(

      --
      Windows has no users. It has hostages.

bug ?

Posté par gc (page perso, ) le 02/11/2006 à 09:52. (lien). Évalué à 3.

Le fait que MSUSA se soit répondu 16 fois à lui-même me semble suspect...

  • [^]Re: bug ?

    Posté par Beretta_Vexee () le 02/11/2006 à 13:28. (lien). Évalué à 1.

    A une époque ( ou le vote ne s'effectuer que sur des post anonymisé ) c'était une technique courante sur /. pour augmenter son Karma. L'on poster un commentaire et l'on jouer son propre détracteur, avec un peut de chance et de talent l'on récupérer les votes des pours et des contres.

    J'avoue avoir utiliser cette technique il y a pas mal de temps avec un certains succès, sans que grand monde ne s'en rend compte.

    Cela tant a prouver deux choses:
    - Les contributeurs quand ils font attention a l'auteur, n'ont pas de vision global de ses contributions et ne remarque pas les incohérence de celle-ci.
    - Le votes positifs sont supérieur en nombre aux votes négatifs.

    --
    Il relève de la responsabilité du lecteur de contrôler, par tous moyens, l'adéquation du message à ses besoins et de s'assurer qu'il ne causera pas de dommages aux personnes et aux biens.
    • [^]Re: bug ?

      Posté par ploum (page perso, ) le 02/11/2006 à 14:05. (lien). Évalué à 6.

      moi j'avoue que sur un site comme Linuxfr où il n'y a pas d'avatar, je ne sais jamais à qui je répond et je n'ai aucune idée des "personnalités".

      ça m'est déjà arrivé de me répondre à moi-même sans m'en rendre compte de suite, c'est pour tout dire...

      • [^]Re: bug ?

        Posté par jr lamoule (page perso, ) le 02/11/2006 à 14:10. (lien). Évalué à 4.

        Un peu comme ca : http://nojhan.free.fr/geekscottes/index.php?strip=4 ?

        • [^]Re: bug ?

          Posté par ploum (page perso, ) le 02/11/2006 à 14:18. (lien). Évalué à 8.

          ouais, sauf que moi c'était pour un problème. Je cherchais et je tombe sur un gars qui a le même problème.

          Du coup je poste : "j'ai exactement le même problème, tu sais me tenir au courant si tu as une solution ?"

          Et évidemment, le gars en question, c'était moi.

          Le bide quoi...

          • [^]Re: bug ?

            Posté par Krunch (Jabber id, page perso, ) le 02/11/2006 à 14:23. (lien). Évalué à 3.

            > ouais, ça m'est arrivé plus d'une fois. Je lis un message et je me
            > dis : "tain, ce type a exactement le même problème que moi. Marrant."
            > Puis en regardant .. ah merde, c'est moi.
            > ça m'est même une fois arrivé de me répondre dans un de mes journaux
            > linuxfr en disant "J'ai le même problème que toi. Tiens nous au
            > courant si tu trouves une solution"
            > Le bide absolu...
            une fois j'ai même failli me répondre par : RTFM
            -- ploum et ze Fripouille Jack sur DLFP(#528790)
            https://linuxfr.org/comments/528790.html#528790

            --
            Free Softwares Users Group Arlon (Sud Luxembourg, Belgique)
            pertinent, e adj. Approprié ; qui se rapporte exactement à ce dont il est question.
            • [^]Re: bug ?

              Posté par ploum (page perso, ) le 02/11/2006 à 15:33. (lien). Évalué à 3.

              arf, au moins je suis constant vis-à-vis de ce que je dis...

          • [^]Re: bug ?

            Posté par Dring FirebirdVsMySql () le 03/11/2006 à 09:13. (lien). Évalué à 3.

            Et t'as eu une réponse ?

            --
            Non, rien.
    • [^]Re: bug ?

      Posté par Pierre Tramo (page perso, ) le 02/11/2006 à 14:09. (lien). Évalué à 10.

      C'est bizarre que ça ait fonctionné dans ton cas, parce que sans même regarder le pseudo, à l'orthographe on te reconnaît tout de suite.

      • [^]Re: bug ?

        Posté par Beretta_Vexee () le 02/11/2006 à 20:46. (lien). Évalué à 2.

        Je t'avouerais que j'en étais le premier étonné. Surtout quand l'on voit mon orthographe d'il y a quelques années.

        --
        Il relève de la responsabilité du lecteur de contrôler, par tous moyens, l'adéquation du message à ses besoins et de s'assurer qu'il ne causera pas de dommages aux personnes et aux biens.

Analyse..

Posté par chimrod (Jabber id, page perso, ) le 04/11/2006 à 17:52. (lien). Évalué à 2.

J'ai testé le script sur 2177 pages de linuxfr. J'ai filtré selon la limite de 4 commentaires ( ici : http://sebastien.dailly.free.fr/images/linuxfr/dlfpers-4-217(...) ) et 6 commentaires ( http://sebastien.dailly.free.fr/images/linuxfr/dlfpers-6-217(...) ).
Ce que j'en tire : parmi les personnes qui répondent, on constate que la majorité des personnes sont "prises" dans le réseau, le nombre d'individus qui se trouvent en dehors, soit en ne répondant à personne, soit parce que personne ne leur répond est très rare. Au niveau du réseau en lui même, il reste assez confus, mais on constate quelques points de convergences. ( Il faudrait relever les noms et voir de quelle manière ils influent sur le site pour plus de précision. )
Je trouve que cela montre bien que linuxfr est une "communauté" d'utilisateurs, formée autour de linux, et ce que les autres commentaires revèlent n'est pas anodin : peur que cette communauté se transforme en clans, reconnaissance des individus qui font tourner le site... Les réactions des linuxfriens sont autant révélatrice que le graphique en lui même :) !

--
It is no bug, it's future
  • [^]Re: Analyse..

    Posté par Sylvain Sauvage () le 04/11/2006 à 18:22. (lien). Évalué à 2.

    @Yusei : je crois que c'est la faute à Ruby si nous apparaissons proches ;o)

    Limiter le nombre de commentaires permet d'éclaircir le graphe mais cela crée un effet de bord : cela cache l'activité de ceux qui répondent à beaucoup. P.ex., si A ne poste que 7 messages, mais tous à B, il apparaît dans le groupe de B ; par contre, si C poste 40 messages, mais pas plus de 3 par personne, il apparaît isolé. Or C relie en fait les environ 40/3 personnes auxquelles il a répondu.
    Je ne vois pas trop comment on peut faire ressortir cet aspect.

  • [^]Re: Analyse..

    Posté par Jeanuel (Jabber id, page perso, ) le 06/11/2006 à 10:41. (lien). Évalué à 2.

    Moi qui suis un lecteur assidu depuis longtemps, mais qui contribue peu, je n'apparais presque pas. De rage, je poste ce commentaire pour exister.

Revenir en haut de page