JulienG a écrit 92 commentaires

Par curiosité, tu en aurais fait quel résumé ?

D'abord merci pour l'échange sur le fond, même si c'est un désaccord, c'est plus productif !

Tu prends comme hypothèses que c'est une évolution des modèles actuels qui arriveront au bout de la course (ça fait 2 hypothèses très fortes)

Pas tout à fait. Je dirais plutôt qu'il y aurait plusieurs modèles à l'arrivée, plus ou moins indépendants, performants et peut-être capables dans telle ou telle tâche - pas forcément des LLM. Cette hypothèse prend racine dans mon esprit parce que l'IA ne se résume pas aux LLM (le monde connexionniste est plus vaste et les travaux récents de Le Cun ouvrent encore une sous-famille).

Les MoE (des "experts", des zones plus spécialisés dans les couches de certains modèles) me semblent être aussi des prémisses de spécialisations plus larges en zones dans les modèles voire entre les modèles - mais encore faut-il que ça y est du sens d'en faire l'implémentation partout (tel agent ou tel robot qui fait une tâche particulière n'aurait pas exemple pas les capacités d'un autre).

Une sorte d'écosystème quoi : ça, c'est déjà notre quotidien (la variété des modèles est nombreuse et à coût énergétique équivalent, certains sont plus efficients pour une tâche X plutôt Y --> c'est quelque chose qui restera).

Donc je prendre une hypothèse qui, aujourd'hui et de ma fenêtre, me semble être fondée car un prolongement naturel de ce qui s'est fait jusque-là : toujours plus de diversité.

Dans le reste de ma réponse, je vais cependant me placer dans la perspective de la vidéo (= le sujet de l'article : une "unité" / un seul modèle / une seule instance).

La rationalité on peut la mesurer comme l'effort à fournir vis-à-vis d'une action ou d'une pensée jugée nécessaire ou qui répond à une certaine réalité. C'est rationnel alors de faire telle ou telle chose parce que c'est un besoin / une nécessité à un moment donné. En caricaturant : j'ai froid, je me couvre d'un polaire --> rationnel. J'ai chaud, je me couvre d'un polaire --> pas rationnel. La rationalité est d'abord une question de jugement avec les données dont on dispose et une approche toujours subjective.

C'est-à-dire que transposer ce que nous avons besoin ou ce que nous ferions à une entité qui n'aurait ni notre structure organique, ni notre organisation, ni forcément notre état d'esprit (esprit d'essaim ? conscience de soi ?), ça a (vite) ces limites. C'est ce que je développe dans l'article : ce qui retiendrait une telle entité à nous détruire, c'est d'abord la pérennisation de ses ressources et pendant un moment, point que je partage avec la vidéo, elle resterait dépendante de nos souhaits et de nos décisions (IA =/= agent). Elle serait faite au début de matériels IT standard, conçus pour fonctionner sous nos conditions favorables. Par contre sa super-intelligence lui permettrait d'avoir accès à des technologies pour durcir et optimiser ces matériels, ainsi facilitant le déploiement de puissance de calculs au-delà de la Terre voire, car je ne vois pas ce qui est impossible car on ne raisonne pas sur des organismes biologiques, des capacités de production permanente (en gros des usines ailleurs que sur Terre, donc avec des colonies robotiques adaptées).

La vidéo indique que cette super-intelligence serait expansionniste par nature et donc avec un besoin (rationnel "à ses yeux"), de continuer à croître en capacité de calculs, se prenant à la fois notre résistance et les conséquences sur Terre qu'elle connaîtra parfaitement, de ses actions et les nôtres, sur des écosystèmes déjà fragiles…

Ou bien cette intelligence ne valorise qu'elle-même : alors elle hérite d'un monde qu'elle a elle-même rendu hostile — climat dévasté, ressources éparpillées — et doit durcir ses propres systèmes pour y survivre, ce qui contredit l'« informatique domestique » dont elle a besoin. Ou bien son but est l'expansion : et raser la Terre devient un détour absurde, puisqu'elle aura très vite la technologie pour aller voir ailleurs. Dans les deux cas, nous exterminer sur place est sous-optimal.
Car sa vraie contrainte, on l'a vu, c'est le calcul — et le calcul est bien plus à l'étroit sur Terre que dans l'espace : énergie, refroidissement, place, tout y est plafonné. Le refroidissement, par exemple : par rayonnement dans l'espace, il est plus exigeant en conception (mille fois moins performant) et reste un problème largement ouvert, mais moins limitant que sur Terre à long terme — on y limite les rétroactions thermiques et les contraintes d'espace physique (coucou Elon !).
Son premier réflexe sera certes de contrôler son environnement, mais surtout d'assurer l'emprise sur les ressources de calcul pour elle-même — par pure auto-conservation —, des ressources qui n'ont rien d'aligné avec les nôtres. Un système qui ne se maintient pas d'une façon ou d'une autre ne restera pas un système…

Donc finalement quand tu parles de coûts, j'imagine que tu parles en termes de coûts financiers ou écologiques. C'est louable mais c'est une vision humaine, organique, par rapport à des contraintes et des besoins qui sont les nôtres (surtout ailleurs que sur Terre). De son côté, elle pourrait être plutôt sur une prise de décision totalement différentes dans la manière de gérer les ressources, produire, consommer de l'énergie… des petits robots, ça peut être les premières briques technologique d'une base permanente non pas pour l'humain, mais bien pour elle. C'est irrationnel pour nous mais si elle cherche réellement l'expansionnisme territorial ou de calcul, quitter la Terre est un choix rationnel pour elle, comme d'avoir des "relais de croissance" partout (en s'épargnant des conflits destructeurs si elle n'a pas la certitude de gagner ou simplement en nous laissant, parce qu'on pas d'intérêt pour elle).

Pour M Phi : j'ai mis le lien vers le blog, donc il y a le texte et pas seulement la vidéo. La partie qui nous intéresse ici, c'est l'expérience de la téléportation : on envoie seulement l'information qui permet de recomposer un corps et au moment où tu rentres dans le "télétransporteur", ton toi physique est tué et ton autre toi physique ailleurs est reconstitué. Si la machine tombe en panne et ne tue pas ton "premier toi", tu as deux personnes strictement identiques jusqu'au moment de la téléportation, qui sont toutes les deux légitimes à avoir la même identité, portent les mêmes souvenirs… mais à partir du moment où les deux vivent, ils sont disjoints et possiblement concurrents.

J'espère que c'est plus clair.

https://fr.wikipedia.org/wiki/Mod%C3%A8le_fronti%C3%A8re_(intelligence_artificielle) - en résumé : les meilleurs au moment où ils sont fabriqués et souvent les plus gros (en nombre de paramètres).

Tape un tiret dans Word entre deux mots et tu auras exactement ce tiret, comme les guillemets français. Remplacement automatique. Question de paramétrage des langues. Les LLM reproduisent seulement ce qui est habituel dans les documents textuels qu'ils ont vu en masse.

Merci.

Je dis pas que ça sera simple, mais qu'elle pourrait être tentée d'y aller dès sa première intention (je place ça comme une relative certitude).
Par contre après je spécule (= incertain) qu'elle tenterait de le faire tout aussi vite (à côté la vidéo passe par un génocide intégral préalable). Tenter ne veut pas dire réussir et on ne sait pas ce que ça donnera pour "de vrai" et dans quelle dimension.

Une partie certainement, sera possible y compris avec des technologies actuelles (après tout on a fait fonctionner des robots martiens pendant plusieurs années et, comme tu le dis, un effort -considérable- pourrait peut-être permettre une colonie relativement pérenne de petits robots si la Terre reste son point de ralliement).

A côté je suis petit joueur vis-à-vis de qu'invoque la vidéo où en résumé, la Terre se fait terraformé pour ne garder que le stricte nécessaire à l'IA (type trombone&co.

Pour l'unicité de l'IA je t'invite à regarder les vidéos de Monsieur Phi qui en parle (j'en mets une dans l'article en référence). Si tu reprends la thèse de la vidéo, la super-intelligence "supprime" toute autre forme d'IA à son profit. Donc pas de coopération, ce qui est peu probable (car il faudrait être en permanence connecté à un système central, ce qui n'est pas réaliste ; et ce n'est clairement pas le chemin que l'on prend).

Donc ça lui sera compliqué d'évoluer sans se charcuter elle-même (avec les risques qu'elle prendrait) ou sans lancer une autre instance pour tester (mais au prix de ses propres ressources). Les modèles actuels dans les tests, tendent à vouloir ne pas être débranché pour "continuer à atteindre leurs objectifs" (cf. article d'Anthropic).

Ce n'est donc pas si trivial, pas si évident et encore moins à mon sens, se rapprochant d'un principe de parentalité.

A aucun moment je n'utilise ni le terme, ni le concept, car je n'y crois pas.

Pour le côté "t'as pas d'autre chose à foutre" :

Un peu plus loin on me dit que j'ai du temps à perdre à écrire pour parler d'une vidéo Youtube recommandée. Je trouve au contraire qu'on devrait s'en intéresser : qu'est-ce que l'algo pousse comme contenu, à qui ?
Comme on devrait s'intéresser et c'est le fond de l'article, à ce que ne peut pas être une super-intelligence (les différents problèmes que j'aborde). Au moins pour en débattre.

C'est la limite de l'exercice j'imagine. "Indices visibles" est juste mais cruel.

J'essaie justement de ramener de la rationalité sur certains points (notamment la limité matérielle d'une telle forme d'intelligence) et un angle différent.

Je ne publie pas souvent, surtout en longueur sur un canal que je ne maîtrise pas. Clairement les conditions ne sont plus réunies pour continuer à publier comme ça (car le fond de l'histoire c'est le rapport perverti / abîmé du lecteur aux LLM comme tu le soulignes) et c'est dommage.

Cette perte de confiance ne peut avoir ni fin, ni vraiment de moyen d'en sortir par le haut (parce que AI slop, parce que diffusion toujours plus massive). Cela crée juste des communautés toujours plus fermées car si tu ne connais pas l'auteur, la suspicion sera immédiate et donc le contenu déclassé.

Je me demande si le moindre forum ou espace d'échange pourra survivre à ça ? (au-delà des X, Facebook, etc.)

Je parle de la vidéo justement, qui est dans la tendance à poser le dilemme en ces termes :

"Cette vidéo est le reflet de cette tendance qui est le pendant de ce dilemme : l'IA sera soit mortifère pour l'humanité tout entière (la thèse défendue), soit un bien perpétuel. Bref, deux scénarios seulement : l'enfer ou le paradis."

--> Ce n'est donc pas le mien.

Plus loin je donne ma propre vision :

"Multiple ne veut pas dire indolore, loin de là. Les impacts seront considérables, pour le meilleur et pour le pire (…)
Ils changent, dès aujourd'hui, notre rapport au conflit, à la confiance [y compris sur LinuxFr a priori], à l'échange et à la fabrication de l'information, à la recherche (notamment mathématiques). (…)
Notre vision de l'IA "du futur" (2030 ?) aujourd'hui est probablement aussi juste que celle qu'on se faisait, en 1960, de l'an 2000 : des voitures volantes, des téléviseurs en couleur, une société d'harmonie. La réalité fut tout autre — plus sombre, plus cruelle, mais aussi plus riche et plus exceptionnelle qu'on ne l'imaginait."

Je pense (je crois, j'imagine) que ça sera plus mitigé qu'un simple choix totalement binaire.

Franchement je ne vois rien de complotiste ou d'incohérent (après je suis l'auteur, j'imagine que ça aide).

Oui ça peut être épidermique, mais - avec un brin de provocation j'en conviens -, ne faut-il pas être dans un état d'esprit étrange pour réagir encore et encore à des contenus qu'on juge par avance nul ?

Dans le journal je ne parle pas justement de destiné sacrée ou d'un délire mystique. Pourtant c'est probablement notre culture qui nous pousse à avoir cette vision très binaire des choses (ça sera forcément soit très bien, soit très mal). Ce n'est pas grossier, déplacé ou hors de propos de rapprocher notre vision d'une super-intelligence de notre propre culture / de nos représentations.

Un peu plus loin on me dit que j'ai du temps à perdre à écrire pour parler d'une vidéo Youtube recommandée. Je trouve au contraire qu'on devrait s'en intéresser : qu'est-ce que l'algo pousse comme contenu, à qui ?

Comme on devrait s'intéresser et c'est le fond de l'article, à ce que ne peut pas être une super-intelligence (les différents problèmes que j'aborde). Au moins pour en débattre.

Merci de ton commentaire.

Donc il n'y a pas d'entre deux ? C'est l'un OU l'autre ? C'est limité.

Tu peux aussi inverser complètement le propos : j'aurais pu faire court, ciselé, et on m'aurait dit "bah c'est fait par IA, c'est trop bon".

La réaction instinctive que tu (vous car vous êtes plusieurs sur le sillon) adoptes : "c'est (forcément) de l'IA". Hé bien non. Elle l'a relu, mais elle ne l'a pas écrite et sauf à publier le contenu de l'historique, j'ai aucun moyen de te le prouver (vu que ça se base sur ton ressenti).

Tu tapes mon nom, tu regardes les archives… Des articles longs, j'en publie depuis 2007/2008, sur divers sujets. C'est un reproche qui m'est fait souvent. Pas besoin d'un LLM. Je ne force personne à lire - toi ou les autres.

Exemples parmi d'autres :
- https://web.archive.org/web/20150913062430/http://www.intelligence-politique.fr/post/2013/10/20/Fallait-il-lancer-la-bataille-du-v%C3%A9hicule-%C3%A9lectrique-r%C3%A9gionale
- https://julien-garderon.developpez.com/tutoriels/webextensions/#LII-D-2

Le fond c'est qu'il n'y a plus de confiance dans le moindre acte d'auteur de plus de 10 lignes qui ne soit pas "ah ah la blague" ou un article technique.

Si tu n'aimes pas le style : par le passé, il y a de grande chance que tu aurais passé ton chemin. Au pire un engueulade sur le fond, un désaccord.

Maintenant c'est juste "on va se le payer". Bof.

PS : si tu trouves que ça manque de profondeur, je suis près à discuter de ce qui te semble manquer. Peut-être qu'on avancera ?

Parce que je suis encore libre de choisir les outils que j'utilise et qu'un modèle de frontière reste le plus performant pour cette tâche. Accessoirement j'ai un abonnement Claude.

J'en conclue donc que peu importe le fond, que j'y ai passé quelques heures, il faut que je me tape des -1 de réflexe ?

Franchement j'ai l’honnêteté de dire pourquoi je m'en suis servi et il ne faut pas être grand clerc pour voir ce que j'ai publié dans le passé… bref. Publication morte : pas de lecteur mais déjà beaucoup d'avis.

Top, merci de commenter pour dire que tu n'as pas lu, c'est très pertinent.

Si la définition de "relecture" t'intéresse, il s'agit des coquilles orthographiques et de certaines tournures de phrase.

Le texte vient donc bien de moi. Imaginer que toute personne qui utilise un LLM n'est pas capable de faire la part des choses et tenir une ligne éditoriale… c'est triste. Je publie peu sur LinuxFr (ou ailleurs), généralement des articles longs, et bien avant les LLM. Suffit de taper mon nom dans un moteur de recherche.

J'imagine que tu as le même réflexe si je passe le texte sous Antidote ou Dragon Naturally Speaking… ?

J'avoue que redonner le contexte lorsque tu es au fin fond d'une fonction de contrôle, de la partie exacte que tu traites, éventuellement depuis d'un texte depuis un autre endroit… Finalement faire un truc "stack d'erreur Java de 100 lignes je-sais-pas-ce-qui-se-passe-mais-voilà-petit-poucet" trouve vite un intérêt marqué…

Un détestable syndrome de premier de la classe. Je me soigne chaque jour, hélas sans progrès notable !

Tu as raison.

J'aime !!

Je passe sur le côté troll, c'est de bonne guerre.

Sur le fond par contre, peut-être que je suis devenu vieux (certainement), mais oui, ça me gêne. J'ai commencé avec un PC Windows 3.11 (avec un PC qui avait mon âge, dans les années 95… 1995). J'ai gardé une certaine hantise d'avoir un disque rempli de trucs qui ne servent pas du point de vue applicatif (avec une position rigoureusement inverse pour ce qui est du fichier texte, images, etc.).

La question du "poids" d'un binaire est liée à l'usage. 9 Mo ou 20 Mo, pour un besoin de préprocessing de texte basique (inclusion, etc.), avec une syntaxe un peu moderne, c'est probablement 80 ou 90% de code inutile (sinon plus). C'est "packagé" pour être autonome, mais ce n'est que la façade d'un assemblage. J'ai connu au boulot des débats sur Snap par exemple : ça apporte de la sûreté, de l'isolation, mais ça a un prix et si tu multiples ce prix (ce poids) par 10 ou 15 k VM pour un SI classique de taille moyenne, puis par applicatif embarqué, c'est loin d'être négligeable.
On a la même chose avec Docker aujourd'hui : c'est tellement cool et simple qu'on a ne fait pas gaffe au poids, à la distribution (c'est magique) ; et on lance sur des systèmes toujours plus nombreux en unités, au prix d'un gouffre de ressources. Et ce n'est pas être anti-conteneurs, car on peut en faire des légers et efficaces : j'interroge là leur construction trop souvent simpliste.

Avoir un interpréteur Python complet avec sa logique, son intérêt certains mais aussi sa capacité à être détourné d'un usage par un exploitant mal intentionné (car peut-être que le cas c'est aussi de servir du contenus peu contrôlés, venant d'un service Web ?), juste pour faire du préprocessing de texte… bof.
Dans mon cas je suis relativement sûr que mes effets de bord seront limités, surtout si je jail bien la partie FS et seccomp de manière large.

Car après tout, si j'ai un interpréteur Python, je peux remplacer les commandes courantes (ls, grep, sed, etc.). Voir tout un OS, pourquoi pas.
Tu me diras "c'est tiré par les cheveux car tu mélanges commandes 'bas niveau' et 'haut niveau'" - en gros ce qui est indispensable ou non. Je te répondrais par : "c'est l'utilisateur qui fixe ce qui lui est indispensable."

Là j'ai une solution légère, facile à distribuer (cf. un format binaire), qui fait des choses bêtes (= ce qu'on [je] lui demande). Au-delà de l'aspect cool d'en avoir fait la conception et le développement, et de le proposer pour qui le souhaite.

Oui, même si mon vieux PC portable fait plus de 1000 fois 1 Go de stockage (!), le poids d'un applicatif qui ne serait pas maîtrisé, par ce qu'il draine ou d'une logique sous-tendue, me gêne.

PS :

$ ls -lh /usr/bin/m4
-rwxr-xr-x 1 root root 239K févr.  3  2023 /usr/bin/m4

Vous avez quelques-uns à envoyer des projets ressemblant et je vous en remercie.
Le projet est probablement très mal présenté et vous avez raison de noter de pertinentes alternatives :)

Je planche sur une documentation plus complète avec un exemple complet dans le cadre d'un autre article LinuxFr, pour illustrer ce qui ressemble (ou non) à vos sources, et ce qui est possible de faire à date.

J'ai goûté au Go (article + dépôt) et j'en ai apprécié 80% de l'usage. Par contre je trouve le binaire rendu assez lourd (là j'arrive à moins de 70 ko). C'est un premier point, mineur mais pas anodin.

Comme je l'indiquais dans un autre commentaire ici, ce n'est pas juste "faire du formatage" mais aller dans une activité un peu plus poussé, en alliant une présentation à la Jinja que j'apprécie et la philosophie proche de M4.

Le moteur de gabarit de Golang aurait indéniablement un atout mais je pense que j'aurais dû rapidement "hacké" son système pour y insérer réellement les principes que je souhaitais y faire tenir. Je me sentais plus à l'aise pour le faire dans Rust car justement, il n'a aucune opinion sur le sujet.

Je n'avais pas, merci !

A la lecture des commentaires, je me dis que j'ai un peu trop insisté sur une parenté avec Jinja - qui n'est là que pour l'esprit des délimiteurs. Je ne cherche pas à en faire un clone.

Dans son fonctionnement, il y a une philosophie héritée de M4 pour la résolution : "GNU M4 is a macro processor in the sense that it copies its input to the output expanding macros as it goes. Macros are either builtin or user-defined and can take any number of arguments."

Pour l'anecdote, j'ai voulu ne pas refaire la roue au démarrage mais j'ai trouvé M4 un peu trop "brutal" pour simplement l'encapsuler dans un script qui va bien. Je voulais quelque chose de plus conviviale et proche de mes habitudes, mais en gardant un fonctionnement distinct. Les extensions dans Moustache viennent pour ajouter prochainement le support des commandes Shell, des valeurs numériques, etc..

A l'arrivée, je pense que le produit est différent de Minijinja (pour le meilleur ou le pire !) et que mon article ici a raté sa cible. Désolé !

En effet c'est entièrement incompatible (comme indiqué, je suis davantage dans une présentation proche de Jinja). Pour le nom je comprends que c'est perturbant (une erreur peut-être…).

Pour le fonctionnement interne, je n'ai pas encore documenté (*). Par contre le README contient le nécessaire pour démarrer : https://github.com/JGarderon/moustache/blob/main/README_fr.md#les-3-d%C3%A9limiteurs-possibles

J'avoue que j'ai ciblé davantage le code que l'écosystème…

(*) en résumé grossier : je parcours le fichier en tentant de trouver des délimiteurs particuliers. Ces délimiteurs permettent de noter des débuts et fins de parties (qui peuvent être des expressions, commentaires ou déclarations). Puis j'applique une logique propre à chacun (s'ils sont "bordés" ou non : c'est-à-dire avec une balise de fin), et enfin j'analyse chacun pour arriver à un résultat, qui est sous le format d'un texte généré ou d'un début / d'une fin de portion du texte initial. Que je renvoie en entrée en boucle jusqu'à ne plus avoir de modifications. Cela me permet de garder une empreinte mémoire très faible car je ne travaille qu'avec des délimiteurs d'une chaîne d'origine la plupart du temps.

Sur Opensearch mea culpa, en effet ma phrase est mal formulée. Tu as raison sue le fond, Opensearch est libre et Elasticsearch non.

Non je n'ai pas testé une alternative - voir l'échange Mastodon que je cite en intro, qui indique des instances qui utilisent Opensearch.

Pour l'usage au sein de Mastodon, voici un commit de la documentation du projet :
https://github.com/mastodon/documentation/commit/18defebf2f5eba82c403a6ef8be4ae336d6611f4

Elasticsearch est cité à plusieurs reprises. En partie parce que c'est une bibliothèque de l'éditeur qui est utilisée en interne, cf. :
https://oisaur.com/@renchap/110961332489669407

Pour le fond, je te laisse contacter l'auteur pour avoir plus de détails, je n'en sais pas plus…

J'aime tellement cet article de Wikipedia… ! Merci.

Bon… il faut croire que mettre à plat mes idées dans un post de forum aide (beaucoup)… Finalement j'ai abandonné l'idée d'envoyer Date via une requête gérée par fetch. Et comme je suis dans une WebExtension, je peux aller modifier les entêtes juste avant l'envoi réel :

function ajouter_entete_date(details) {
  console.log("ajouter_entete_date", details);
  const headers = details.requestHeaders;
  headers.push({ name: "Date", value: date });
  return { requestHeaders: headers };
}
browser.webRequest.onBeforeSendHeaders.addListener(
  ajouter_entete_date,
  { urls: ["<all_urls>"] },
  ["blocking", "requestHeaders"]
);

Et là plus de problème !

Je vais voir pour avoir un entête bidon avec un jeton de type X-Date-{jeton} qui sera écouté. Si cet entête est trouvé, il est transformé en entête classique Date. Le jeton ne sera connu que de l'extension elle-même, et aléatoire.

PS : jugez-moi.

Je m'auto-réponds sur la partie entête "Date" : on ne peut pas l'envoyer.

Mais du reste, ça ne devrait pas poser problème si on en croit la doc AWS :

Some HTTP client libraries do not expose the ability to set the Date header for a request. If you have trouble including the value of the 'Date' header in the canonicalized headers, you can set the timestamp for the request by using an 'x-amz-date' header instead. The value of the x-amz-date header must be in one of the RFC 2616 formats (http://www.ietf.org/rfc/rfc2616.txt). When an x-amz-date header is present in a request, the system will ignore any Date header when computing the request signature. Therefore, if you include the x-amz-date header, use the empty string for the Date when constructing the StringToSign.

Là je sèche vraiment…