Moonz a écrit 3645 commentaires

Merci pour les encouragements :)

Pour lire et résumé un PDF, notebooklm marche pas trop mal, tu peux essayer d'uploader le PDF et le lui demander par exemple "Résume moi les cas décrit dans ce PDF, en français".

Des robots.

Je ne vois pas exactement ce que l'IA va apporter au maçon, cuistot, infirmier, à ce niveau si ce n'est siphonner une grande part du flux financier a leur détriment

Le plan est grosso-modo :

1. IA développeur (nous sommes là)
2. IA chercheuse en IA (les mots exacts de Dario Amodei est "a country of geniuses in a datacenter"
3. IA chercheuse tout court (en physique, médecine, biologie, science des matériaux… et robotique)
4. Conçus, développés et pilotés par les IA du point précédent :
   • Usines automatisée
   • Robotique pour toutes les tâches, dont celles que tu as citées

Y'en a qui arrivent à dormir en prétendant sauver la forêt tout en ajoutant de l'essence dans l'incendie, moi pas. Et j'ai le droit de dénoncer cette posture qui me semble particulièrement à l'encontre des valeurs qu'il prétend défendre.

J’ai oublié de répondre à ça.

Ses valeurs sont les tiennes. Il est entièrement du côté "l’emploi n’est pas une bonne chose en soi, si on peut s’en débarrasser tant mieux, à condition de bien répartir les richesses" (je suis en désaccord sur ce point, mais on rentre dans des questions philosophiques que je n’ai pas spécialement envie d’aborder). Il est également convaincu que l’IA peut réaliser cette vision.

Il est inquiet du chômage de masse pendant la transition, quand l’IA arrive et que la société ne s’est pas encore adaptée, oui, mais c’est un problème secondaire (important, mais secondaire) face à l’objectif principal qui est "la fin du travail".

Stopper irait contrairement à l’encontre de ces valeurs. Autre raison pour rejeter le label "hypocrisie".

Ils pourraient faire plus

Possiblement. Est-ce que ce serait stratégiquement correct dans le contexte actuel ? Qui sait ?

plutôt que de multiplier les levées de fond sans partage du contrôle de la boîte ou du capital

Là aussi ils essaient :

Anthropic incorporated itself as a Delaware public-benefit corporation (PBC), which enables directors to balance the financial interests of stockholders with its public benefit purpose.[22]

Anthropic's "Long-Term Benefit Trust" is a purpose trust for "the responsible development and maintenance of advanced AI for the long-term benefit of humanity". It holds Class T shares in the PBC which allow it to elect directors onto Anthropic's board.[23][24] As of April 2025, the members of the Trust are Neil Buddy Shah, Kanika Bahl and Zach Robinson.[25]

.

Y'en a qui arrivent à dormir en prétendant sauver la forêt tout en ajoutant de l'essence dans l'incendie, moi pas. Et j'ai le droit de dénoncer cette posture qui me semble particulièrement à l'encontre des valeurs qu'il prétend défendre.

Non.

J’aimerai également qu’il fasse plus. Je suis également en désaccord avec certains de ses choix, y compris sa communication trop timorée. Mais "hypocrisie" est un mot beaucoup trop fort. Il n’y a pas de solution simple, le contexte politique est complexe, et contrairement à Sam Altman, il est clair d’après leurs actions que Anthropic et Dario Amodei sont sincères et font ce qu’ils pensent être leur mieux avec les cartes qu’ils ont en main.

Il faut faire la part des choses et avoir une gradation dans les réponses. "Hypocrite" est le vitriol à lancer à OpenAI. Si tu veux critiquer Anthropic, le mot à utiliser est "Pusillanime".

Oui enfin faire abstraction du contexte réel n'a je pense aucun intérêt.

Ysabeau a posé une question conceptuelle : "Un concept que je n'arrive toujours pas à comprendre". Je répond de manière conceptuelle.

Le coût d’opportunité est que les réparateurs de fenêtres auraient fait autre chose que réparer des fenêtres si on ne les avait pas cassées, et cet autre chose serait rentré dans le PIB. Il est donc loin d’être évident que "casser des fenêtres" augmente le PIB.

La croissance fait référence à la croissance du PIB, pas à la croissance de l'extraction des ressources minières (référence à la masse de la Terre).

La référence à la masse de la Terre fait référence à "même si les facteurs physiques sont limitants, à quel point sommes nous loin d’atteindre l’asymptote ?"

J’aurai pu utiliser le ratio de "énergie utilisée par l’économie" / "puissance émise par le soleil" (~ 1 / 10^13).

Ou "richesse globale actuelle" / "valeur actuelle des métaux précieux dans la ceinture d’astéroïdes" (1 / 10⁶⁾

Tout ça pour arriver à une intuition : si c’est la finitude des ressources qui limitera la croissance, le point d’inflection n’est probablement pas pour demain.

Super, mais ça ne répond pas à la question.

Ça répond littéralement à la question littérale, de "comment une fonction (PIB) peut avoir une dérivée (croissance) infinie en restant bornée" ? C’est toi qui part en "au fond, qu’est-ce que le PIB", qui est une autre question.

Si on augmente le PIB en cassant volontairement des fenêtres puis on les répare, on améliore le PIB d'un point de vue statistique

Non

J’ai fait un journal, dans le journal on m’a dit "ça devrait être une dépêche", je le fait maintenant en dépêche. Si les modos me disent "en fait c’est mieux en journal", aucun problème, je repasse en journal.

En plus cette dépêche est traduite par une IA

Seules les citations sont traduites par l’IA, parce que l’IA est meilleure traductrice que moi. Et que ça me prend déjà plusieurs heures par mois pour compiler, filtrer, et écrire, si je dois traduire par moi même des annonces officielles (ce qui n’a honnêtement aucun intérêt), je vais pas m’en sortir.

La dépêche est dans l’espace de collaboration, si tu veux une meilleure traduction, ne te gêne pas !

Les gens neutres et pas orienté qui ne font pas de politique

J’ai écrit l’inverse. Que j’essaie au mieux de ne pas sélectionner les sujets en fonction de mes opinions, mais que je ne fais pas trop d’effort pour cacher mes opinions.

(ce qui est rigolo, c’est qu’apparemment, sans faire d’effort j’arrive assez bien à la cacher, puisque des deux personnes que j’ai vu qui essaient de m’attribuer une intention, les deux sont à côté de la plaque)

Nous avons le droit et le devoir de dire NON à l’IA.

Puisque apparemment ce n’est pas assez transparent dans les dépêches, je vais dévoiler mon opinion au grand jour : c'est également mon avis.

Mes dépêches sur l’IA viennent entièrement d’un angle « connais ton ennemi ».

La plupart de tes objections sont à côté de la plaque. Qui comptes-tu convaincre, exactement, en utilisant des arguments faux ou fallacieux qui sont aisément réfutables en 5 minutes par quelqu’un qui s’y connaît un minimum ?

Tant que le mouvement anti-IA sera porté par l’ignorance et l’auto-intoxication (et parfois malheureusement le mensonge), le mouvement anti-IA n’ira nulle part. La première phase est donc l’éducation. C’est l’objet de mes dépêches.

Mais si Anthropic "gagne" la course, je ne vois pas trop ce que cela changera en pratique en fait

Avoir une voix quand le parlement consulte les acteurs du secteur sur les actions législatives à prendre ?

D'où l'importance d'avoir des États forts pour piloter cela étant donnés les enjeux plutôt que de laisser le privé faire ce qu'ils veulent sur la question

Dario Amodei n’a pas le contrôle là dessus.

J’ajouterai que la voie "abandonner l’industrie, passer sur de l’activisme et éveiller les consciences et parler au politiques" est suivie par Joshua Bengio/Geoffrey Hinton, et les résultats sont loin d’être spectaculaires. Difficile de jeter la pierre à Dario Amodei pour ne pas s’y engouffrer.

Si tu penses que ta boîte va causer probablement un chômage de masse, tu devrais agir un peu plus que de juste agiter la menace dans la presse.

Pour sa défense, ça fait un moment qu’il crie haut et fort que l’IA va nécessiter une « réécriture complète du contrat social de nos sociétés », et Anthropic a fait du lobbying contre la tentative d’introduire une loi (poussée entre autre par Microsoft et Meta) interdisant toute régulation de l’IA pour 10 ans aux US.

Et en particulier agir pour que cela n'arrive aps en n'étant pas dans la course à qui mettra ces gens là au chômage le plus vite possible.

Ce n’est malheureusement pas aussi simple que ça. Si demain Anthropic se retire de la course, non seulement OpenAI et Google y sont toujours, mais en plus tu as maintenant sur le marché du travail un paquets de chercheurs/développeurs en IA parmi les plus talentueux — prêts à aller chez OpenAI/Google/Meta (Meta en particulier est désespéré, et offre 300 millions de dollar à tout "top" talent qui accepterait de les rejoindre). Dans l’état des choses, la fragmentation en 4-5 gros labos/entreprises est probablement un facteur de ralentissement.

L’option "il y a un seul gros développeur d’IA, mais qui agit de manière responsable" a été tentée, c’était OpenAI à sa création. L’histoire a montré que ça ne marchait pas : le rattrapage (être une génération derrière) n’est pas si difficile, rejoindre d’état de l’art est possible si tu y mets les moyens (cf Google), et les pressions internes et externes pour "aller plus loin et vite" sont immenses.

Mais je comprend ton point de vue, j’ai failli finir la dépèche par ce meme :

(en référence à l’interview en question)

La fameuse croissance infinie dans un monde fini. Un concept que je n'arrive toujours pas à comprendre.

1. Sigmoïde : la croissance (la dérivée) est infinie (au sens : toujours positive), sans que le PIB ne diverge à l’infini.

2. Toute sigmoïde ressemble à une exponentielle sur sa première moitié. Le PIB est très probablement une sigmoïde dont nous sommes quelque part sur la première moitié. La question à ???€ est : quand atteindrons nous le point d’inflection, et quelle est l’asymptote ? Pour ma part, considérant que la masse de la terre c’est 1/10³⁰ ième de la masse de l’univers observable, je suis plutôt optimiste que l’on est loin des limites du possible.

Tu as deux types de transfert :

• Transfert "brut", je te donne le jeton, littéralement un Controle-C Controle-V du jeton. Celui ci ne passe pas par la plateforme d’échange, et nécessite effectivement que les deux parties se fassent confiance, parce que c’est une copie mais qu’une seule des deux copies pourra être déposée (la première gagne).

• Transfert-et-dépose-immédiatement, dans le contexte d’une transaction marchande : je transfère le jeton à un marchand, celui-ci le dépose immédiatement (électroniquement) sur la plateforme d’échange (et le jeton n’est plus déposable), et me donne une preuve de transfert. Le vendeur est couvert dans ce cas.

Bon, pour ceux comme moi qui connaissent assez de cryptographie pour savoir ce qu’est une signature, mais pas assez pour savoir ce qu’est une signature aveugle (Blind signature), voilà comment ça marche (si j’ai bien compris) :

On ajoute deux opérateurs, Blind et Unblind au schema habituel de Sign/Verify, avec la garantie suivante :

• Unblind(Nonce, Sign(Blind(Nonce, Message), SignerPrivateKey)) == Sign(Message, SignerPrivateKey)
• La connaissance de Blind(Nonce, Message) ne donne aucune information sur Message. En particulier, si je fournis Blind(Nonce1, Message1) et Blind(Nonce2, Message2), il est impossible de déterminer lequel des deux est la version blinded de Message1.
• De même, la connaissance de Message1 ne me permet pas d’identifier quelle est la version blinded de celui ci si je fournis Blind(Nonce1, Message1) et Blind(Nonce2, Message2)

Le schema basique est donc :

Je génère une chaîne aléatoire "Serial". Je demande à la banque de signer ça de manière aveugle, pour 100€, ce qui me donne un (Serial, Sign(Serial, BankPrivateKey)) qui vaut 100€, sans que la banque n’aie jamais vu ni Serial, Sign(Serial, BankPrivateKey) (la banque a vu Blind(Nonce, Serial) et Sign(Blind(Nonce, Serial), BankPrivateKey), qui sont différends).

Un marchand peut vérifier que la signature est valide, et la banque fournit deux services :

• Est-ce que ce serial a été déposé (oui / non) ?
• Déposer un serial qui n’a pas encore été déposé

(les plus perspicaces d’entre vous auront remarqué : le 100€ n’apparait nulle part dans le protocole, ça veut dire qu’on ne peut avoir que des jetons d’une valeur fixe ? La réponse est oui, mais la banque a plusieurs paires publiques/privées : PrivKey_1€/PubKey_1€, PrivKey_10€/PubKey_10€, PrivKey_50€/PubKey_50€, ce qui permet d’avoir des montants arbitraires en signant avec plusieurs clés différentes)

Ceci est le résultat de 1-2h de recherche perso, si quelqu’un en connaît plus que moi, les corrections sont les bienvenues.

La réponse est simple : il peut. Si j’ai un jeton, je peux le copier et le donner à 3 personnes différentes.

La garantie est que :

• Il ne peut être déposé qu’une fois à la banque
• Tu peux savoir à tout moment s’il a été déposé

Donc : tu peux le transférer autant que tu veux, mais il faut que les deux parties se fassent confiance, parce que rien dans le protocole ne m’empêche de transférer le même jeton plusieurs fois.

Source, section 1.2.5 :

Transferability is a feature of certain e-cash systems that allows transfer of e-cash between two parties without breaking anonymity properties [FPV09]. Contemporary systems that offer this type of disintermediation attract criminal activity [Ric16].

GNU Taler specifically provides roughly the opposite of this property, namely income transparency, to guarantee that e-cash is not easily abused for tax evasion. Mutually trusting users, however, can share ownership of a coin.

et la constante cosmologique une erreur

?

La constante cosmologique fait partie du modèle standard de la cosmologie.

Je ne sais pas trop ce que tu veux dire par là mais en gros, si.

La partie importante était après "et ne fait donc"

Mon propos est de dire qu'un LLM est plus proche d'une chaîne de Markov que d'un cerveaux humain.

Quel est ton critère, quelle est ta "distance" pour dire "l’un est plus proche de l’autre" ?

Un dauphin est-il plus proche d’un requin ou d’un macaque ?

La réponse non-éduquée est "d’un requin, les deux vivent dans l’océan". La réponse semi-habile de celui qui vient de voir un reportage animalier est "un macaque, c’est tous les deux un mammifère". Pour moi la question est… pourquoi tu poses la question ? Quel problème tu essaies de résoudre ?

Si tu étudies l’évolution des espèces, la seconde réponse est correcte. Si tu es le directeur d’un zoo et que tu te poses la question "quel genre d’installation je dois prévoir", la première est correcte. Si tu es un biologiste qui étudie les maladies des dauphins… tu es entre les deux. Tu auras des adaptations communes entre le requin et le dauphin du fait de la similarité de l’environnement, tu auras des adaptations communes entre le macaque et le dauphin du fait qu’ils soient plus proche génétiquement. Il n’y a pas une réponse correcte.

"Un LLM est-il plus proche d’un humain ou d’une chaine de Markov" ?

• Sur la procédure d’entraînement, clairement plus proche d’une chaîne de Markov
• Sur l’architecture (construire un modèle interne vs tabuler et réutiliser de manière brute des statistiques), clairement plus proche d’un humain
• Sur les capacités, clairement plus proche d’un humain (un LLM a des capacités de généralisation qu’une chaîne de Markov n’a tout simplement pas et ne peut pas avoir, cf in-context learning)

Personnellement je pense que dans 90% du temps ce sont les capacités le critère important. D’où ma réaction à "un LLM c’est juste un chaîne de Markov plus sophistiquée".

Si tu peux élaborer, parce que Ça fait au moins 2 ans que j'entends et lis cette phrase, à répétition

Je vais me jeter des fleurs, mais je pense que j’ai très bien explicité dans ce commentaire ?

Et depuis je suis tombé sur Transformers Represent Belief State Geometry in their Residual Stream, que je trouve très informatif.

Pas testé devstral mais… honnêtement, je suis prêt à (virtuellement) manger mon chapeau si un modèle 24B s’approche ne serait-ce que de Claude 3.6. Les modèles proprios sont très probablement autour des 100B-400B.

Le problème du local est que (opinion personnelle incertaine, je n’ai pas fait de tests poussés, je peux me tromper) le seul modèle qui aie la moindre chance de s’approcher des modèles propriétaires en termes de performance en tant qu’assistant de code est la version complète (671B), légèrement quantisée (Q6-Q8, pas Q2 ou Q4) de DeepSeek R1. Bonne chance pour faire tourner ça local.

Après tout dépend de ce que tu veux faire, évidemment. Pas connaissance d’un outil spécifique de vérification de code, mais ce n’est généralement pas compliqué de s’interfacer avec un LLM (par exemple avec ollama)

Tout à fait, le paragraphe aurait été plus simple et plus juste sans la mention de transformeurs, mea culpa.

Après réflexion, je commence à être dubitatif que les images dans l’article lié dans le journal aient été générées par l’IA.

Je n’ai pas connaissance d’un modèle génératif qui soit :

• assez puissant pour préserver le gros de l’image en ne changeant que le texte
• assez puissant pour respecter l’orthographe et la typographie
• assez stupide pour traduire "Pride" par "Orgueil" dans un tel contexte/faire une telle faute de grammaire ("sorts")

Je mettrai plus ma bille sur un sous-traitant payé au lance-pierre (non-français) muni de photoshop, des maquettes originales et d’un vieux google trad. Ou un système automatisé qui prend la maquette originale et passe chaque layer textuel à google trad.

Pas trouvé les originaux pour "Notre amour ne suce pas" et "international pronoms jour", mais pour les trois images suivantes dans l’article (même prompt, premier essai) :

(OK, "militance" est bizarre ; chaîne de pensée pour le choix : "ADVOCACY" might be trickier, as "PLAIDOYER" is direct but a little ambiguous— "DÉFENSE" could work in activism contexts, or "MILITANCE" might sound better)

(originaux pris ici)

Ma première réflexion, c’est que je suis certain que les IA actuelles sont meilleures que ça, et que celui qui a fait ça a juste pris le modèle le moins cher sans se poser de question. Ce qui ne rate pas ; première tentative dans o3, juste en collant l’image et "Can you regenerate that image, but with the text translated in French ?" comme prompt :

L’IA n’a pas tenté de traduire l’expression "coming out", ce qui me semble refléter l’usage ?

Peut être ais je des failles dans mon raisonnement, mais je n'ai pas l'idée d'un seul domaine du monde réél où on prendrait un llm à qui on demanderait de rendre des services en totale autonomie sans que ça ne tourne rapidement en rond (dans le meilleur des cas), ou en hors sujet (plus probablement).

As-tu connaissance de https://arxiv.org/abs/2503.14499, présenté informellement ici : https://x.com/METR_Evals/status/1902384481111322929 ?