thoasm a écrit 9456 commentaires

kôa ?

https://news.mit.edu/2024/generative-ai-lacks-coherent-world-understanding-1105

“Often, we see these models do impressive things and think they must have understood something about the world. I hope we can convince people that this is a question to think very carefully about, and we don’t have to rely on our own intuitions to answer it,” says Rambachan.

Voilà pourquoi c'est des questions qui me semblent importantes. Dans l'article ils s'interrogent sur le fait qu'on ait l'impression que les machins aient "capturés" un bon modèle du problème, parce qu'ils donnent de bon résultats. On peut être tenté de le croire. Et que donc ils seront généralement fiables pour ce type de problèmes. Mais si ce n'est pas le cas … Un pet de travers et il n'y a plus rien qui marche : ça ne généralisé pas bien. L'article montre que c'est parfois le cas. C'est donc au minimum important d'en avoir conscience, c'est pas parce qu'ils ont souvent bien marchés et qu'on aurait tendance a relâcher sa vigilance sur un type de problèmes qu'il faut le faire.

il a surtout l'air de troller, ses exemples sont toujours bien choisis, il en sait plus qu'il ne le dit.

Parce que la réponse est supposée nous informer sur chatgpt et son fonctionnement. Ce qui est une question intéressante, en soi. Qu'on peut difficilement laisser entièrement a un algorithme qui hallucine régulièrement des trucs et qui a très bien pu répondre avec un truc qui ressemble a une stratégie plausible qu'il y a dans son corpus alors que ça ne correspond en rien a ce qu'il a joué.

Ça pourrait se tester en l'occurrence, tu fais des parties en jouant ce qui est supposé être sa stratégie et tu regardes si ça correspond.

C'est potentiellement important pour discerner le fantasme de la réalité, la quête de la vérité, et éviter les attentes déraisonnable
Ou les gens qui fantasment que le machin a une conscience et qui vont faire un peu trop confiance aux sorties, anthropomorphiser, tout ça.

Mais si c'est vrai c'est un truc intéressant en terme de capacité évidement. Si …

Qu'est-ce qui garantit que la stratégie qu'il a décrit est bien la manière dont il a joué ? Il a "conscience" des choix qu'il fait et est capable d'introspection là dessus ? Ce n'est pas évident.

La FSF et l'OSI pourraient vendre des tampons "OSI approved" avec un audit (et des concours "élu meilleur logiciel de listage des fichiers dans un répertoire par un panel de développeurs")

une IA ne sait que recracher les données qu'on lui a fourni en les réarrangeant ou réoragnisant de manière plus ou moins convenable.

Le réseau de neurones est un "modèle" des données, l'idée c'est plus de faire de la "compression" : un modèle doit capturer l'information utile sans tout apprendre par cœur : on essaye de le faire "généraliser" au dela des exemples d'apprentissage, en utilisant moins de mémoire.

Une intuition autour de ça c'est la notion d'auto-encodeur : c'est un réseau de neurones multicouche avec un goulot d'étranglement d'information au milieu (une couche avec moins de neurones, donc moins de capacités de mémorisation "brute", qui force a sélectionner les infos, qu'on entraîne en essayant de lui faire reconstruire les informations originales. Il doit donc obtenir les meilleures performances en moyenne sur tous le corpus. En faisant ça on essaye donc de lui faire généraliser un maximum en compressant l'information (mon correcteur auto me fait une blague lapsus, il a mis "comprenant" compresser= comprendre ?)

On peut imaginer qu'en le "poussant" ainsi a sélectionner l'info on aille plus loin que de lui faire recracher des bouts, mais plus au minimum apprendre des motifs pertinents : a quoi ressemble un chien morphologiquement, a quoi ressemble une fourrure animale, par exemple, avec comme preuve de "séparation" des deux notions qu'on peut demander a dessiner un chien à fourrure d'ours ou un chien à plume.

Les modèles y arrivent dans une certaine mesure. En passant cette logique au max on peut se demander si il y a moyen de les faire raisonner mathématiquement, en poussant l'abstraction bien plus loin et apprendre des règles de raisonnement correctesqui s'appliquent a de larges classes de problemes mathématiques. Il y a des résultats quand on les spécialisent sur une tâche en particulier, mais les modèles généralistes c'est plus dur (cf. par exemple une vidéo de mathématicien Tom Crawford sur YT "chatgpt (still) can't do maths", ou la on voit clairement qu'il ne raisonne pas (il prend les problèmes d'un concours de maths) mais prend l'apparence d'un raisonnement, éventuellement des arguments qui pourraient être pertinents, puis se vautre dans l'erreur et le non sens en élaborant avant de potentiellement miraculeusement retomber sur ses pattes, ou se vautrer sur la conclusion (plus souvent)

Mais le truc c'est qu'il y a un continuum : pour recracher des trucs "plausibles" faut sélectionner l'info pertinente, et en faisant ça tu n'est pas a l'abri de cacher suffisamment de structuration dans cette sélection d'info pour avoir capture la structure sous-jacente de ce qu'on attend du résultat. C'est un pré-requis en fait, sinon on dit que le modèle fait du "sur-apprentissage". Il y a un genre de continuum entre apprendre par coeur et recracher, avec toute l'info dans le modele, autant de bits d'info dedans que dans le corpus, et un modèle qui aurait appris a exécuter un algorithme qui ne retient rien des données mais qui donne le bon résultat en extrapolant sur n'importe quoi.

Sur les antennes, Roland Lehoucq et François Graner faisaient remarquer dans cet article sur les dommages collatéraux des constellations en 2020 que les antennes au sol étaient aussi nécessaire pour être client des réseaux de satellites. Et c'est pas nécessairement donné d'ailleurs, si j'en crois une rapide recherche ça tourne autours de 300€ par antenne voire 3000€ pour les "hautes performances". Le tout pour chaque client évidemment.

Si c'est juste un défi technique pour le sport, il n'y a pas de base de code existante ?

Un fan comme un autre de la liberté d'expression absolue, prêt à laisser dire les pires horreurs, j'ai nommé … Elon Musk. C'est un champion, adulé par beaucoup. Il va donc laisser tout dire, toutes les nuances du spectre politique ?

(mème avec Anakin et Padme)

… Il va donc laisser tout dire ?

Le mot cisgenre est désormais considéré comme une insulte sur X et dûment masqué

La "liberté d'expression" de ce genre d'idéologie, c'est la liberté d'insulter les étrangers sans problème, et la liberté du patron et de ses potes de dire ce qu'il a envie. Le petit peuple peut la fermer si il n'est pas dans la ligne.

Ils auraient pu tenter d'avoir de l'avance et d'intégrer direct une solution genre "firefox meet". D'ailleurs ils n'avaient pas eu un projet de communication entre navigateurs un temps qui n'avait pas marché ? J'ai du mal à me souvenir mais au fil du temps ils ont essayé des trucs.

C'est la théorie de l'internet mort, ça.

Ça veut dire quoi "être meilleur" ? Toute la question est là. Je ne pense pas que la contribution au web ouvert, si on prend le titre de ce que tu as posté, fasse réellement partie des critères du grand public, en tout cas ça passe derrière bien d'autres préoccupations.

Il y a quel pourcentage de ses anciens utilisateurs qui sont sensibles ou même au courant à ce genre de chose ? Si c'est comparable au nombre d'utilisateurs de Linux sur desktop par exemple, le compte n'y est pas, et de loin, même si tu comptes le fait qu'ils orientent leur entourage dans une certaine mesure.

Tu peux faire des sélections visuelles à la souris aussi, avec

:set mouse=a

avec une résolution plus précise que la ligne, il me semble qu'il y a d'autres moyens d'arriver à ce résultat.

Je connais pas la littérature, ça va beaucoup trop vite pour moi, j'ai juste vaguement une idée des sujets. J'ai vraiment pas l'impression que le sujet de l'autoévaluation soit simple ou réglé (cf. mon post au dessous en dénichant un article rapide).

En tout cas, je sais pas ce qui est implémenté dans les systèmes en ligne mais en cherchant viteuf' on trouve des papiers sur l'autoévaluation : https://arxiv.org/abs/2312.09300

Ça semble dans cette technique

L'état de l'art l'an dernier (fin 2023) semble être :

Extending this work to large language models is challenging because their training distribution is too large to estimate and extracting embeddings from well-integrated LLM systems requires significant engineering effort.

Il semble dire que c'est assez simple dans les cas que tu as indiqué pour tes exemples (au hasard?), plutôt des QCM, quand la réponse tient en un seul token (ça ressemble à une tâche de classification supervisée, on a un ensemble de classe bien déterminé) et c'est beaucoup plus facile que d'évaluer un paragraphe, forcément.

Although sequence-level scores have weak predictive power, the previous results show that LLMs are well-calibrated on multiple choice question answer tasks and true/false evaluation tasks [Kadavath et al., 2022, OpenAI, 2023], suggesting the model has better calibration on token-level scores

J'ai aussi noté

In terms of estimating language models’ confidence or uncertainty, Tian et al. [2023], Lin et al. [2022] propose to ask model to express uncertainty in words along with the generated answer, but it is shown that LLMs often exhibit a high degree of overconfidence when verbalizing their confidence [Xiong et al., 2023].

Les LLMs auraient tendance à largement avoir largement trop confiance en eux si on leur demande directement.

J'ai l'impression? en lisant viteuf' que leur approche c'est de faire générer plusieurs réponse, de transformer ça en QCM en demandant "quelle est plus probablement la bonne réponse", et que finalement ça puisse améliorer les réponse. Mais que ce ne soit pas vraiment une panacée.

Du coup, la vraie question est plutôt celle-ci : ces modèles sont capables de réponses nuancées et de faire la différence entre la réalité et les hallucinations; pourquoi est-ce que leur invocation ne leur demande pas de le faire? C'est forcément un choix des fournisseurs du modèle, qui ont peut-être peur qu'on attribue des performances moins bonnes à un modèle qui répond "je ne sais pas".

Ah ouais, tu fais les vraies questions et les vraies réponses à partir de "c'est forcément" et "j'ai fais 3 expériences de coin de table en ignorant totalement la littérature".

J'ai une autre hypothèse : l'autoévaluation n'est pas fiable dans le cas général, et c'est pas tes expériences sur des cas archi-rebattus sur lequel le post apprentissage a pu être spécialisé (les théories du complot bien connues par exemple) qui vont le mettre en évidence.

Pardon j'avais pas lu attentivement /o\ c'est la même fonctionnalité oui.

Disons que ce que j'apporte c'est comment faire plus pratique, là ou tu te contentes de donner les mots clés. Peut être que tu supposes que l'auteur du journal n'ignorait pas la fonctionnalité ? Perso je ne l'ai découvert que sur le tard, j'ai pas lu de bouquin exhaustif de vimologie ou quoi.

Ah ouais "fais tes propres recherches" en somme. Le sujet est sérieux et mérite des articles de recherches, en fait. Le benchmarking est un sujet sérieux et compliqué (notamment parce que pour tester certaines capacités sur des questions originales faut s'assurer qu'Internet n'en a pas causé depuis le test sur le dernier modèle.

Les réponses "je sais pas" a tes questions a mon avis c'est pas du tout des propriétés émergentes, c'est juste des effets du post apprentissage en l'occurrence, les trucs ou on biaise le modèle a la fin pour qu'il soit neutre et ne réponde pas de manière tranchée, les fameuses questions d'alignement.

Je suis pas en train de dire qu'il n'y a pas de propriétés émergentes mais que démêler la pelote avec juste sa propre intuition n'est pas nécessairement la stratégie à adopter.

Il y a moyen de travailler dans des sélections avec vim. Shift+V l'opérateur de base. Ensuite une commande sera exécutée, de mémoire, dans la sélection.

https://stackoverflow.com/questions/7406949/vim-faster-way-to-select-blocks-of-text-in-visual-mode Ce post stack overflow donne des astuces pour étendre facilement la sélection par recherche de texte (tu cherches un truc, la sélection est agrandie jusqu'à une des occurrence suivante, au choix)

Je sais pas comment ce truc marche, mais l'exemple n'est pas représentatif des cas difficiles. Tu sais que tu lui as pose un piège par exemple, alors que les cas intéressants tu poses une question ouverte, et c'est pas dit qu'il y ait pas potentiellement une différence flagrante entre une réponse juste et une hallucination sur une réponse longue, et avec plein de mots potentiellement contractuellement pertinents.

As-tu halluciné cette réponse ?

J'ai un type sur Apple II

Non il y a aussi des articles de presse sans commentaires. Ça permet de voir ce qui fait réagir … Ou pas. En zieutant rapidement tu peux voir qui ça fait réagir. C'est souvent prédictible et stéréotypé, volontairement (ou pas) caricatural et parfois trollesque.