thoasm a écrit 9498 commentaires

Si c'est juste un défi technique pour le sport, il n'y a pas de base de code existante ?

Un fan comme un autre de la liberté d'expression absolue, prêt à laisser dire les pires horreurs, j'ai nommé … Elon Musk. C'est un champion, adulé par beaucoup. Il va donc laisser tout dire, toutes les nuances du spectre politique ?

(mème avec Anakin et Padme)

… Il va donc laisser tout dire ?

Le mot cisgenre est désormais considéré comme une insulte sur X et dûment masqué

La "liberté d'expression" de ce genre d'idéologie, c'est la liberté d'insulter les étrangers sans problème, et la liberté du patron et de ses potes de dire ce qu'il a envie. Le petit peuple peut la fermer si il n'est pas dans la ligne.

Ils auraient pu tenter d'avoir de l'avance et d'intégrer direct une solution genre "firefox meet". D'ailleurs ils n'avaient pas eu un projet de communication entre navigateurs un temps qui n'avait pas marché ? J'ai du mal à me souvenir mais au fil du temps ils ont essayé des trucs.

C'est la théorie de l'internet mort, ça.

Ça veut dire quoi "être meilleur" ? Toute la question est là. Je ne pense pas que la contribution au web ouvert, si on prend le titre de ce que tu as posté, fasse réellement partie des critères du grand public, en tout cas ça passe derrière bien d'autres préoccupations.

Il y a quel pourcentage de ses anciens utilisateurs qui sont sensibles ou même au courant à ce genre de chose ? Si c'est comparable au nombre d'utilisateurs de Linux sur desktop par exemple, le compte n'y est pas, et de loin, même si tu comptes le fait qu'ils orientent leur entourage dans une certaine mesure.

Tu peux faire des sélections visuelles à la souris aussi, avec

:set mouse=a

avec une résolution plus précise que la ligne, il me semble qu'il y a d'autres moyens d'arriver à ce résultat.

Je connais pas la littérature, ça va beaucoup trop vite pour moi, j'ai juste vaguement une idée des sujets. J'ai vraiment pas l'impression que le sujet de l'autoévaluation soit simple ou réglé (cf. mon post au dessous en dénichant un article rapide).

En tout cas, je sais pas ce qui est implémenté dans les systèmes en ligne mais en cherchant viteuf' on trouve des papiers sur l'autoévaluation : https://arxiv.org/abs/2312.09300

Ça semble dans cette technique

L'état de l'art l'an dernier (fin 2023) semble être :

Extending this work to large language models is challenging because their training distribution is too large to estimate and extracting embeddings from well-integrated LLM systems requires significant engineering effort.

Il semble dire que c'est assez simple dans les cas que tu as indiqué pour tes exemples (au hasard?), plutôt des QCM, quand la réponse tient en un seul token (ça ressemble à une tâche de classification supervisée, on a un ensemble de classe bien déterminé) et c'est beaucoup plus facile que d'évaluer un paragraphe, forcément.

Although sequence-level scores have weak predictive power, the previous results show that LLMs are well-calibrated on multiple choice question answer tasks and true/false evaluation tasks [Kadavath et al., 2022, OpenAI, 2023], suggesting the model has better calibration on token-level scores

J'ai aussi noté

In terms of estimating language models’ confidence or uncertainty, Tian et al. [2023], Lin et al. [2022] propose to ask model to express uncertainty in words along with the generated answer, but it is shown that LLMs often exhibit a high degree of overconfidence when verbalizing their confidence [Xiong et al., 2023].

Les LLMs auraient tendance à largement avoir largement trop confiance en eux si on leur demande directement.

J'ai l'impression? en lisant viteuf' que leur approche c'est de faire générer plusieurs réponse, de transformer ça en QCM en demandant "quelle est plus probablement la bonne réponse", et que finalement ça puisse améliorer les réponse. Mais que ce ne soit pas vraiment une panacée.

Du coup, la vraie question est plutôt celle-ci : ces modèles sont capables de réponses nuancées et de faire la différence entre la réalité et les hallucinations; pourquoi est-ce que leur invocation ne leur demande pas de le faire? C'est forcément un choix des fournisseurs du modèle, qui ont peut-être peur qu'on attribue des performances moins bonnes à un modèle qui répond "je ne sais pas".

Ah ouais, tu fais les vraies questions et les vraies réponses à partir de "c'est forcément" et "j'ai fais 3 expériences de coin de table en ignorant totalement la littérature".

J'ai une autre hypothèse : l'autoévaluation n'est pas fiable dans le cas général, et c'est pas tes expériences sur des cas archi-rebattus sur lequel le post apprentissage a pu être spécialisé (les théories du complot bien connues par exemple) qui vont le mettre en évidence.

Pardon j'avais pas lu attentivement /o\ c'est la même fonctionnalité oui.

Disons que ce que j'apporte c'est comment faire plus pratique, là ou tu te contentes de donner les mots clés. Peut être que tu supposes que l'auteur du journal n'ignorait pas la fonctionnalité ? Perso je ne l'ai découvert que sur le tard, j'ai pas lu de bouquin exhaustif de vimologie ou quoi.

Ah ouais "fais tes propres recherches" en somme. Le sujet est sérieux et mérite des articles de recherches, en fait. Le benchmarking est un sujet sérieux et compliqué (notamment parce que pour tester certaines capacités sur des questions originales faut s'assurer qu'Internet n'en a pas causé depuis le test sur le dernier modèle.

Les réponses "je sais pas" a tes questions a mon avis c'est pas du tout des propriétés émergentes, c'est juste des effets du post apprentissage en l'occurrence, les trucs ou on biaise le modèle a la fin pour qu'il soit neutre et ne réponde pas de manière tranchée, les fameuses questions d'alignement.

Je suis pas en train de dire qu'il n'y a pas de propriétés émergentes mais que démêler la pelote avec juste sa propre intuition n'est pas nécessairement la stratégie à adopter.

Il y a moyen de travailler dans des sélections avec vim. Shift+V l'opérateur de base. Ensuite une commande sera exécutée, de mémoire, dans la sélection.

https://stackoverflow.com/questions/7406949/vim-faster-way-to-select-blocks-of-text-in-visual-mode Ce post stack overflow donne des astuces pour étendre facilement la sélection par recherche de texte (tu cherches un truc, la sélection est agrandie jusqu'à une des occurrence suivante, au choix)

Je sais pas comment ce truc marche, mais l'exemple n'est pas représentatif des cas difficiles. Tu sais que tu lui as pose un piège par exemple, alors que les cas intéressants tu poses une question ouverte, et c'est pas dit qu'il y ait pas potentiellement une différence flagrante entre une réponse juste et une hallucination sur une réponse longue, et avec plein de mots potentiellement contractuellement pertinents.

As-tu halluciné cette réponse ?

J'ai un type sur Apple II

Non il y a aussi des articles de presse sans commentaires. Ça permet de voir ce qui fait réagir … Ou pas. En zieutant rapidement tu peux voir qui ça fait réagir. C'est souvent prédictible et stéréotypé, volontairement (ou pas) caricatural et parfois trollesque.

Complément avec un article critique de Reporterre : https://reporterre.net/Rendre-la-Seine-baignable-un-projet-couteux-et-pas-tres-ecolo

L'eau récoltée est reversée dans les stations d'épuration en tout cas : https://www.linfodurable.fr/sante/jo-paris-2024-comment-la-seine-est-elle-depolluee-44246

Elle est tout de même dépolluée donc. Les stations d'épuration ont aussi été modernisées. Certes peut être il y aurait eu des alternatives, après c'est aussi des choses à faire en plus peut-être. Et Paris était très en retard, ça a du empiler les contraintes, en plus d'être une ville avec des contraintes elle aussi.

La re-naturalisation du fleuve, par exemple, se fera pas du jour au lendemain et ça implique une volonté de tous les acteurs … pas simple.

On essaye encore et toujours de réduire l'intérêt général à la somme des intérêts particuliers. C'est pas un bug c'est une fonctionnalité …

Faut voir, avec un modèle unique il n'aurait pas nécessairement de raison d'en être particulièrement fier ou d'y tenir particulièrement ? Et le véhicule est plus compact, moins de risque de collision, de mauvaise visibilité, poids moins important, puissance également, et tout ça joue aussi dans la dangerosité.

Difficile de répondre de manière formelle, il y a quand même un certain faisceau d'indice qui dit que globalement il y a une conjugaison de facteur qui font que c'est pas très bon.

Une des études citées tend à montrer que oui, les gens « désagréables » avec des tendances conflictuelles et éventuellement violent (dans le contexte culturel de l'étude), achètent plutôt des grosses bagnoles de prestiges quand ils le peuvent (ce sont pas forcément les seuls). Mais évidemment ces trucs sont plus dangereux, plus gros tout ça.

https://onlinelibrary.wiley.com/doi/10.1002/ijop.12642 : « Not only assholes drive Mercedes. Besides disagreeable men, also conscientious people drive high-status cars » Extrait de l'abstract : « An important implication is that the association between driving a high-status car and unethical driving behaviour may not, as is commonly argued, be due to the corruptive effects of wealth. Rather, certain personality traits, such as low agreeableness, may be associated with both unethical driving behaviour and with driving a high-status car. »

Ça se conjugerait avec l'effet que les gens qui se sentent protégés dans ces gros tas de ferrailles, et le fait d'être dans un gros machins semble le faire d'après une des études, prennent plus de risques et sont plus dangereux. Enfin, ben la taille des machins fait qu'ils sont de plus en plus dangereux par eux même et cette tendance à l'embonpoint est inquiétante et inquiète les agences de santé routières : https://etsc.eu/euro-ncap-warns-on-increasing-car-size-and-weight/

Ce qui est étudié c'est le comportement routier, pas juste les accidents. On peut faire l'hypothèse que la probabilité d'un conducteur de Twingo de se mettre dans un état pareil aurait pas été le même, si l'article qui dit que les gens avec des tendances plus facilement violentes et conflictuelles préfèrent acheter des grosses bagnoles se confirme.

L'accidentologie des voitures puissante a déjà été remarquée par le passé. Une étude récente confirme que les voitures puissantes, que cette marque produite, ont plus tendance à être impliquées dans des accidents et que leurs conducteur(ice?)s prennent plus de risque d'une manière générale :

• : https://www.liberation.fr/societe/securite-routiere-plus-une-voiture-est-puissante-plus-elle-risque-davoir-un-accident-20241018_BRIRFFYZKZHDZKXFGUUMOPTMTU/
• Le communiqué de presse de l'étude par Carvertical, apparemment une entreprise qui tient un registre de données sur les voitures d'occasion
• : https://theconversation.com/est-on-vraiment-plus-en-securite-dans-une-grosse-voiture-187454

Note technique : bizarrement dans le code j'ai fait des liens markdown pour l'article de libé et l'article de TheConversation mais en prévisualisation seul le texte s'affiche ?? Du coup j'ai rajouté les url brutes après.

Si on compte les bits en octets, il semble cohérent de nommer les qbits en qoctets.