steph1978 a écrit 3753 commentaires

je remonte en commentaire la structure du fichier traité

Pareil. AWK est data driven, si on connais pas le format de l'input, difficile de comprendre le programme.

Je n'ai pas lu l'article car bon, bfm, pas trop tenté.

Sur le sujet en lui même, j'ai du mal à conclure si il s'agit juste d'un coup marketing de Anthropic : regardez notre modèle est tellement fort que l'état a dû interdire ; ou si l'administration Trump est juste trop con en pensant vraiment que c'est plus dangereux qu'un autre LLM ; heu en l’écrivant, je viens de conclure.

Je me rappelle de ce journal sur les villes en ville. Il a fait partie d'une série de journaux sur les cartes en générale ; très cool.

pour comprendre ces scripts AWK

J'avais essayé de résumer ses principes dans ce journal ; je ne sais pas si ça aide.

Cela parait abscons au premier abord car il y a une partie implicite : on ne voit pas les boucles ; il y a des variables non initialisées un peu partout. Mais une fois qu'on a le modèle mental en tête, la syntaxe est très simple et, pour ma part, je n'ai que rarement besoin d'aller voir la doc.
C'est peut être le même manque de pratique qui m'oblige à avoir la doc de Pandas sous les yeux quand j'en fait.

Pour moi, AWK, c'est vraiment la botte secrête quand on a masse de données texte à processer.

Quand tu demandes rien de particulier, j'imagine qu'un agent de code, sous macos, t'emmène sur du Swift+xcode.

Je suis ravi de cet article car pour ma part,j'en étais à

Plus le temps passe, plus je me dis que DeltaChat est une purin [sic] de bonne idée.

Sans pour autant avoir élaboré.

Quand on sait que ce sont les américains ont élus Trump, on se dit que c'est à eux qu'il faudrait interdire les jouets dangereux.

https://github.com/Jeidoban/Ironsmith

bon moi ça m'intéresse pas non plus vraiment …

Journal très sympa.

J'ai quand même buggé sur :

prévoyez de la RAM, chez moi ça en a pris ~22 Go pour parser tout ça

Ça veut dire une machine avec 32GB de RAM. Pas trop dans mes moyens en ce moment.

Je connais bien la structure des fichiers de données car j'ai déjà joué avec par le passé. Ils peuvent être parsé en mode texte car les xml sont bien indentés.

Pour chaque par points de vente (pdv), il y a toutes les modifications de prix effectuées dans l'année : type de carburant, date, prix.

Les fichiers ne sont pas triés pas dates mais par pdv, il faudra donc rassembler les données par date avant de les dumper.

J'utilise donc le script awk suivant :

# prix nom="Gazole" id="1" maj="2017-09-03 09:13:43" valeur="1.151"/>
#   $1       $2     $3 $4  $5           $6             $7     $8   $9
$1 == "prix nom=" {
    type = $4
    prix = +$8 < 100 ? +$8 : +$8 /1E3
    date = substr($6,1,10)
    k = type "@" date
    if (! N[k]++) {  # first record for this (type, date)
        MAX[k] = MIN[k] = prix
    } else {
        if (prix > MAX[k]) { MAX[k]=prix }
        else if (prix < MIN[k]) { MIN[k]=prix }
    }
    SUM[k] += prix
    SQ2[k] += prix*prix
}
END {
    for (k in N) {
        type = substr(k,1,1)
        date = substr(k,3)
        AVG = SUM[k] / N[k]
        VAR = (SQ2[k] - 2*SUM[k]*AVG) / N[k] + AVG*AVG
        print date, AVG, MIN[k], MAX[k], sqrt(VAR) >> "stats_dir/type_" type ".txt"
    }
}

Il y a une petite gymnastique avec les clés de tableaux associatifs car MAWK ne supporte pas les tableaux imbriqués contrairement à GAWK mais est au moins deux fois plus rapide.

Je fais la glue avec le script bash suivant:

#!/bin/bash -eu

AWK=mawk
export LC_NUMERIC=en_GB.UTF-8
TIME='/usr/bin/time -f %M,%P,%e,%U,%S,%W,%c,%w,%x'

for y in $(seq 2007 2026);
do
    echo $y
    $AWK -F "<" '{print $2}' <(unzip -p 1_dl/PrixCarburants_annuel_${y}.zip PrixCarburants_\*.xml) \
    | $TIME $AWK -F '"' -vOFS=";" -f parse_pdv.awk
done

Le premier AWK permet de récupérer le contenu de la balise ouvrante XML. Pour le second on découpe les attributs XML avec le caractère ".

Le script prend 54.73s pour process les 4.257GB de données et consomme en pic 3.356Mo de RAM ; oui, moins de 4 mégaoctets de RAM. Le script AWK est bien le facteur limitant (pas le premier awk ni le unzip).

Pour produire six fichiers - un par type de carburant - de 7000 (=19*365) lignes chacun, pour 280Ko en tout, qu'il faudra alors charger dans pandas. J'imagine que cela ne prendra que quelques dizaine de Mo de RAM.

Il faudra encore réaliser l’agrégation par semaine car le script AWK ne le fait pas. Il n'est là que pour diminuer drastiquement la quantité de données à charger dans Python.

Pas un seul commentaire raciste, misogyne, homophobe ou transphobe sur cet article en ligne du figaro.

Simple manque d'imagination ou aurait-on enfin trouvé le sujet qui uni les peuples : la bouffe ?

videos.assemblee-nationale.fr est hébergé chez OVH à Roubaix

video.tedomum.net est hébergé chez OVH à Gravelines

Ça fait un peu derby du nord…

Je crois comprendre que pour 7$, la bague ne stocke pas de données et a besoin en permanence d'un smartphone pour lui envoyer les mesures au fur et à mesure, c'est ça ?

Si oui, ça se comprend pour le prix, mais ça limite bien l'usage. Je ne vais pas courir avec mon téléphone, je trouve cela trop encombrant. Et je le passe en mode avion la nuit pour ne pas avoir une source d'ondes à quelques centimètres de la tête.

Là, soit tu parles du media, soit tu parles du mode de paiement.

Dans tous les cas : 1/ la CB est contrôlé par des organismes privés (banque, fabriquant) qui peuvent la supprimer quand ils veulent (d'ailleurs ils le font tous les deux ans). Donc impossible de s'appuyer dessus pour le transport publique.

2/ la CB dépanne occasionnellement dans le bus mais tu payes le billet plein pot voire même avec une petite majoration dû au frais de transaction avec nos chers$$ amis américains Visa et MasterCard.

De toute façon, ici, on parle de centraliser le compte de l'usager.

L'idéal, pour ne pas avoir à emmètre quantité de petits rectangles en plastique serait de pouvoir enregistrer n'importe quel badge RFID, de mettre de l'argent sur un compte "transport public" et de pouvoir voyager sur n'importe quel réseau de France et de Navarre.

hébergés sur les 100 Mo compris dans l'offre nom de domaine

Oui c'est étonnant tout ce qu'on peut héberger dans 100Mo.

Ça, plus un compte sur une forge logicielle avec CI/CD et on peut déployer des applications sans acheter/louer et administrer de serveur.

https://www.enlightenment.org/about-terminology.md

This topic does not exist yet

You've followed a link to a topic that doesn't exist yet. If permissions allow, you may create it by clicking on “Create this page”.

ripgrep a l'option -M nn pour cela:

    -M NUM, --max-columns=NUM
        When given, ripgrep will omit lines longer than this limit in bytes.
        Instead of printing long lines, only the number of matches in that line
        is printed.

D'où le mieux avec API + Ansible.

Si tu es plus clavier que souris (j'en suis) :

• https://plantuml.com/gantt-diagram
• https://mermaid.ai/open-source/syntax/timeline.html

Les surcouches, ça apporte plus de complexité qu'autre chose.

Sur desktop, il pourrait y avoir le débat du look and feel. Mais sur serveur, ça ne compte pas.

Au final, sur Debian, grâce au backports, tu as [5 ans de support](https://endoflife.date/debian].

Et puis la gouvernance est impeccable, la communauté bienveillante.

Je n'ai pas pratiqué beaucoup de fournisseurs donc mon retour va être très partiel et partial.

Pour les mails, j'utilise infomaniak, principalement pour 1/ la Suisse (l’Europe) 2/ le prix : 22€/an pour 5 boites mail. Leur webmail est pourri mais pas plus que les autres webmails.

Pour les noms de domaine, j'utilise OVH principalement pour 1/ la France 2/ le prix. Ça vient avec quelques supplément sympathique : hébergement site web php+mysql de 100Mo. Une API et un module Ansible pour faire le paramétrage de la zone DNS en infra as code.

Pour l'hébergement, j'utilise du bare métal chez OVH pour 1/ la France 2/ le prix. Très peu de problèmes en plus de 10 ans. Quelque fois un serveur qui reboot tout seul. Le support un peu lent pour traiter les tickets des fois. Au final, je pense pas bouger.

L'application tiktok a servi à ça aussi, sûrement pour scraper les données servant à l’entraînement de leur IA.

Tu as raison. Je choisirai la définition qui me permettra de récupérer mon billet :)

Comment tu le définis?

En effet je n'ai pas les compétences pour le faire, je me baserai donc sur des conclusions d'experts.

Je suis pleinement d'accord.

Ce que nous nommons "conscience" et qui est actuellement implémenté par un cerveau biologique pourrait tout à fait être implémenté par de l'électronique. Il y a d'ailleurs des exercices de pensés dans ce sens.

Mais je fiche mon billet que les LLM n'iront pas jusque là.

Justement, le considérer comme un ennemie serait lui donner trop d'importance. C'est seulement un sociopathe comme le capitalisme en produit à la pelle.

Je me réjouis de voir que les prix rejoignent les coûts réels. C'est le seul moyen d'endiguer la prolifération des usages d'IAGen.