Cet article a 8 ans, mais il résonne pas mal en 2024 avec le vague de hype Intelligence Artificielle…
La semaine dernière dans le cadre d'un challenge IA dans mon organisation pro (on est sensé imaginé comment l'IA peut nous rendre plus productifs ou satisfaire nos clients ou être utilisé en hardware pour que notre boite de fondrie microélectronique en profite), un collègue nous fait une présentation en nous expliquant les réseaux de neurones avec pour répliquer des fonctions NAND et XOR (où on voyait que l'IA se plantait de 1% à 2% sur les XOR :-) mais c'était bien de le montrer) en nous disant que c'est comme un cerveau humain (oui l'analogie du neurone). Comment dire…… le tout à grand renfort de multiplication et d'addition de nombre flottant qui rament à mort.
Je ne vous parle pas des autres absurdités que j'ai entendues, ce truc tourne à la wishlist publique pour montrer qu'on participe :-) dans un contexte international de yes-we-can US et asiatiques. Le tout la semaine précédant les vacances scolaires d'été où la moitié de l'équipe sera absente. Il va falloir sortir les rames pour le management US ne nous prenne pas (encore une fois) pour des charlots réfractaire :-P
Assez réfractaire à la mode de l’IA, j’aurais facilement tendance à approuver tout discours en ce sens. Toutefois, votre description d’un ordinateur qui réalise à grands frais des opérations approximatives résonne dans et avec les comportement de la grosse masse graisseuse qui occupe ma boîte crânienne. N’est-ce pas là l’exemple archétypique pour souligner une imitation réussie d’un réseau de neurones par un ordinateur ?
Même réflexion ; j'imagine qu'on peut y trouver des petits points à nuancer ou à comparer (biais cognitifs, mot sur le bout de la langue, etc.) mais dans l'idée, la machine devient aussi fiable qu'un cerveau, la puissance en plus, la sensation en moins.
Posté par bobo38 .
Évalué à 3 (+2/-0).
Dernière modification le 14 juin 2024 à 10:05.
Cet exemple était assez marquant pour moi, parce que des operations NAND et XOR avec 8 inputs se font en quelques portes logiques. C'est typiquement le genre d'opérations pour lesquels la logique binaire fonctionne hyper bien, y compris avec des inputs qui ne sont pas des niveaux logiques 1/0, l'inverseur va amplifier et inverser le signal pour convertir un niveau de tension en entrée en 0 ou 1 pour le prochain étage.
Pour émuler ça avec un réseau de neurones on a besoin de calcul floating point avec un hardware beaucoup plus compliqué et séquentiel en particulier en utilisant des FPUs de CPU standard. Je suis d'accord que c'est le prix de la flexibilité du "réseau de neurones" en hardware pour modéliser tout type de problème, pas juste NAND et XOR.
Le genre d'opération à implémenter:
output = max(input0*coeff0 + input1*coeff1 + input2*coeff2 […] + inputn*coeffn + constante,0)
C'est sans doute possible d'avoir une efficacité matérielle par trop mauvaise avec une précision de nombre à virgule flottante plus grossière (l'exemple plus haut c'est du 8 bits).
# merci pour le lien
Posté par bobo38 . Évalué à 5 (+4/-0).
Cet article a 8 ans, mais il résonne pas mal en 2024 avec le vague de hype Intelligence Artificielle…
La semaine dernière dans le cadre d'un challenge IA dans mon organisation pro (on est sensé imaginé comment l'IA peut nous rendre plus productifs ou satisfaire nos clients ou être utilisé en hardware pour que notre boite de fondrie microélectronique en profite), un collègue nous fait une présentation en nous expliquant les réseaux de neurones avec pour répliquer des fonctions NAND et XOR (où on voyait que l'IA se plantait de 1% à 2% sur les XOR :-) mais c'était bien de le montrer) en nous disant que c'est comme un cerveau humain (oui l'analogie du neurone). Comment dire…… le tout à grand renfort de multiplication et d'addition de nombre flottant qui rament à mort.
Je ne vous parle pas des autres absurdités que j'ai entendues, ce truc tourne à la wishlist publique pour montrer qu'on participe :-) dans un contexte international de yes-we-can US et asiatiques. Le tout la semaine précédant les vacances scolaires d'été où la moitié de l'équipe sera absente. Il va falloir sortir les rames pour le management US ne nous prenne pas (encore une fois) pour des charlots réfractaire :-P
[^] # Re: merci pour le lien
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 4 (+2/-0).
Assez réfractaire à la mode de l’IA, j’aurais facilement tendance à approuver tout discours en ce sens. Toutefois, votre description d’un ordinateur qui réalise à grands frais des opérations approximatives résonne dans et avec les comportement de la grosse masse graisseuse qui occupe ma boîte crânienne. N’est-ce pas là l’exemple archétypique pour souligner une imitation réussie d’un réseau de neurones par un ordinateur ?
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: merci pour le lien
Posté par Tanouky . Évalué à 0 (+0/-1).
Même réflexion ; j'imagine qu'on peut y trouver des petits points à nuancer ou à comparer (biais cognitifs, mot sur le bout de la langue, etc.) mais dans l'idée, la machine devient aussi fiable qu'un cerveau, la puissance en plus, la sensation en moins.
[^] # Re: merci pour le lien
Posté par bobo38 . Évalué à 3 (+2/-0). Dernière modification le 14 juin 2024 à 10:05.
Cet exemple était assez marquant pour moi, parce que des operations NAND et XOR avec 8 inputs se font en quelques portes logiques. C'est typiquement le genre d'opérations pour lesquels la logique binaire fonctionne hyper bien, y compris avec des inputs qui ne sont pas des niveaux logiques 1/0, l'inverseur va amplifier et inverser le signal pour convertir un niveau de tension en entrée en 0 ou 1 pour le prochain étage.
Pour émuler ça avec un réseau de neurones on a besoin de calcul floating point avec un hardware beaucoup plus compliqué et séquentiel en particulier en utilisant des FPUs de CPU standard. Je suis d'accord que c'est le prix de la flexibilité du "réseau de neurones" en hardware pour modéliser tout type de problème, pas juste NAND et XOR.
Le genre d'opération à implémenter:
output = max(input0*coeff0 + input1*coeff1 + input2*coeff2 […] + inputn*coeffn + constante,0)
Quelques liens intéressants:
https://www.hpcwire.com/2023/08/07/the-great-8-bit-debate-of-artificial-intelligence/
https://en.wikipedia.org/wiki/Floating-point_arithmetic#Internal_representation
https://en.wikipedia.org/wiki/Minifloat#Table_of_values
C'est sans doute possible d'avoir une efficacité matérielle par trop mauvaise avec une précision de nombre à virgule flottante plus grossière (l'exemple plus haut c'est du 8 bits).
[^] # Re: merci pour le lien
Posté par Nicolas Boulay (site web personnel) . Évalué à 3 (+0/-0).
Un reseau llm pourrait optimiser des netlists pour reduire leur taille.
Ou à l'inverse, tu pourrais générer des choses à partir d'une description.
Quand une spécification est précise, le top niveau, les io et des equations pourraient etre généré.
"La première sécurité est la liberté"
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.