Journal Une équivalence entre l'énergie et l'information ?

Posté par  .
Étiquettes : aucune
0
29
sept.
2007
Cher journal,

Depuis bien longtemps, je me pose une question si geekesque et fumeuse que j'en ai presque honte. Mais j'ai décidé de faire mon coming out et d'en parler. Bref, vous avez été prévenus : des élucubrations vont suivre...

Plantons le décor : les micro-processeurs effectuent des calculs et consomment de l'électricité (jusque là tout va bien...). Ces dernières décennies ont vue une diminution énorme du temps nécessaire à la réalisation de ces calculs (leurs complexité restant sensiblement constante). Parallèlement, la consommation électrique de ces systèmes a été très fortement réduite, par l'utilisation en général de techniques de miniaturisation.

Ma question est alors : cette tendance d'augmentation de la quantité instructions par seconde par watt peut elle perdurer indéfiniment, ou bien y a t'il une limite physique de la puissance de traitement pour une valeur donnée de la puissance (électrique) consommée ?

On peut tout aussi bien la formuler comme : quel est l'équivalent en puissance électrique d'une transformation d'information ? ou encore : quel est la nature physique de l'information ?

Pensez-vous qu'il existe une espèce de formule de Carnot sur le rendement des machines de traitement des information ? ou même un équivalent du célébre E=mc² donnant une équivalence entre énergie et information ? ou même un définition de ce que c'est que l'information ? (notez bien, si on me demandait de définir l'énergie, je sera bien embêté...)

Quoi de neuf depuis Shannon ?
  • # Plop

    Posté par  . Évalué à 9.

    Je ne sais pas si cela peut t'aider, mais je me souviens de mes cours (ça remonte à loin toussa, cours de physique quantique) que quelqu'un avait calculé la valeure maximale d'information que pouvait contenir un mètre cube de matière et de la, la quantité maximale d'information que peut traiter un mètre cube de matière. Ce nombre est très grand (quelque chose en ^70), mais pas infini.

    Sinon, il faut traiter le sujet de l'équivalence énergie/information avec extrême prudence. Si Shannon et d'autre l'ont fait en prenant toute les précaution nécessaire, d'autre se sont engouffré dans cette voie avec la prestance d'un hippopotame en rut dans un magasin de lingerie féminine. Je pense surtout aux frères Bogdanov and co.

    Amicalement,
    • [^] # Re: Plop

      Posté par  . Évalué à 4.

      Oui il y forcement une limite théorique

      Actuellement la limite pratique elle est surtout thermique.

      Dans le futur avec les supra conducteurs et les ordinateurs quantiques on devrait s'affranchir de ce problème.
    • [^] # Re: Plop

      Posté par  (site web personnel) . Évalué à 9.

      C'est Selon Bonwick qui c'est amusé à faire ce calcul pour dire combien ZFS c'est trop de la balle que pour atteindre sa limite théorique il faudrait autant d'énergie que pour chauffer les océans, blablabla :

      Logically, the next question is if ZFS' 128 bits is enough. According to Bonwick, it has to be. "Populating 128-bit file systems would exceed the quantum limits of earth-based storage. You couldn't fill a 128-bit storage pool without boiling the oceans." [1]




      Although we'd all like Moore's Law to continue forever, quantum mechanics imposes some fundamental limits on the computation rate and information capacity of any physical device. In particular, it has been shown that 1 kilogram of matter confined to 1 liter of space can perform at most 1051 operations per second on at most 1031 bits of information [see Seth Lloyd, "Ultimate physical limits to computation." Nature 406, 1047-1054 (2000)]. A fully populated 128-bit storage pool would contain 2128 blocks = 2137 bytes = 2140 bits; therefore the minimum mass required to hold the bits would be (2140 bits) / (1031 bits/kg) = 136 billion kg.

      To operate at the 1031 bits/kg limit, however, the entire mass of the computer must be in the form of pure energy. By E=mc², the rest energy of 136 billion kg is 1.2x1028 J. The mass of the oceans is about 1.4x1021 kg. It takes about 4,000 J to raise the temperature of 1 kg of water by 1 degree Celsius, and thus about 400,000 J to heat 1 kg of water from freezing to boiling. The latent heat of vaporization adds another 2 million J/kg. Thus the energy required to boil the oceans is about 2.4x106 J/kg * 1.4x1021 kg = 3.4x1027 J. Thus, fully populating a 128-bit storage pool would, literally, require more energy than boiling the oceans.[2]




      [1] http://www.sun.com/2004-0914/feature/
      [2] http://en.wikipedia.org/wiki/ZFS#Capacity
      • [^] # Re: Plop

        Posté par  . Évalué à -10.

        Ta gueule.

        PS :
        [see Seth Lloyd, "Ultimate physical limits to computation." Nature 406, 1047-1054 (2000)]

        Merci.
        • [^] # Re: Plop

          Posté par  . Évalué à 4.

          Je ne sais pas pourquoi tant de haine mais bon...

          Effectivement, le papier "Ultimate physical limits to computation" de Seth Lloyd répondra certainement à tes interrogations et, à défaut, en soulèvera d'autres.

          On le trouvera ici : http://arxiv.org/abs/quant-ph/9908043
  • # Oui

    Posté par  (site web personnel) . Évalué à 2.


    Ma question est alors : cette tendance d'augmentation de la quantité instructions par seconde par watt peut elle perdurer indéfiniment, ou bien y a t'il une limite physique de la puissance de traitement pour une valeur donnée de la puissance (électrique) consommée ?


    Évidemment qu'il y a une limite. Ça me semble être évident mais bon, je vois pas ce qui peut te faire douter en fait...


    quel est la nature physique de l'information ?

    Ma définition de l'information ne plaît pas trop par ici, mais bon. Pour moi l'information c'est des données, peu importe ce qu'on veut rajouter à cela, genre c'est des données avec un sens rattaché ou autre, c'est données. Et des données c'est une configuration spécifique de l'espace-temps (ou de la matière si préfère ce mot).

    Donc en gros une information c'est une configuration spécifique de la matière (espace-temps, je dirais plutôt vu qu'on peut très bien concevoir des codage temporel, comme on fait des codages dans l'espace).

    Voila, c'est ma définition à moi, je la partage et l'approuve, blabla...
    • [^] # Re: Oui

      Posté par  . Évalué à 10.

      Au terme de physique, la donnée est une configuration de la matière en un point et en un temps. Cette configuration abstraite peut concerner l'agitation d'un électron, la vitesse d'une étoile, la position relative des sous-structures d'un cristaux, la présence ou non d'une charge dans un bit, etc.
      L'information est le canevas, la donnée transfiguré par la mise en relation d'autre données et, point important, d'un sens. La donnée ne transporte aucun sens. L'information oui.

      La différence est la même entre chiffre et nombre. Un nombre est constitué de chiffre, qui, individuellement ou à plusieurs, ne signifient en eux-même rien.
      • [^] # Re: Oui

        Posté par  (site web personnel) . Évalué à 10.

        Moi aussi je veux étaler ma confiture culture !

        Après la Donnée, puis l'Information qui est une donnée dans un contexte, vient la Connaissance qui est l'information dans un système de valeurs. La Connaissance est une information comprise (par un individu par exemple).
        Ensuite il y a la Compétence, qui est la capacité de mettre en oeuvre des Connaissances.

        Ca n'apporte pas grand chose par rapport au sujet mais bon, c'est pour le plaisir...
  • # IP V6

    Posté par  . Évalué à 2.

    IP V6 permet théoriquement de donner une adresse à tous les atomes de la terre (ou de l'univers je ne sais plus).

    Sachant qu'une adresse est une combinaison d'états d'atomes quelle énergie faut-il pour donner une adresse à toutes les atomes de la terre ?
    • [^] # Re: IP V6

      Posté par  (site web personnel) . Évalué à 7.

      j'aurais preferé poser cette question :

      Sachant qu'une adresse IPv6 est une combinaison d'atome et qu'IPv6 peut donner à chaque atome de la terre une adresse, et qu'IPv6 est utilisé sur terre ... quelle sont les adresses de l'adresse ?
      • [^] # Re: IP V6

        Posté par  . Évalué à 6.

        Avec un bon firewall, en faisant du natting ?
      • [^] # Re: IP V6

        Posté par  . Évalué à 4.

        pffff... t'as qu'a faire du C, tu saurais comment manipuler les pointeurs...
        l'adresse de l'adresse c'est *adresse.

        :)
    • [^] # Re: IP V6

      Posté par  . Évalué à 8.

      Il en faut 10 : un pour changer l'ampoule et 9 pour...

      ok --->[]
  • # réponse simple

    Posté par  (site web personnel) . Évalué à 7.

    Je vais te répondre simplement, par une question :

    Quel est la quantité d'energie minimale à l'information ( veridique ou non ) "dieu existe" ?


    En plus détaillé :
    tu confond le livre "support", le livre "texte", le livre "moyen", avec le livre "information contenu dans un texte representé sur un support servant de moyen de transmission de cette meme information".

    c'est un peu comme confondre l'ordinateur physique et l'ordinateur logique ... c'est erreur courante meme chez les geeks mais cela se soigne de maniere efficace ;)

    Si tu preferes, c'est comme confondre le signal transmettant une information avec l'information elle meme ;)

    Section branlette post trollday :
    tu manipules l'information en perturbant le signal, tu perturbe le signal en manipulant l'information ... mais l'information n'a pas qu'un signal attitré, et le signal n'est pas la représentation d'une information.

    Ainsi l'on pourrait postuler d'une hypothese sur la dualité Information/Signal.

    De cette meme hypothese, il est important que se rappeler que filter/nettoyer un signal lui fait perdre une quantité infini d'information tout comme garantir au mieux une information impose une quantité infini de signal
    Ce qui fait que nous pouvons completer notre systeme par un principe dit d'incertitude s'enoncant ainsi :
    l'incertitude sur l'information multiplié par l'incertitude sur le signal ne peut etre une quantité nulle

    maintenant, tu peux essayer de la minorer ;)

    on peut continuer sur cette lancé, mais il est tard et la marge trop petite pour finir mais en gros tu pourras démontrer ainsi que tout signal coherent d'informations est invisible à celui qui ne se le prend pas en pleine face.
  • # Que de mélanges!

    Posté par  (site web personnel) . Évalué à 2.

    Carnot, Shannon, rien que ça!

    Alors que la diminution de chaleur vient seulement de... La finesse de gravure.
    C'est tout. Pas plus, ou presque (fonctions supplémentaires dans le CPU).

    Et oui, la finesse de gravure s'arrêtera un jour (rien que parce qu'on ne sait même pas imaginer plus petit qu'un atome).
    La finesse de la gravure industrielle atteint désormais 45 nm, soit... 450 atomes de largeur. Reste pas beaucoup de marge.
    • [^] # Re: Que de mélanges!

      Posté par  (site web personnel) . Évalué à 1.


      Et oui, la finesse de gravure s'arrêtera un jour (rien que parce qu'on ne sait même pas imaginer plus petit qu'un atome).

      D'abord ce n'est pas une question d'imaginer, on peut toujours fantasmer plus petit, ça n'en fait pas pour autant une réalité, et ensuite un atome se compose de protons et de neutrons donc oui il y a plus petit. La plus petit valeur d'espace théorique possible est définie par la longueur de planck. Enfin c'est la théorie actuel je crois...
    • [^] # Re: Que de mélanges!

      Posté par  (site web personnel) . Évalué à 6.

      > Alors que la diminution de chaleur vient seulement de... La finesse de gravure.

      Pas vraiment, non. Aujourd'hui, la consommation electrique augmente avec les avancées physiques. cf. par exemple

      http://www.theinquirer.net/en/inquirer/news/2003/11/21/moore(...)

      Ce qui fait qu'on est capable d'avoir des systèmes à très basse consommation, c'est surtout le fait que les designs tiennent compte de la consommation électrique : variation de fréquences en fonction du besoin, désactivation de portions de puces non utilisées, implémentation en hardware de fonctions critiques en terme de performances, ...
  • # Information = néguentropie

    Posté par  . Évalué à 10.

    quel est l'équivalent en puissance électrique d'une transformation d'information ? ou encore : quel est la nature physique de l'information ?


    Ce sont deux questions différentes et pas forcément liées.

    On considère que l'information est de la néguentropie. Voir la page wikipédia (celle en anglais -- neguentropy -- est mieux faite que la fr) ou mieux, le livre de Léon Brillouin : La science et la théorie de l'information (1956, ed 2000) où la démonstration est faite (un peu plus poussé que les analogies avec la formule de Boltzmann avancées par Shannon).
    Cette démonstration part du Démon de Maxwell qui devait trier un gaz composé de deux types de molécules de façon à ce que toutes les molécules de chaque type se retrouvent dans deux enceintes fermées distinctes. La démonstration montre que le Démon doit "Informer" chaque molécule pour la placer dans la bonne enceinte. Comme le système fermé constitué par le gaz dans les deux enceintes devient ordonné et que les molécules ne sont plus uniformément et aléatoirement réparties, son entropie diminue. Donc, le fait d'ajouter de l'information revient à diminuer l'entropie du système. C'est pour cela que "entropie négative" contracté en "néguentropie" a été employée pour l'information.
    A noter, l'élaboration de la Cybernétique par Norbert Wiener s'appuie largement sur la néguentropie.

    Concernant la transformation de l'information, elle est d'un autre type logique que l'information elle-même (comme x par rapport à f(x)).
    L'information a toujours un support physique (matière, énergie). On le déduit de la définition de l'information par Gregory Bateson : "une différence qui crée une différence". On ne peut détecter l'information que par contraste avec l'absence d'information.
    Dans les processeurs, il y a modification d'état du support de l'information pour modifier l'information (on modifie la différence pour créer une nouvelle différence). Les limites et paramètres sont ceux des capacités de modification physique du support, elles ne dépendent pas de l'information elle-même. C'est pour ça que les recherches se portent sur d'autres supports physiques d'information que le silicium (photons, nanotubes, molécules organiques, cristaux divers...).
    L'énergie nécessaire à une tranformation d'information se calculera à partir des propriétés physiques du processeur. Je suppose qu'elle varie selon l'emplacement physique à l'intérieur du processeur, du délai depuis le dernier changement d'état, des états des circuits adjacents, etc.

    PS: Pour ceux qui sont sur Paris, il est possible d'assister à l'excellent cours de Bruno France-Lanord "Théorie des Systèmes, Théorie de l'Information" au CNAM de Paris (possibilité d'être auditeur libre, demandez-lui).
  • # Toujours la même histoire...

    Posté par  . Évalué à 10.

    ... et toujours la même réponse : 42.
  • # zéro ?

    Posté par  (site web personnel) . Évalué à 4.

    Les pertes d'énergies sont lié à des pertes en ligne à des "défaults" mais dans l'absolue, les processeurs pourrait consommer aucune énergie.

    Dans un procédés cmos, il y a des fuites globals d'un peut partout. Forcément, des isolants de quelques atomes d'épaisseurs, c'est pas top.

    Ensuite, le principe même du cmos, entasse des charges électrique sur une grille pour faire basculer son état. Cette accumulation devient une capacité parasite dont la charge fini par être évacuer. Donc, plus elle est petite mieux c'est. (sauf pour la DRAM, puisque c'est justement le point mémoire).

    Donc, si tu fais des transistors avec une capacité parasite proche de zéro, des fils sans résitance (supraconducteurs) et sans fuite, tu pourrais théoriquement faire des cpus avec une conso de zéro.

    "La première sécurité est la liberté"

    • [^] # Re: zéro ?

      Posté par  . Évalué à 3.

      Les pertes d'énergies sont lié à des pertes en ligne à des "défaults" mais dans l'absolue, les processeurs pourrait consommer aucune énergie.

      Perte ou pas perte j'ai du mal à croire qu'on peut traiter et transmettre de l'information sans apport d'énergie. il faut bien faire passer les transistors d'un état à un autre.
      • [^] # Re: zéro ?

        Posté par  (site web personnel) . Évalué à 3.

        Clair.

        Tout ça, c'est des mouvements d'électrons, et les électrons, ils bougent pas tout seuls ...
      • [^] # Re: zéro ?

        Posté par  . Évalué à 2.

        Il faut un apport d'énergie oui mais il n'est pas interdit que tu puisse la reprendre plus tard.

        De façon globale, il sera possible de calculer sans perdre d'energie - ou plutot sans modifier l'entropie.
        • [^] # Re: zéro ?

          Posté par  . Évalué à 3.

          Mais justement, ça n'a rien d'évident. Mon intuition de la chose me dit même le contraire.

          C'est la même idée que l'expérience de pensée du démon de Maxwell.
          On se dit que rien n'interdit a priori d'"informer" les molécules qu'elles doivent aller dans une enceinte plutôt que l'autre avec une énergie qui tend vers zéro, et à la fin on en arrive à contredire le second principe de la thermodynamique.

          D'ailleurs, l'année dernière, j'avais assisté à une présentation intéressante au sujet des limites physiques théoriques des calculateurs. Il faudrait que je retrouve la source.
          • [^] # Re: zéro ?

            Posté par  (site web personnel) . Évalué à 3.

            Disons qu'il n'y a rien qui viole la loi de conservation de l'énergie dans le traitement de l'information.

            Ce qui fait marché un transistor, c'est le potentiel. Si l'intensité est nul, il n'y a pas de consomation mais il y a tout de même traitement de l'information.

            "La première sécurité est la liberté"

            • [^] # Re: zéro ?

              Posté par  . Évalué à 5.

              Je parlais du second principe, pas du premier.
              De plus, ce qui est vrai aux échelles macroscopiques ne peut pas être transposé par bête passage à la limite à l'échelle microsocopique, et en particulier quantique, où in fine c'est là que ça se passe.

              (Par exemple, à l'échelle quantique, on sait que tout se passe bizarrement : par exemple gagner en précision sur la mesure de la position d'une particule en fait perdre sur sa quantité de mouvement, et vice-versa. C'est le fameux principe d'indécision d'Heisenberg -> limite dans la quantité d'information pour une particule.)

              Enfin, quoiqu'il en soit, si on assimile information et négentropie, les transferts d'information (en particulier les traitements informatiques) sont des transferts d'entropie, phénomène s'accompagnant d'une création globale d'entropie. Si on veut que l'ordinateur reste grosso modo semblable à lui même (régime stationnaire), il est nécessaire que celui-ci augmente l'entropie de son environnement, ce qui se traduit en pratique par un dégagement de chaleur (il doit y avoir d'autres possibilités pour évacuer l'entropie, mais ma thermo remonte à loin). En d'autres termes, l'ordinateur aura "consommé" de l'énergie.
        • [^] # Re: zéro ?

          Posté par  . Évalué à 3.

          De façon globale, il sera possible de calculer sans perdre d'energie - ou plutot sans modifier l'entropie.

          Dans un système fermé, l'entropie doit croître. Si on crée de l'information (de l'organisation), il faut en contre partie créer plus de bordel ailleurs dans le système. Si on acquiert de l'information sans créer d'entropie, on risque de libèrer à nouveau les démons de Maxwell.
          • [^] # Re: zéro ?

            Posté par  . Évalué à 1.

            Apparemment il y a une piste qui consiste justement à conserver toute l'information au cours des calculs (au lieu d'effacer des trucs au fur et à mesure) de façon à être réversible. Cette réversibilité s'appliquant aussi bien au processus physique sous-jacent qu'au niveau logique, la déperdition de chaleur/énergie (ou l'accroissement d'entropie) pourrait être aussi petite que l'on veut.

            http://en.wikipedia.org/wiki/Reversible_computing
            http://trappist.elis.ugent.be/~aldevos/projects/computer.htm(...)

            À noter justement que les ordinateurs quantiques doivent avoir cette propriété: http://fr.wikipedia.org/wiki/Ordinateur_quantique#Contrainte(...)
            • [^] # Re: zéro ?

              Posté par  . Évalué à 1.

              Les deux liens cités disent seulement: Pour avoir des circuits électroniques énergétiquement efficaces, le second principe de la thermodynamique impose que leur logique soit réversible. En effet, Landauer (1961) et von Neumann ont montré que chaque opération irréversible portant sur un bit augmente l'entropie d'au moins k ln2.

              Donc, avoir un circuit à "logique réversible" est une condition nécessaire pour avoir un circuit enérgétiquement efficace. C'est tout.
  • # Entropie, logique réversible, processeur asynchrone et quantique, etc.

    Posté par  (site web personnel) . Évalué à 2.

    Bonjour, comme tous les sujets abordés dans ce journal et ses nombreux commentaires m'intéressent, j'ai rédigé un billet dans mon blog pour réunir toutes les informations que j'ai pu trouver.
    http://www.haypocalc.com/blog/index.php/2007/10/16/79-revers(...)

    Rouvrir un journal serait peut-être plus intéressant, mais je n'ai pas envie de traduire la syntaxe Dotclear en syntaxe linuxfr...

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.