Journal Le jour de la panne électrique

Posté par  (site web personnel) .
Étiquettes : aucune
0
24
mai
2005
Cher journal,

faut que je te parle d'un truc chiant du boulot: les pannes électriques. Jusqu'ici, j'en avait jamais eu de sévères et l'onduleur arrivait à faire des arrêts bien comme il faut !

L'autre jour (en fait, il y a près de 3 semaines), the big panne: tout s'arrête brutalement, l'onduleur ne prend rien. Donc 10 serveurs de prod stoppés à l'arrache...

On croise les doigts et ça repart bien pour 7 machines. Les 3 autres:
- du matos de mort: HD HS + DLT HS (pas bien)
- des DB qui ne se relançent plus (moyen)
- des filesystems qui font la gueule et au milieu de tout ça, mon cluster HA.

Tout ça pour dire que OpenLDAP n'aime pas les arrêts brutaux:
- dans un premier temps (la première panne électrique en fait), impossible de relancer le serveur: le fichier BDB est mort donc le serveur plante méchamment: impossible au démon de réagir. Je lance slapd en ligne de commande pour voir sa réaction en verbeux: verdict: ça bloque sévère.

Qu'importe, on prend une bande, on lance une petite restauration de /var/lib/slapd. Et ça repart du feu de dieu.

1 semaine après la première panne méchante: re !
Cette fois, je suis sûr que mon onduleur a vraiment du mal. Le cluster HA en prend plein la tronche mais redémarre tout seul.

Tous les services sont lancés mais le comportement est plutôt bizarre:
- j'ai quelques clients Win2K qui ne sont plus dans le domaine (SAMBA+OPENLDAP)
- impossible d'ajouter des comptes de machine dans l'annuaire (une fois sur deux ça plante différemment).
- les imprimantes de CUPS plantent les unes après les autres: impossible d'envoyer le travail d'impression: Samba ne semble plus le prendre sauf que la page de test marche à la perfection (va comprendre Charles).
- impossible de rajouter des comptes utilisateurs sauf pour certains noms qui passent mais qui ne peuvent se logger.

C'est resté environ 2 jours comme ça et vous vous doutez bien que ma dose de stress a commencé à augmenter sévère.
Au final, j'ai pris le taureau par les cornes:
- stop slapd+samba+cups
- rm /var/cache/samba
- rm /var/lib/slapd
- relance slapd == Annuaire vide
- on remplit correctement l'annuaire avec un ldif de sauvegarde
- relance samba et c'est parti !

Bon ,ça remarche correctement... mais c'est chaud. Ce qui m'a le plus surpris c'est le comportement d'OpenLDAP: difficile de dire , au vu des symptômes, que c'était lui en cause (j'ai mis deux jours pour faire le lien entre les symptômes bruts et ce fieffé coquin).

Allez, heureusement que c'est pas tous les jours comme ça !

PS: je vous ai parlé de mes sauvegardes par flexbackup+star qui s'arrêtent en route ??

  • # ondulateur +fs

    Posté par  (site web personnel, Mastodon) . Évalué à 5.

    On dirait que les batteries de ton ondulateurs sont en bout de vie, tu devrait
    peut être les contrôler ou les changer (tous les deux a trois ans).

    Est ce que avec un fs journalisé tu devrait pas éviter ce genre de problême lors d'une coupure brutale de courant ?

    • [^] # Re: ondulateur +fs

      Posté par  . Évalué à 4.

      J'ajouterais que nous avons nous même eu une grosse panne d'onduleur il y a 2 jours. C'est probablement dans l'air du temps.

      En tout cas, une chose est sûre : Les onduleurs, c'est comme les disques durs. Ils sont chargés de conserver beaucoup de ressources précieuses, mais il finissent tous, tôt ou tard, par lacher.

      Bref, un petit contrat de maintenance sur ces machines peut s'avérer rentable en fonction de nombre de machines que l'on administre.

  • # combien ?

    Posté par  (site web personnel) . Évalué à 2.

    Combien de temps dure une coupure de courant en général ?

    "La première sécurité est la liberté"

    • [^] # heu.. les coupures ont en a tous eu, non?

      Posté par  . Évalué à 4.

      ca dépend de tellement de paramètres. il y a 3 semaines le courant a été coupé sur une partie de la région PACA pour permettre aux canadairs d'arroser les feux de forêt malgré les lignes à hautes tensions. Dans ce cas précis le courant a été coupé et rétabli de façon totalement volontaire par EDF. Ca a durée 3 bonnes heures.

      Mais la coupure peut provenir de tout et n'importe quoi. Ca peut être une microcoupure qui dure 0.0002 secondes (et là on dit merci à l'inventeur de l'onduleur) jusqu'à un "petit problème technique" qui dure 30 minutes.

      plagiats
      PS: J'ai l'impression de ne pas avoir bien saisi ta question. Serions nous inégaux devant EDF ?

      • [^] # Re: heu.. les coupures ont en a tous eu, non?

        Posté par  (site web personnel) . Évalué à 4.

        Serions nous inégaux devant EDF ?

        J'en ai bien l'impression! Personnellement, la dernière coupure de courant que j'ai connue remonte à ... 2000, et encore, j'étais au Népal!

        <ma vie>
        C'est assez bizarre là-bas: à Katmandu, il y a une panne d'une heure par semaine, à heure fixe, et en province, c'est une heure par jour! Ceci afin de palier, non pas au déficit de production du Népal, mais à celui de l'Inde, à qui le Népal exporte beaucoup!
        Anecdote rigolote: on était en train d'installer des PC dans une école à Panauti, et à 3 heures moins cinq le prof avec qui nous étions nous dit "Dépéchez-vous, ça va couper!". On s'est détendu une heure, et on a continué après.
        </ma vie>

        Il semble quand même que les coupures sont beaucoup plus fréquentes en province (surtout dans les Alpes et la Corse) qu'en Ile-de-France, mais je pense (espère?) que c'est principalement pour des raisons techniques.

        • [^] # Re: heu.. les coupures ont en a tous eu, non?

          Posté par  . Évalué à -10.

          mais je pense (espère?) que c'est principalement pour des raisons techniques.


          Je pense aussi mais il y a aussi le fait qu'en province on trouve moins de matérielle "critique" (hopitaux, serveurs, etc...) et d'habitants comparé aux grandes villes donc EDF peut se permettre de couper plus fréquemment dans ces régions.
          De plus si il y a un problème sur le réseau, EDF choisira de couper en province plutôt que de priver tout Paris de courant, sauf si cela est vraiment nécessaire.

          • [^] # Re: heu.. les coupures ont en a tous eu, non?

            Posté par  . Évalué à 10.

            et oui , on est déja bien contant d'avoir l'électricité depuis l'année dernière : on vas pas en plus demander à être aussi civilisé que les parisiens !
            heureusement qu'ils viennent parfois nous voir dans l'sud pour nous apprendre des trucs !

            allez , j'vas a la ville avé la marie pour ach'ter d'la chique .

            ps : dans tout tes [-] il y en a un de moi , et ne demande pas pourquoi !

            • [^] # Re: heu.. les coupures ont en a tous eu, non?

              Posté par  (site web personnel) . Évalué à 10.

              Twé aussi, on t'a mis l'électricité récemment ?

              Ah bin, mwé c'est ma femme qui va êt' contente, les femmes, il leur faut tout l'équipement moderne maintenant...

              Mwé, j'arrête pas de m'embortaler dans les fils, l'aut' coup, je suis rentré caoué après m'être pris une royée, je me suis encoublé sur la gazinière, je me suis pris une une abadée par la femme... non di diou !

              P.S : y a un peu de patois haut-savoyard pour ceux qui ne comprennent pas certains mots... j'adore ces andouilles de touristes qui croient qu'on ne connait pas le téléphone en Haute-Savoie, y en a même un qui me l'a demandé cash quand j'étais en vacances sur un châlet d'alpage !

              J'vous fait la discussion :
              -mais comment faites-vous pour vivre ici ? Il n'y a ni électricité, ni eau courante !
              -certes, mais c'est un châlet d'alpage, on vient ici pour nos vacances de temps en temps.
              -mais comment faites-vous ?
              -et bien on bosse un peu (imbécile) ! Tu sais quand même ce qu'est un poële à bois, non ? (putain, il arrive pas à intégrer qu'on ne vit pas ici toute l'année)
              Et on a un plan d'eau, et je peux vous dire que cette eau est sûrement meilleure que la saleté que boit votre fiston derrière ! (Coca, en plein dian, c'est pas top pour se désaltérer)
              -vous avez le téléphone ?
              -bin oui, vous croyez quoi ?
              -vous connaissez internet ?
              -(grrr, je suis développeur web, ducon !) Bien sûr !
              -(décidé à se foutre de ma gueule) je suis expert en création de sites. Pourquoi les autres rient derrière ? (ils savent tous que c'est mon domaine)
              -Moi : vous créez comment vos sites ?
              -(tout fier de me montrer sa science) avec... Frontpage !
              -(retient un fou rire) alors vous allez pouvoir m'éclairer de votre expérience !
              -(sûr de lui) allez-y je suis incollable !
              -que pensez-vous de la dernière recommandation du W3C XForms ?
              -(gros blanc et yeux grand ouverts) ???
              -(tout fier de ma connerie) M'excusez, j'ai un peu de boulot !

              Sont cons ces touristes des fois, j'en ai même un qui a expliqué à son fils qu'il fallait boire de l'eau au bout d'un bassin, car cela servait à faire décanter l'eau... allez lui expliquer que c'est un abreuvoir à vaches...

            • [^] # Re: heu.. les coupures ont en a tous eu, non?

              Posté par  . Évalué à 7.

              > Bla bla bla délire verbal paris / province

              Chez EDF comme chez tous les fournisseurs d'énergie électrique, ils sont confrontés à un problème simple mais fondamental, c'est que l'électricité on ne sait pas la stocker. Donc à chaque instant t, il faut que énergie produite = énergie consommée. Pour un match de football avec l'équipe de france par exemple, il faut planifier la production à l'avance. Les gars ont des prévisions demi-heure par demi-heure pour chaque jour de l'année. Incroyable hein ?

              De plus, en France on a fait le choix de tout miser sur le nucléaire, donc la production d'électricité est super centralisée : on produit *beaucoup* dans peu d'endroits (centrales nucléaires), et on consomme un peu dans beaucoup d'endroits (villes, villages, hameaux). D'où le problème de transporter l'énergie là où elle est consommée. On parle de "dispatching".

              Le dispatching c'est une dizaine de mecs répartis sur tout le territoire, et qui surveillent 24h sur 24h l'équation énergie produite = énergie consommée. En cas de problème, il doivent réagir extrêmement vite pour isoler la partie de réseau qui débloque avant que le défaut ne se propage davantage. Comme cà le transport de l'énergie peut continuer. Sauf que la partie du réseau qu'on vient d'isoler, ben les gens sont dans le noir.

              Je peux t'assurer qu'en cas de force majeure, les consignes sont claires et nettes :
              - on fout Pont-Avent dans le noir, mais surtout Quimperlé reste alimenté
              - on fout Quimperlé dans le noir, mais surtout Lorient reste alimenté
              - on fout Lorient dans le noir, mais surtout le reste de la Bretagne reste alimenté
              - on fout la bretagne dans le noir, mais surtout Paris reste alimenté
              - on fout la France dans le noir, mais surtout on perturbe pas les pays voisins.

              Pour mémoire, le réseau électrique est le même dans toute l'europe jusqu'en Russie : on est tous reliés au même réseau à 50 Hz.

              Heureusement une catastrophe majeure qui mette le pays dans le noir, ca n'arrive jamais.

              Sauf peut-être un certain 19 décembre 1978.

              • [^] # Re: heu.. les coupures ont en a tous eu, non?

                Posté par  (site web personnel) . Évalué à 7.

                L'histoire du 19 décembre 1978 selon RTE est assez fascinant je trouve :

                Par temps froid et couvert, la montée de charge s'avère ce jour-là
                plus rapide et plus importante que prévue (38 500 MW appelés). Le parc
                de production disponible est utilisé au maximum de ses possibilités
                (active et réactive) et plus de 3 500 MW sont importés des pays
                voisins, principalement d'Allemagne. L'accroissement de la charge
                augmente les transits, déjà élevés, de l'Est vers la région parisienne
                et les tensions s'avèrent, de ce fait, très basses dans une grande
                partie du réseau (région parisienne, Ouest).

                À partir de 8 heures, des surcharges sont constatées sur le réseau et,
                à 8h06, une alarme "surcharge 20 minutes" apparaît sur la ligne 400 kV
                Bézaumont-Creney dans l'est de la France. Malgré diverses manoeuvres
                sur la topologie du réseau, cette surcharge ne peut être réduite et la
                ligne déclenche sous l'action de sa pro- tection à 8h26.

                Sur le report de charge, trois lignes 225 kV déclenchent par
                surcharge. Puis les quatre groupes de Revin s'effacent (du fait de
                leur protection de surintensité). Une interconnexion 400 kV avec la
                Belgique déclenche alors et la tension baisse encore. Le déclenchement
                (mal expliqué) d'une nouvelle interconnexion 400 kV avec la Belgique
                s'accompagne d'une chute de tension supplémentaire et de la perte de
                stabilité d'une grande partie du réseau. Dans la phase suivante, s'en-
                chevêtrent ouvertures de lignes et déclenchements de groupes (du fait
                notam- ment de leurs protections à minimum de tension et à minimum de
                fréquence). Des sous-réseaux isolés se forment, où le bilan
                production-consommation ne peut être rétabli (délestages insuffisants,
                pertes de groupes).

                75% de la consommation sont perdus, même si le Sud-Est de la
                France et des bandes voisines des frontières Nord et Est restent sous
                tension. De nombreux groupes n'ont pas réussi leur îlotage.

                Une première reprise trop rapide conduit à un nouvel écroulement du
                réseau à 9h08. Une reprise plus prudente, s'appuyant sur les groupes
                hydrauliques et l'étranger, permet une reconstitution quasi totale du
                réseau vers 12 heures. Pour la clientèle, les coupures auront duré
                entre 30 minutes et 10 heures.

                Cet incident, résultant d'une gestion tendue du réseau (transits
                élevés et tensions basses dans certaines zones) et d'une cascade de
                surcharges, a clairement mon- tré que le plan de défense de l'époque a
                été débordé : les délestages ont été insuffisants, les déclenchements
                de groupes sont apparus trop tôt sur des cri- tères de minimum de
                tension et le découpage du réseau a été mal réussi. La reprise de
                service également n'a pas été satisfaisante.

                http://www.rte-france.com/htm/fr/qui/telecharge/memento_surete_2004(...)

          • [^] # Re: heu.. les coupures ont en a tous eu, non?

            Posté par  . Évalué à 4.

            De plus si il y a un problème sur le réseau, EDF choisira de couper en province plutôt que de priver tout Paris de courant, sauf si cela est vraiment nécessaire.

            Sur ce point (parce que le reste ...), tu as raison. Quelque soit le problème, tout sera mis en oeuvre pour garder Paris et l'Ile de France alimenté, même si pour cela il faut prendre la décision de couper le courant dans des zones où tout va bien. C'est d'ailleurs ce qui a été fait lors des tempètes de 1999. Avec tous les problèmes de coupurs, de surcharges, la priorité était Paris.

            C'est comme avec les réseaux routiers et Sncf, tout est fonction de Paris.

            • [^] # Re: heu.. les coupures ont en a tous eu, non?

              Posté par  (site web personnel) . Évalué à 2.

              C'est 15 millions d'habitants dans un tout petit territoire. Par contre, si on compte le poids économique c'est bien plus de 1/5 du pays.

              Bref,je suppose que si paris est préservé, c'est surtout pour minimiser les impacts économiques.

              "La première sécurité est la liberté"

              • [^] # Re: heu.. les coupures ont en a tous eu, non?

                Posté par  . Évalué à 6.

                C'est 15 millions d'habitants dans un tout petit territoire. Par contre, si on compte le poids économique c'est bien plus de 1/5 du pays.


                C'est évident, Paris a pendant des siècle été une ville privilégiée, et où tous les gouvernements se sont installés, ce qui lui a valu une situation particulière, un traitement de faveur. Et vu que Paris a toujours été prioritaire sur le reste, du coup les entreprises ont préféré s'y installer, donc du coup les employés ont suivi, donc du coup presque 11 millions d'habitants [1] (et pas 15 !), et donc Paris est prioritaire et bénéficie d'un traitement privilégié, ce qui, conjugué à l'importance de la population locale attire fortement les entreprises, etc. Le serpent qui se mord la queue en somme, sauf que voilà, il semblerait que les employés ne supportent plus trop la vie Parisienne, et que les flux migratoires soient nettement inversés depuis quelques années.

                Bref, c'est bien gentil tout ça, mais si on fait le calcul, Paris a coûté une fortune au reste de la France (la « province ») pour devenir ce qu'elle est. Et quand on regarde ce que d'autres villes de province font avec infiniment moins de moyen, et la qualité de la vie en plus, et bien on se dit que Paris a été un bel exemple de gaspillage tellement le rendement en a été nul.

                Bah, c'est pas grave, ça pourra toujours servir de dépotoir nucléaire à la France quand les parisiens auront pris conscience de la vie de merde qu'ils mènent et qu'ils auront tous émigré sous des cieux plus cléments [2] :-)


                [1] http://fr.wikipedia.org/wiki/R%C3%A9gion_parisienne(...)
                [2] en plus comme ça, on n'aura plus de gros empaffés de parigots qui viendront polluer et embouteiller nos tranquilles routes de province ;-)

                • [^] # Re: heu.. les coupures ont en a tous eu, non?

                  Posté par  (site web personnel) . Évalué à 2.

                  Bref, c'est bien gentil tout ça, mais si on fait le calcul, Paris a coûté une fortune au reste de la France (la « province ») pour devenir ce qu'elle est. Et quand on regarde ce que d'autres villes de province font avec infiniment moins de moyen, et la qualité de la vie en plus, et bien on se dit que Paris a été un bel exemple de gaspillage tellement le rendement en a été nul.

                  euh ?!

                  Tient je vais réclamer la secession de l'ile de France pour voir ce qui reste comme budget au reste de la France.

                  "La première sécurité est la liberté"

              • [^] # Re: heu.. les coupures ont en a tous eu, non?

                Posté par  . Évalué à 2.

                Par contre, si on compte le poids économique c'est bien plus de 1/5 du pays.

                Je me demande toujours comment se compte le poids économique d'une société dont les usines sont réparties dans toute la France et dont le siège social est à Paris. Rien qu'avec les grosses sociétés (Renault/PSA, Airbus, les banques ...), y'a moyen de changer beaucoup le poids économique de cette région.
                Je me pose la même question sur la manière dont ces mêmes entreprises payent leur impôts. Tout ce qui est taxe professionnelle, impôts fonciers, c'est le lieu d'implantation de chaque structure, mais pour le reste ?

        • [^] # Re: heu.. les coupures ont en a tous eu, non?

          Posté par  . Évalué à 1.

          La technique certes, mais qui provient de la politique : Paris étant peuplé de pleins de gens vraiment très importants, l'approvisionnement de la capitale est particulièrement redondant. Par contre la région PACA doit être peuplée uniquement de glandu étant donné qu'il y a une seule ligne approvisionnant la majeur partie de sa population.

      • [^] # Re: heu.. les coupures ont en a tous eu, non?

        Posté par  (site web personnel) . Évalué à 7.

        Des fois ce n'est pas volontaire du tout, il suffit d'un coup de pelleteuse lié aux travaux dans les parages pour que la distribution soit coupée (dans le meilleurs des cas, le maillage du réseau Edf sauve les choses).

        C'est ce qu'on appelle "l'effet Poclain" (en hommage aux pelleteuses du même nom).

        Note : fonctionne aussi avec les fibres optiques.

  • # Pour ldap

    Posté par  . Évalué à 3.

    En fait pour LDAP t'as deux manieres de stocker la base de données : BDB ou LDBM et en fait LDBM est beaucoup moins sensibles aux coupures hard que BDB donc je ne peux que te conseiller le passage de l'un à l'autre...

    a+

    • [^] # Re: Pour ldap

      Posté par  (site web personnel) . Évalué à 3.

      De mon côté, la base de données d'OpenLDAP est collé dans Postgresql, et depuis, c'est stable (les "blagues" de données corrompues sans aucune explication réelle (pas de coupure de courant) dans la base DBM ont disparu).
      Cela a résisté, pour l'instant, à toutes les coupures de courant que nous avons connu.

    • [^] # Re: Pour ldap

      Posté par  . Évalué à 1.

      J'ai eu un problème hard aussi il y a deux jours.Résultats des courses: la base BDB était morte (enfin corrompue).

      La solution est de simplement utiliser les outils DB mis à disposition:

      - db4.1_verify ...
      - ...

      La plus utile ayant été la commande de restore:

      db4.1_recover -h /var/lib/ldap

      Mes .02¤

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.