Journal Intégrité des fichiers en temps réel

Posté par (page perso) .
Tags : aucun
0
27
déc.
2004
Mon cher journal, je te souhaite déja de bonne fêtes.

Voila ayant perdu il y'a quelques temps mes données suite à des disques défecteux, je voudrais savoir si tu ne connais pas des outils qui décellent des donnée coromput. style tripwire, AIDE, AFICK. Il existe bien SOFFIC, mais il ne semble plus maintenu.

En gros le principe serait. Pendant l'écriture d'un fichier, la valeur de hashage serait calculé, ensuite une fois le fichier écrit, une vérification serait faite entre la clef de hashage calculé et celle du fichier.

PS: Ca fait 2 jours que je cherche, et j'ai rien trouvé

Merci pour tes réponses.
  • # RAID

    Posté par . Évalué à 4.

    Ce type de solution n'est pas enviseageable, les performances seraient divisées (au bas mot) par trois ou quatre.

    En effet, au lieux de "écriture", tu dois (comme tu l'a bien dis)
    1) Calcul de hash
    2) Ecriture
    3) Lecture
    4) Calcul de hash

    Pour te prémunir contre les pertes de données, je crois qu'un RAID serait bien moins cher que d'investir dans un ordinateur surpuissant pour garder des performances honorables.
    • [^] # Re: RAID

      Posté par (page perso) . Évalué à 3.

      Ne pourrait-on pas envisager ce type d'écriture pour 1 disque, un autre étant réservé au tout-venant (système...)?

      Mes données vraiment sensibles sont sur CD [1] mais je peux comprendre que certains ne souhaitent pas graver et préfére garder un disque de données. Si celui ci ne contient que des données importantes (data, pas système) et que l'on n'y accéde que rarement, un tel système serait possible AMHA (bien que dans ces cas là, un bon vieux cd-r serait le mieux).

      [1] pas en ce moment: il semblerait que k3b fonctionne correctement avec le 2.6.10. Donc mon graveur est mort je pense.
    • [^] # Re: RAID

      Posté par (page perso) . Évalué à 1.

      Et ben c'est à dire que j'ai justement du Raid 5 software. Mais c'est pas pour autant que ca me certifie que mes données sont integrent.

      La problematique, c'est que mes disques sont neuf et je dois recreer la matrice tout les 15 jours environ(lorsque la machine est assez solicité), notament sur le disque hda, mais pourtant il semble etre bon.

      Je sais pas pourquoi je souscone LVM. D'ailleur j'aimerais bien m'en débarassé, mais j'ai pas le courage de le faire ;)
      • [^] # Re: RAID

        Posté par (page perso) . Évalué à 5.

        Et ben c'est à dire que j'ai justement du Raid 5 software. Mais c'est pas pour autant que ca me certifie que mes données sont integrent.

        La problematique, c'est que mes disques sont neuf et je dois recreer la matrice tout les 15 jours environ(lorsque la machine est assez solicité), notament sur le disque hda, mais pourtant il semble etre bon.


        Je vais peut-être te décevoir, mais ça fait au moins 5 ans que tous les disques durs vendus intègrent des mécanismes de CRC. Donc ça veut dire que ce que tu confies à ton disque, il le régurgite toujours à l'octet près après avoir fait les vérifications de CRC (et si le CRC est mauvais, il fait en général un reset du disque et relit le secteur, et s'il y a vraiment un problème il fait des reset à l'infini et tu obtiens le chant du cygne caractéristique des disques durs mourrants). Ce qui veut dire que ton problème est ailleurs :
        - ta ram est défaillante ( -> memtest86 :)
        - problème de chipset (dû à un overclocking ou à un driver IDE buggé ou à une carte mère mourrante...).
        Mais je penche plutôt pour la premiere explication.

        Franchement l'époque où les disques durs étaient stupides est révolue depuis longtemps. Maintenant ils sont capables de s'auto réparer (par exemple ils ont des secteurs en rabe, et quand ils en trouvent des défectueux ils peuvent les déplacer. Mais toute l'opération est transparente même pour l'OS). On dispose d'ailleurs d'outils pour interroger les status du disque, commme par exemple le package ide-smart.
        • [^] # Re: RAID

          Posté par (page perso) . Évalué à 2.


          Franchement l'époque où les disques durs étaient stupides est révolue depuis longtemps. Maintenant ils sont capables de s'auto réparer (par exemple ils ont des secteurs en rabe, et quand ils en trouvent des défectueux ils peuvent les déplacer. Mais toute l'opération est transparente même pour l'OS). On dispose d'ailleurs d'outils pour interroger les status du disque, commme par exemple le package ide-smart.


          Je veux bien, mais c'est imbitable leur résultat ;)

          Voici ci dessous le résultat de la commande smartctrl -a /dev/hda

          Device: ExcelStor Technology J240 Supports ATA Version 5
          Drive supports S.M.A.R.T. and is enabled
          Check S.M.A.R.T. Passed.

          General Smart Values:
          Off-line data collection status: (0x00) Offline data collection activity was
          never started

          Self-test execution status: ( 0) The previous self-test routine completed
          without error or no self-test has ever
          been run

          Total time to complete off-line
          data collection: (1177) Seconds

          Offline data collection
          Capabilities: (0x1b)SMART EXECUTE OFF-LINE IMMEDIATE
          Automatic timer ON/OFF support
          Suspend Offline Collection upon new
          command
          Offline surface scan supported
          Self-test supported

          Smart Capablilities: (0x0003) Saves SMART data before entering
          power-saving mode
          Supports SMART auto save timer

          Error logging capability: (0x01) Error logging supported

          Short self-test routine
          recommended polling time: ( 1) Minutes

          Extended self-test routine
          recommended polling time: ( 20) Minutes

          Vendor Specific SMART Attributes with Thresholds:
          Revision Number: 16
          Attribute Flag Value Worst Threshold Raw Value
          ( 1)Raw Read Error Rate 0x000b 095 095 060 131087
          ( 2)Throughput Performance 0x0005 100 100 050 0
          ( 3)Spin Up Time 0x0007 105 105 024 10027171
          ( 4)Start Stop Count 0x0012 100 100 000 246
          ( 5)Reallocated Sector Ct 0x0033 100 100 005 33
          ( 7)Seek Error Rate 0x000b 100 100 067 0
          ( 8)Seek Time Preformance 0x0005 100 100 020 0
          ( 9)Power On Hours 0x0012 099 099 000 11364
          ( 10)Spin Retry Count 0x0013 100 100 060 0
          ( 12)Power Cycle Count 0x0032 100 100 000 243
          (192)Power-Off Retract Count 0x0032 100 100 050 714
          (193)Load Cycle Count 0x0012 100 100 050 714
          (194)Temperature 0x0002 107 107 000 1245243
          (196)Reallocated Event Count 0x0032 100 100 000 36
          (197)Current Pending Sector 0x0022 100 100 000 3
          (198)Offline Uncorrectable 0x0008 100 100 000 0
          (199)UDMA CRC Error Count 0x000a 200 200 000 0
          SMART Error Log:
          SMART Error Logging Version: 1
          Error Log Data Structure Pointer: 02
          ATA Error Count: 112
          Non-Fatal Count: 0

          Error Log Structure 1:
          DCR FR SC SN CL SH D/H CR Timestamp
          00 00 80 28 69 b9 e0 c8 3991
          00 00 80 a8 69 b9 e0 c8 3992
          00 00 80 28 6a b9 e0 c8 3992
          00 00 80 a8 6a b9 e0 c8 3992
          00 00 78 b0 6a b9 e0 c8 3997
          00 40 2e fa 6a b9 e0 51 0
          Error condition: 0 Error State: 3
          Number of Hours in Drive Life: 11143 (life of the drive in hours)

          Error Log Structure 2:
          DCR FR SC SN CL SH D/H CR Timestamp
          00 00 80 a8 69 b9 e0 c8 3992
          00 00 80 28 6a b9 e0 c8 3992
          00 00 80 a8 6a b9 e0 c8 3992
          00 00 78 b0 6a b9 e0 c8 3997
          00 00 70 b8 6a b9 e0 c8 4004
          00 40 2e fa 6a b9 e0 51 0
          Error condition: 0 Error State: 3
          Number of Hours in Drive Life: 11143 (life of the drive in hours)

          Error Log Structure 3:
          DCR FR SC SN CL SH D/H CR Timestamp
          00 00 12 cb d2 02 e0 c8 377004
          00 00 10 dd d2 02 e0 c8 377004
          00 00 06 ed d2 02 e0 c8 377004
          00 00 1a f3 c2 02 e0 c8 377004
          00 00 40 0d c3 02 e0 c8 377004
          00 40 0d 40 c3 02 e0 51 0
          Error condition: 0 Error State: 3
          Number of Hours in Drive Life: 8072 (life of the drive in hours)

          Error Log Structure 4:
          DCR FR SC SN CL SH D/H CR Timestamp
          00 00 08 18 b9 bb e0 c8 291075
          00 00 08 20 b9 bb e0 c8 291075
          00 00 08 80 d7 b6 e0 c8 291075
          00 00 08 b0 1f b0 e0 c8 291075
          00 00 08 b8 1f b0 e0 c8 291076
          00 40 06 ba 1f b0 e0 51 0
          Error condition: 0 Error State: 3
          Number of Hours in Drive Life: 8694 (life of the drive in hours)

          Error Log Structure 5:
          DCR FR SC SN CL SH D/H CR Timestamp
          00 00 80 a8 68 b9 e0 c8 3991
          00 00 80 28 69 b9 e0 c8 3991
          00 00 80 a8 69 b9 e0 c8 3992
          00 00 80 28 6a b9 e0 c8 3992
          00 00 80 a8 6a b9 e0 c8 3992
          00 40 2e fa 6a b9 e0 51 0
          Error condition: 0 Error State: 3
          Number of Hours in Drive Life: 11143 (life of the drive in hours)
          • [^] # Re: RAID

            Posté par (page perso) . Évalué à 3.

            Si tes disque durs sont neuf(il me sembait avoir lu ça plus haut, mais en voyant ça, je suppose que je me trompe), t'as du mourron a te faire, tu les a acheté d'occasion:

            Number of Hours in Drive Life: 11143 (life of the drive in hours)

            Pour ma part je n'ai jamais eut ou presque d'erreur sur mes disque, les seuls conditions ou j'en ai eut dans leur histoire etait:
            -Fort champ magnétique (labo de RMN au dessus et carcasse ouverte)
            -Alimentation défectueuse (regardes ça aussi après memetest86)
            -Noyau 2.6.9 (il a des problèmes avec certains contôleur de disques ou disques, je sais plus) -- mais je ne sais pas si ça apparaît dans smart, je ne pense pas même --
            • [^] # Re: RAID

              Posté par (page perso) . Évalué à 1.

              Euh, quand je disais neuf, c'etait tout juste 1 ans environ. puisque ma machine est allumé 24/24.

              Par contre comment pourais t'on dianostiqué le probleme alors, car au vu des tout les commentaires, il semble que ca ne soit pas un probleme disque.

              J'ai beau regardé mes logs je ne vois rien qui pourait m'aider. j'ai bien lancé memtest86 rien de spécial.

              Mais ce qui est bizzare, c'est qu'il y'a 4 mois de ca, ce probleme n'existait pas à priori (peut t'etre que je la solicité moins)
        • [^] # Re: RAID

          Posté par . Évalué à 1.

          C'est vrai.
          Voir aussi les outils SMART permettant de lancer/voir les checks des disques.

          Je suis en RAID5 et RAID1 sous LVM depuis quelques années.

          Les seuls fois ou j'ai du reconstruire un RAID, c'était soit à cause d'un disque réellement foireux (l'accès Ultra-DMA merdait), soit une embrouille après avoir booter sur une Knoppix qui ne m'a pas reconnu les disques dans les bons RAID, et la ça ma tout mélanger, j'ai pu récupérer des photos après un reiserfsck --rebuild-tree, mais les contenus étaient mélangés :(

          Bref, les possibilités sont en effet la RAM, mais je te dirais aussi d'essayer de descendre ton niveau de DMA (avec hdparm -X), mon Maxtor pourrit ne fonctionnait à peu pres bien qu'en MultiDMA2 (au lieu d'UltraDMA4).
    • [^] # Re: RAID

      Posté par (page perso) . Évalué à 1.

      Je confirme, lorsque ma machine est solicité elle reboote tout seule. J'etais en train d'initialiser ma base AIDE (calcul des hashages). J'égallement remarqué cela quand je convertissais des musiques WAV en MP3
      • [^] # Re: RAID

        Posté par (page perso) . Évalué à 1.

        Euh....
        Apparement c'est quand le disque est solicité, mon père a eu la même chose et à corriger en se mettant en pio 1 (ou ds ces eaux la), il passait plus "qu'à" 20mo/s (à une epoque on aviat 8mo/s c'etait super mais bon....) mais ca plantait plus
        </3612mavie>
        • [^] # Re: RAID

          Posté par (page perso) . Évalué à 1.

          Ben pour l'instant je suis justement en mode PIO

          Je suis à 16Mb/s alors que d'habitude lorsque je fais hdparm -d1 /dev/hda je suis à 88MB/s

          Ceci dis, j'essairais de lancer l'intialisation de ma base AIDE lorsque je serais en mode PIO pour voir si le PC reboote. Mais j'ai 280 min à attendre qu'il est fini de calculer la matrice Raid alors que d'habiture il lui faut à peut pres 30 à 50 min.

          Voici le résultat de cat /proc/ide/via

          ----------VIA BusMastering IDE Configuration----------------
          Driver Version: 3.37
          South Bridge: VIA vt8235
          Revision: ISA 0x0 IDE 0x6
          Highest DMA rate: UDMA133
          BM-DMA base: 0xfc00
          PCI clock: 33.3MHz
          Master Read Cycle IRDY: 0ws
          Master Write Cycle IRDY: 0ws
          BM IDE Status Register Read Retry: yes
          Max DRDY Pulse Width: No limit
          -----------------------Primary IDE-------Secondary IDE------
          Read DMA FIFO flush: yes yes
          End Sector FIFO flush: no no
          Prefetch Buffer: yes yes
          Post Write Buffer: yes yes
          Enabled: yes yes
          Simplex only: no no
          Cable Type: 80w 80w
          -------------------drive0----drive1----drive2----drive3-----
          Transfer Mode: PIO PIO PIO PIO
          Address Setup: 120ns 120ns 120ns 120ns
          Cmd Active: 90ns 90ns 90ns 90ns
          Cmd Recovery: 30ns 30ns 30ns 30ns
          Data Active: 90ns 90ns 90ns 90ns
          Data Recovery: 30ns 30ns 30ns 30ns
          Cycle Time: 120ns 120ns 120ns 120ns
          Transfer Rate: 16.6MB/s 16.6MB/s 16.6MB/s 16.6MB/s
    • [^] # Re: RAID

      Posté par (page perso) . Évalué à 1.

      Il y a une différence entre sécuriser (par redondance, backup, etc) le stockage des données et garantir leurs intégrités.

      RAID 5 effectue le calcul de hash (crc) à chaque écriture, mais il le fait au niveau bloc et non pas au niveau fichier. Par contre, rien de tout cela en RAID 1, donc le mirroir peut être completement cassé, le controlleur RAID/driver MD ne verait rien.
  • # Solaris 10 ?

    Posté par . Évalué à 1.

    Il me semble que la vérification d'intégrité que tu décrit correspond à ce qui se frait avec ZFS le nouveau FS de Solaris qui maintient une clef de 128 bits avec chaque fichiers.
    • [^] # Re: Solaris 10 ?

      Posté par . Évalué à 2.

      Pas du tout effaçe !
      je cite : All data is protected by 64-bit checksums

      Décidement on parle beaucoup de Solaris 10 ces derniers temps.
  • # Je pense avoir trouvé

    Posté par (page perso) . Évalué à 1.

    Voila je pense avoir trouvé le probleme.

    Je comprend pas trop le rapport, mais il semblerait que ca soit mon graveur de DVD qui posé probleme. je l'ai débranché et je n'ai plus aucun soucis.

    Donc merci à toutes les personnes qui m'ont aidé.

Suivre le flux des commentaires

Note : les commentaires appartiennent à ceux qui les ont postés. Nous n'en sommes pas responsables.