CDuv a écrit 17 commentaires

testdisk arrive à lire le contenu de la partition que j'arrive à monter (sdh2-copie_travail.img) mais pas celle que je ne parviens pas à monter (la première : sdh1-copie_travail.img), j'obtiens :

Can't open filesystem. Filesystem seems damaged.

J'ai tenté une réparation de la MFT :

MFT and MFT mirror are bad. Failed to repair them.

J'ai tenté une reconstruction du Boot Sector "Rebuild BS" (pas sûr d'en voir l'intérêt), sans succès :

Disk ./sdh1-copie_travail.img - 268 GB / 249 GiB - CHS 32636 255 63
     Partition                  Start        End    Size in sectors
   P NTFS                     0   0  1 32635 106 13  524287966

Boot sector
Status: OK

Backup boot sector
Status: OK

Sectors are identical.

A valid NTFS Boot sector must be present in order to access any data; even if the partition is not bootable.

J'ai donc relancé un ddrescue sur l'intégralité du disque : ddrescue /dev/sdh ./sdh-copie_maitre.img ./sdh-copie_maitre.mapfile qui a donné le résultat suivant :

GNU ddrescue 1.27
Press Ctrl-C to interrupt
     ipos:    1000 GB, non-trimmed:    81920 B,  current rate:  41222 kB/s
     opos:    1000 GB, non-scraped:        0 B,  average rate:  41956 kB/s
non-tried:   50135 kB,  bad-sector:        0 B,    error rate:       0 B/s
  rescued:    1000 GB,   bad areas:        0,        run time:  6h 37m 17s
pct rescued:   99.99%, read errors:        5,  remaining time:          2s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 1 (forwards)
     ipos:    65536 B, non-trimmed:   229376 B,  current rate:  12320 kB/s
     opos:    65536 B, non-scraped:        0 B,  average rate:  41904 kB/s
non-tried:   19988 kB,  bad-sector:        0 B,    error rate:       0 B/s
  rescued:    1000 GB,   bad areas:        0,        run time:  6h 37m 48s
pct rescued:   99.99%, read errors:        8,  remaining time:          3s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 2 (backwards)
     ipos:    6284 MB, non-trimmed:   294912 B,  current rate:   1385 kB/s
     opos:    6284 MB, non-scraped:        0 B,  average rate:  41892 kB/s
non-tried:   17956 kB,  bad-sector:        0 B,    error rate:    9362 B/s
  rescued:    1000 GB,   bad areas:        0,        run time:  6h 37m 55s
pct rescued:   99.99%, read errors:        9,  remaining time:         14s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 4 (backwards)
     ipos:    6284 MB, non-trimmed:    2232 kB,  current rate:    1365 B/s
     opos:    6284 MB, non-scraped:        0 B,  average rate:  41223 kB/s
non-tried:        0 B,  bad-sector:        0 B,    error rate:    5916 B/s
  rescued:    1000 GB,   bad areas:        0,        run time:  6h 44m 23s
pct rescued:   99.99%, read errors:       49,  remaining time:         17s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 5 (forwards) 
     ipos:    6291 MB, non-trimmed:        0 B,  current rate:     597 B/s
     opos:    6291 MB, non-scraped:    1182 kB,  average rate:  40642 kB/s
non-tried:        0 B,  bad-sector:    37888 B,    error rate:      85 B/s
  rescued:    1000 GB,   bad areas:       74,        run time:  6h 50m 10s
pct rescued:   99.99%, read errors:      123,  remaining time:          3m
                              time since last successful read:          0s
Trimming failed blocks... (forwards)         
     ipos:    6291 MB, non-trimmed:        0 B,  current rate:       0 B/s
     opos:    6291 MB, non-scraped:        0 B,  average rate:  34872 kB/s
non-tried:        0 B,  bad-sector:   629760 B,    error rate:       0 B/s
  rescued:    1000 GB,   bad areas:       93,        run time:  7h 58m  1s
pct rescued:   99.99%, read errors:     1279,  remaining time:          0s
                              time since last successful read:         19s
Scraping failed blocks... (forwards)
Finished

Mais, là encore la partition n°1 ne veut pas être lue :

$ kpartx -l sdh-copie_travail.img
loop1p1 : 0 524287966 /dev/loop1 34
loop1p2 : 0 1429237135 /dev/loop1 524288000


$ kpartx -v -a sdh-copie_travail.img
add map loop1p1 (252:1): 0 524287966 linear 7:1 34
add map loop1p2 (252:2): 0 1429237135 linear 7:1 524288000


$ ntfsfix -b -d -n /dev/mapper/loop1p1
Mounting volume... ntfs_mst_post_read_fixup_warn: magic: 0x00000000  size: 1024   usa_ofs: 0  usa_count: 0: Invalid argument
Record 0 has no FILE magic (0x0)
Failed to load $MFT: Input/output error
FAILED
Attempting to correct errors... ntfs_mst_post_read_fixup_warn: magic: 0x00000000  size: 1024   usa_ofs: 0  usa_count: 0: Invalid argument
Record 0 has no FILE magic (0x0)
Failed to load $MFT: Input/output error
FAILED
Failed to startup volume: Input/output error
Checking for self-located MFT segment... ntfs_mst_post_read_fixup_warn: magic: 0x00000000  size: 1024   usa_ofs: 0  usa_count: 0: Invalid argument
OK
Unrecoverable error
Volume is corrupt. You should run chkdsk.
No change made

Petit suivi :

Pour image de la partition qui fonctionnait sous Windows ddrescue a mis 4h30m (pour 750 Go) et n'a visiblement pas rencontré de problèmes :

GNU ddrescue 1.27
Press Ctrl-C to interrupt
     ipos:  731769 MB, non-trimmed:        0 B,  current rate:  22420 kB/s
     opos:  731769 MB, non-scraped:        0 B,  average rate:  45613 kB/s
non-tried:        0 B,  bad-sector:        0 B,    error rate:       0 B/s
  rescued:  731769 MB,   bad areas:        0,        run time:  4h 27m 22s
pct rescued:  100.00%, read errors:        0,  remaining time:         n/a
                              time since last successful read:         n/a
Copying non-tried blocks... Pass 1 (forwards)
Finished

Je l'ai montée sans problème avec mount -t ntfs -o loop,ro /mnt/espace_travail/sdh2-copie_travail.img /mnt/sdh2 et j'ai pu naviguer/lire son contenu : reste à copier les données sur un autre disque NTFS (en préservant les dates si possible) mais ça c'est du détail.

Pour l'autre partition, celle qui n'apparaissait même plus, ddrescue a mis 4h15m (pour 250 Go) et a visiblement dû employer ses contre-mesures :

GNU ddrescue 1.27
Press Ctrl-C to interrupt
     ipos:  268435 MB, non-trimmed:   278528 B,  current rate:  54919 kB/s
     opos:  268435 MB, non-scraped:        0 B,  average rate:  32091 kB/s
non-tried:   21495 kB,  bad-sector:        0 B,    error rate:       0 B/s
  rescued:  268413 MB,   bad areas:        0,        run time:  2h 19m 23s
pct rescued:   99.99%, read errors:        8,  remaining time:          1s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 1 (forwards)
     ipos:    65536 B, non-trimmed:   581632 B,  current rate:    6963 B/s
     opos:    65536 B, non-scraped:        0 B,  average rate:  31724 kB/s
non-tried:    9306 kB,  bad-sector:        0 B,    error rate:    6144 B/s
  rescued:  268425 MB,   bad areas:        0,        run time:  2h 21m  1s
pct rescued:   99.99%, read errors:       14,  remaining time:         26s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 2 (backwards)
     ipos:    6268 MB, non-trimmed:   733184 B,  current rate:    1092 B/s
     opos:    6268 MB, non-scraped:        0 B,  average rate:  31535 kB/s
non-tried:    8060 kB,  bad-sector:        0 B,    error rate:    3276 B/s
  rescued:  268426 MB,   bad areas:        0,        run time:  2h 21m 52s
pct rescued:   99.99%, read errors:       19,  remaining time:      1m 13s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 4 (backwards)
     ipos:    6291 MB, non-trimmed:    2068 kB,  current rate:   65536 B/s
     opos:    6291 MB, non-scraped:        0 B,  average rate:  30507 kB/s
non-tried:        0 B,  bad-sector:        0 B,    error rate:       0 B/s
  rescued:  268433 MB,   bad areas:        0,        run time:  2h 26m 39s
pct rescued:   99.99%, read errors:       44,  remaining time:         31s
                              time since last successful read:          0s
Copying non-tried blocks... Pass 5 (forwards) 
     ipos:    6291 MB, non-trimmed:        0 B,  current rate:   14336 B/s
     opos:    6291 MB, non-scraped:    1257 kB,  average rate:  29375 kB/s
non-tried:        0 B,  bad-sector:    33792 B,    error rate:     128 B/s
  rescued:  268434 MB,   bad areas:       66,        run time:  2h 32m 18s
pct rescued:   99.99%, read errors:      110,  remaining time:          6m
                              time since last successful read:          0s
Trimming failed blocks... (forwards)         
     ipos:    6291 MB, non-trimmed:        0 B,  current rate:       0 B/s
     opos:    6291 MB, non-scraped:        0 B,  average rate:  17572 kB/s
non-tried:        0 B,  bad-sector:   592896 B,    error rate:       0 B/s
  rescued:  268434 MB,   bad areas:       95,        run time:  4h 14m 35s
pct rescued:   99.99%, read errors:     1202,  remaining time:         n/a
                              time since last successful read:      1m 36s
Scraping failed blocks... (forwards)
Finished

Un file arrive à dire ce que c'est :

$ file sdh1-copie_travail.img 
../forensic_space2/travail/sda1-copie_travail.img: DOS/MBR boot sector, code offset 0x52+2, OEM-ID "NTFS    ", sectors/cluster 8, Media descriptor 0xf8, sectors/track 63, heads 255, dos < 4.0 BootSector (0x80), FAT (1Y bit by descriptor); NTFS, sectors/track 63, sectors 524287965, $MFT start cluster 3, $MFTMirror start cluster 32767997, bytes/RecordSegment 2^(-1*246), clusters/index block 1, serial number 01d…2a0; contains bootstrap NTLDR

Mais le mount ne fonctionne pas :

$ sudo mount -t ntfs -o loop,ro sdh1-copie_travail.img /mnt/recovered_images/sda1
ntfs_mst_post_read_fixup_warn: magic: 0x00000000  size: 1024   usa_ofs: 0  usa_count: 0: Invalid argument
Record 0 has no FILE magic (0x0)
Failed to load $MFT: Input/output error
Failed to mount '/dev/loop2': Input/output error
NTFS is either inconsistent, or there is a hardware fault, or it's a
SoftRAID/FakeRAID hardware. In the first case run chkdsk /f on Windows
then reboot into Windows twice. The usage of the /f parameter is very
important! If the device is a SoftRAID/FakeRAID then first activate
it and mount a different device under the /dev/mapper/ directory, (e.g.
/dev/mapper/nvidia_eahaabcc1). Please see the 'dmraid' documentation
for more details

Je vais voir avec testdisk et photorec (heureusement c'est la partition la plus petite des 2).

Comme expliqué, j'ai déjà fait ce genre de couplage Samba-LDAP : c'est toujours assez compliqué.

Sans demander un système "clickdrome", le schéma LDAP pour Samba n'est pas des plus évident et mes expériences (sur des versions dépassées de nos jours) ressemblaient surtout à « Triturer l'annuaire LDAP dans tous les sens pour que Samba soit content » : laissant l'impression qu'il manquait un liant entre LDAP et Samba.

Mais je vois que les premiers avis convergent vers du Samba+LDAP, traduisant l'absence d'alternative à LDAP comme délégué à l'authentification.

Si Samba4 intègre tous les morceaux de manière cohérente permettant de faire ça : je vais tester cette solution.

Merci pour le lien vers le journal : il était très très intéressant.

Ce ce que j'y ait lu, Samba4 + quelques synchro vers un autre LDAP pour éviter de tout laisser en ligne serait l'outil adapté vu que j'ai un parc contenant du Windows (sinon j'opterais pour du FreeIPA je pense)

J'avais déjà utilisé FreeNAS sans LDAP il y a longtemps pour un autre projet et ça fonctionnait bien, puis j'avais testé son "concurrent" Debian : OpenMediaVault qui fonctionnait aussi très bien, mais là encore sans LDAP.

TrueNAS Core est dans ma liste "A tester" surtout qu'il annonce un support (natif) LDAP / AD (ce que ne fait pas OpenMediaVault).

Merci de ton retour.

Par ta réponse je présume qu'il n'existe rien de mieux qu'un annuaire LDAP comme référentiel externe utilisable par Samba (là où en web on aurait OAuth/OpenID par exemple).

J'avais effectivement lu que Samba 4 intégrait un annuaire LDAP.

Donc la complexité de coupler Samba et LDAP est "cachée" par le fait qu'il soit intégré.

Mais dans cet annuaire interne est-il exploitable en dehors de Samba ?

J'ai d'autres outils (web notamment, en PHP ou via modules Apache) qui utilisent un annuaire LDAP comme référentiel d'utilisateur.
Si on peut synchroniser l'annuaire de Samba4 avec un annuaire OpenLDAP "classique" qui serait lu par les applications ça éviterait une double saisie…

Comme expliqué je n'ai que faire de la partie ActiveDirectory (mais c'est un plus à considérer).

Erreur de copier/coller, la commande pour activer le VG est : vgchange -a y

J'ai déjà pu recopier une bonne partie des fichiers, le reste est en cours. Vu que ça semble bien se présenter, je me demande si le disque à vraiment un problème. Ca pourrait aussi bien venir de mon contrôleur SATA / carte mère.

Je pense tout recopier et faire un test avancé du disque pour vérifier son état avant de le déclarer défectueux et engager une prise en charge SAV…

# vgs
VG #PV #LV #SN Attr VSize VFree

Library 1 1 0 wz--n- 2.73t 746.52g

Tentative de forcer la création des /dev/xxx correspondants :

# vgscan --mknodes
Reading all physical volumes. This may take a while…
Found volume group "Library" using metadata type lvm2

Mais /dev/mapper restait vide

Après un coup de vgchange -/dev/mappera y mon LV est monté dans l'explorateur de fichiers :)

Plus qu'à récupérer le maximum de fichiers…

Je me rends compte que lvdisplay m'indique "LV Status NOT available"
Sous entendu LVM a vent de l'existence d'un LV mais il ne le retrouve pas sur le disque ?

J'aurais cru qu'il afficherait au moins le fait que les 2.73 TiB de mon disque sont de "type" LVM.

Le chemin "/dev/Library/MainLibrary" n'existe pas, c'est pourtant bien le "LV Path".

mount: special device /dev/Library/MainLibrary does not exist

J'ai tenté de faire des (pv|vg|lv)scan : "/dev/Library/MainLibrary" reste inexistant.
Je ne trouve pas de "device-mapper" dans /dev (de mémoire il me semble qu'il y avait ça sous Debian pour les volumes LVM.

Le seul truc nommé "Library" est /etc/lvm/backup/Library :

# find . -name "Library"
./etc/lvm/backup/Library

Vu que je suis sur un Ubuntu live USB il me manque peut-être 2/3 trucs d'auto-détection auquel je n'aurais pas penser ?

Dans l'idée je risque d'utiliser un logiciel de Domotique pour certains aspect et notamment le déclenchement des commandes via smartphone ou autres. Mais, à part si je trouve un framework/outil assez simple pour rajouter une couche REST/SOAP au processus de communication entre l'ordinateur A (qui envoi la commande) et l'ordinateur B (qui fait des choses en recevant la commande) le SSH restera le plus simple (voir mon commentaire du 24/09/14 à 17:35).

En écrivant mon post je me suis rendu compte que le vrai frein à l'utilisation simplissime de SSH était le fait que les commandes tournent parfois en root. Mais si j'arrive à régler ce soucis et limiter au maximum les commandes que peut exécuter l'ordinateur A sur l'ordinateur B via SSH devrait pouvoir coller.

Qu'est-ce qu'une authentification "biclé" ?

Pour un besoin assez similaire (j'utilise cwRsync v5.3.0 sur du Windows 7 64-bits) je me suis rendu compte que les variables d'environnement %HOMEDRIVE% et %HOMEPATH% n'étaient pas définie (étaient vides) lorsque mon script était exécuté via le planificateur de tâche alors qu'elles l'étaient lorsque lancé manuellement.
En revanche %USERPROFILE% l'est dans les 2 cas et contient une bonne valeur ("C:\Users\username").

La raison pour laquelle j'ai besoin de ce chemin c'est qu'il faut définir la variable %HOME% pour cwRsync (d'après le fichier "CWRSYNC.CMD" fourni avec cwRsync).
Voici donc comment je fais en PowerShell :

# Environment variables, as described in CWRSYNC.CMD :
$cwrsyncDirPath = Join-Path -Path $env:ProgramFiles -ChildPath 'cwRsync 5.3.0 Free'
$env:cwrsynchome = $cwrsyncDirPath
$env:home = '/cygdrive/' + $env:userprofile.Replace(':\', '/').Replace('\', '/')

J'espère que ça pourra t'aider.

C'est bien ce vers quoi je pensais que j'allais m'orienter.
Mais comment ne pas monter en permanence tous les FTP distants ?
Est-il possible d'exécuter un script (qui fera les mount ftpfs) au moment d'une tentative d'accès ? Ou alors comme hook dans le serveur FTP ?

Je précise une chose : je n'ai pas la main sur le(s) serveur(s) FTP qui seront accessible par ce système.
Mon seul lien est la connexion FTP qu'il m'est possible d'ouvrir avec les accès qui m'ont été donnés par les administrateurs respectifs de chaque serveur.

Parce qu'elle doit aller sur beaucoup beaucoup de serveurs FTP différents, alors retenir un simple label est plus simple qu'un triplet host/login/password.

Autre raison : la sécurité, les mots de passes d'accès aux serveurs FTP ne sont pas sur une machine cliente (à l'OS pouvant aller de Mac à GNU/Linux en passant par Windows) et peu sécurisés vu que FileZilla ne chiffre pas ces informations dans ces fichiers XML de profil.
Ils sont en revanche tous sur un serveur unique, à l'environnement contrôlé.

Bonus : Alice n'ayant plus du tout connaissance de ces identifiants FTP elle ne sera pas tenté d'aller les revendre à un concurrent.

J'ai simplifié la chose mais il est bien sûr possible d'envisager qu'Alice ne connecte pas à ftp://ftpproxy.societe.com/abc mais a ftp://alice:pwd@ftpproxy.societe.com/abc. Ainsi le méchant Bob ne pourras pas y aller (sauf s'il a lui aussi un compte).