Je pense que mon premier mail n'était pas forcément très clair. Voici quelques précisions:
a/ Pour tout ce qui touche à la configuration du serveur de mail chez Oleane, je ne saurai trop quoi répondre. En effet, c'est un serveur qui a été installé bien arrivant mon arrivée, et je ne m'en suis jamais vraiment occupé. D'ailleurs, je n'ai jamais dû m'intéresser par le passé à l'installation d'un serveur mail, d'où mes lacunes assez évidentes. Cependant, je pense que je comprends ta remarque : hMailServer pourrait très bien nous permettre de ne pas dépendre du smtp d'Oleane, c'est bien cela?
b/ Les 2 serveurs de messagerie (un sur oleane, l'autre sur altitude) n'ont a priori rien à voir ensemble (il gère des comptes différents et indépendants). Il existe bien une connectivité entre les 2 "opérateurs", mais nous ne souhaitons pas l'utiliser pour la messagerie (le lien est suffisamment sollicité pour le moment!). Nous avons un nom de domaine societe.fr géré côté oleane (Gandi) et l'idée est d'utiliser côté Altitude un sous nom de domaine type altitude.societe.fr. Ces 2 serveurs de mail sont indépendants et doivent fonctionner tous seuls.
D'après tes explications, on s'orienterait dans un premier temps à la configuration numéro 2, en plus simplifiée a priori. Je suis d'accord avec toi, passer par un smtp externe est forcément moins intéressant, mais en l'état de mes connaissances et vu le délais dont je dispose, je devrais malheureusement aller au plus simple dans un premier temps.
Non, non, je confirme que je ne fais pas de boot on san. J'ai installé le multipath-tools-boot à l'invite des forumistes car ça pouvait résoudre mon problème malgré tout.
J'ai bien essayé de laisser brancher les fibres au démarrage, mais je me souviens avoir eu un gros bug au démarrage (que je n'ai pas su résoudre à l'époque, alors je n'ai pas persisté dans cette voie).
Y a-t-il des précautions à prendre si on laisse les fibres branchées lors de l'installation?
Non, non, je confirme que je ne fais pas de boot on san. J'ai installé le multipath-tools-boot à l'invite des forumistes car ça pouvait résoudre mon problème malgré tout.
J'ai bien essayé de laisser brancher les fibres au démarrage, mais je me souviens avoir eu un gros bug au démarrage (que je n'ai pas su résoudre à l'époque, alors je n'ai pas persisté dans cette voie).
Y a-t-il des précautions à prendre si on laisse les fibres branchées lors de l'installation?
Quand vous installez vos Debian sur des systèmes en double attachement, est-ce que branchez vos fibres à l'installation?
En effet, j'ai fait les 2:
- Débranchement des fibres + installation OS = situation actuelle
- Fibres branchées + installation OS = gros plantage au premier démarrage. Il me lance un prompt initramfs et m'insulte car il ne trouve pas hd(0,0) (de mémoire). Ne sachant trop quoi faire, je n'ai pas persisté dans cette voie, mais suivant ce que vous allez me dire, je pourrais m'y replonger.
Quand vous installez vos Debian sur des systèmes en double attachement, est-ce que branchez vos fibres à l'installation?
En effet, j'ai fait les 2:
- Débranchement des fibres + installation OS = situation actuelle
- Fibres branchées + installation OS = gros plantage au premier démarrage. Il me lance un prompt initramfs et m'insulte car il ne trouve pas hd(0,0) (de mémoire). Ne sachant trop quoi faire, je n'ai pas persisté dans cette voie, mais suivant ce que vous allez me dire, je pourrais m'y replonger.
Je venais d'écrire un très long message et ploup, il a disparu dans un backspace malheureux... Pfff, je recommence:
J'ai donc procédé comme indiqué mais a priori sans résultats probants.
Tout d'abord, je n'avais pas de mpath_prio_tpc. J'ai essayé dans un premier temps mpath_prio_random, mais à part changer les numéro de prio dans le multipath -ll, je n'ai pas vu d'actions probantes. J'ai donc mis le mpath_prio_rdac, sans trop savoir ce dont il était question, je l'avoue.
J'ai également lancé la commande update-initramfs, puis rebooté. Pas vraiment d'améliorations non plus :'(
Au final, et en rajoutant quelques lignes au multipath.conf ci-dessus, voici l'état de mon système:
[cite]
##
## This is a template multipath-tools configuration file
## Uncomment the lines relevent to your environment
##
defaults {
udev_dir /dev
selector "round-robin 0"
path_grouping_policy group_by_serial
getuid_callout "/lib/udev/scsi_id -g -u -d /dev/%n"
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
path_checker tur
rr_min_io 100
rr_weight priorities
failback manual
no_path_retry 3
user_friendly_names yes
}
blacklist {
wwid 3600a0b80005630440000052849bb294d
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
device {
vendor LSILOGIC
}
}
Mon /proc/partitions, commenté ici pour l'occasion:
[cite]
major minor #blocks name
8 0 681574400 sda #path 1, il voit bien le volume, mais bon...
8 16 20480 sdb #LUN d'acces 1
8 32 71288832 sdc # Disque virtuel de 2 disques en RAID1
8 33 248976 sdc1 # /boot
8 34 71039430 sdc2 # /LVM avec /tmp, /etc/, /home... sur dm-2 à dm-7
8 48 681574400 sdd # Path 2, ça fonctionne
8 49 681573658 sdd1 # Partition ext3 créée sur la LUN
8 64 20480 sde # LUN d'acces 2
254 0 681574400 dm-0 #dev/mapper/dataftp_paths
254 1 681573658 dm-1 #/dev/mapper/dataftp_paths-part1
254 2 339968 dm-2
254 3 4882432 dm-3
254 4 2928640 dm-4
254 5 8261632 dm-5
254 6 389120 dm-6
254 7 54235136 dm-7
[/cite]
Mon fichier /boot/grub/device.map après modif (il ne voit plus /dev/sda):
[cite]
(hd0) /dev/disk/by-id/scsi-3600508e0000000008a90828d8486310a
(hd1) /dev/sdc
(hd2) /dev/sdd
(hd3) /dev/sde
[/cite]
J'ai également regardé dans le dmesg, voici des choses qui pourraient être intéressantes (j'ai enlevé des lignes qui ne concernaient pas les éléments liés au SAN):
[cite]
[ 3.961210] qla2xxx 0000:06:00.0: Found an ISP2432, irq 16, iobase 0xffffc20001856000
[ 3.961210] qla2xxx 0000:06:00.0: Configuring PCI space...
[ 3.961210] PCI: Setting latency timer of device 0000:06:00.0 to 64
[ 3.965208] qla2xxx 0000:06:00.0: Configure NVRAM parameters...
[ 3.976646] usb 2-1: configuration #1 chosen from 1 choice
[ 3.976646] usb 2-1: New USB device found, idVendor=0451, idProduct=625f
[ 3.976646] usb 2-1: New USB device strings: Mfr=5, Product=2, SerialNumber=1
[ 3.976646] usb 2-1: Product: 6250 FW: 04.02.02.22.562AD423
[ 3.976646] usb 2-1: Manufacturer: Texas Instruments Incorporated
[ 3.976646] usb 2-1: SerialNumber: B0391F843727
[ 4.077121] Initializing USB Mass Storage driver...
[ 4.091648] qla2xxx 0000:06:00.0: Verifying loaded RISC code...
[ 4.106420] firmware: requesting ql2400_fw.bin
[ 4.335148] qla2xxx 0000:06:00.0: Allocated (64 KB) for EFT...
[ 4.335214] qla2xxx 0000:06:00.0: Allocated (1413 KB) for firmware dump...
[ 4.366963] scsi0 : qla2xxx
[ 4.367199] qla2xxx 0000:06:00.0:
[ 4.367199] QLogic Fibre Channel HBA Driver: 8.02.01-k4
[ 4.367199] QLogic QLE2460 - Sun PCI-Express to 2Gb FC, Single Channel
[ 4.367199] ISP2432: PCIe (2.5GT/s x4) @ 0000:06:00.0 hdma+, host#=0, fw=4.04.05 [IP] [84XX]
[ 4.830719] qla2xxx 0000:06:00.0: LIP reset occured (f700).
[ 5.006645] qla2xxx 0000:06:00.0: LOOP UP detected (4 Gbps).
[ 5.046613] scsi 0:0:0:0: Direct-Access SUN CSM200_R 0750 PQ: 1 ANSI: 5
[ 5.087486] scsi 0:0:0:2: Direct-Access SUN CSM200_R 0750 PQ: 0 ANSI: 5
[ 5.091479] scsi 0:0:0:31: Direct-Access SUN Universal Xport 0750 PQ: 0 ANSI: 5
[ 5.127747] ioc0: LSISAS1068E B2: Capabilities={Initiator}
[ 14.941907] scsi 0:0:0:0: Attached scsi generic sg0 type 0
[ 14.941928] scsi 0:0:0:2: Attached scsi generic sg1 type 0
[ 14.941946] scsi 0:0:0:31: Attached scsi generic sg2 type 0
[ 14.941968] sr 1:0:0:0: Attached scsi generic sg3 type 5
[ 33.421973] scsi2 : ioc0: LSISAS1068E B2, FwRev=01175a00h, Ports=1, MaxQ=286, IRQ=1269
[ 34.453477] scsi 2:0:0:0: Direct-Access HITACHI H101473SCSUN72G SA25 PQ: 0 ANSI: 5
[ 34.453477] scsi 2:0:0:0: Attached scsi generic sg4 type 0
[ 34.453477] scsi 2:0:1:0: Direct-Access HITACHI H101473SCSUN72G SA25 PQ: 0 ANSI: 5
[ 34.454674] scsi 2:0:1:0: Attached scsi generic sg5 type 0
[ 34.462334] scsi 2:0:2:0: Enclosure LSILOGIC SASX28 A.0 5021 PQ: 0 ANSI: 5
[ 34.484881] scsi 2:0:2:0: Attached scsi generic sg6 type 13
[ 34.489401] scsi 2:1:0:0: Direct-Access LSILOGIC Logical Volume 3000 PQ: 0 ANSI: 2
[ 34.489454] scsi 2:1:0:0: Attached scsi generic sg7 type 0
[ 34.489401] ACPI: PCI Interrupt Link [LE3B] enabled at IRQ 43
[ 34.489401] ACPI: PCI Interrupt 0000:83:00.0[A] -> Link [LE3B] -> GSI 43 (level, low) -> IRQ 43
[ 34.489401] qla2xxx 0000:83:00.0: Found an ISP2432, irq 43, iobase 0xffffc20001860000
[ 34.489401] qla2xxx 0000:83:00.0: Configuring PCI space...
[ 34.489401] PCI: Setting latency timer of device 0000:83:00.0 to 64
[ 34.494819] qla2xxx 0000:83:00.0: Configure NVRAM parameters...
[ 34.646634] Driver 'sd' needs updating - please use bus_type methods
[ 34.649892] sd 0:0:0:2: [sda] 1363148800 512-byte hardware sectors (697932 MB)
[ 34.650638] sd 0:0:0:2: [sda] Write Protect is off
[ 34.650638] sd 0:0:0:2: [sda] Mode Sense: 77 00 10 08
[ 34.650638] sd 0:0:0:2: [sda] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 34.650638] sd 0:0:0:2: [sda] 1363148800 512-byte hardware sectors (697932 MB)
[ 34.650638] scsi 0:0:0:0: Embedded Enclosure Device
[ 34.650638] scsi 0:0:0:0: Failed to get diagnostic page 0x8000002
[ 34.650638] scsi 0:0:0:0: Failed to bind enclosure -19
[ 34.650638] sd 0:0:0:2: Embedded Enclosure Device
[ 34.650638] sd 0:0:0:2: [sda] Write Protect is off
[ 34.650638] sd 0:0:0:2: [sda] Mode Sense: 77 00 10 08
[ 34.651629] sd 0:0:0:2: [sda] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 34.651629] sda:<6>qla2xxx 0000:83:00.0: Verifying loaded RISC code...
[ 34.839002] scsi 0:0:0:31: Embedded Enclosure Device
[ 34.839002] scsi 0:0:0:31: Failed to get diagnostic page 0x8000002
[ 34.839002] scsi 0:0:0:31: Failed to bind enclosure -19
[ 35.018178] Driver 'ses' needs updating - please use bus_type methods
[ 35.059012] qla2xxx 0000:83:00.0: Allocated (64 KB) for EFT...
[ 35.059089] qla2xxx 0000:83:00.0: Allocated (1413 KB) for firmware dump...
[ 35.090021] scsi3 : qla2xxx
[ 35.090021] qla2xxx 0000:83:00.0:
[ 35.090021] QLogic Fibre Channel HBA Driver: 8.02.01-k4
[ 35.090021] QLogic QLE2460 - Sun PCI-Express to 2Gb FC, Single Channel
[ 35.090021] ISP2432: PCIe (2.5GT/s x4) @ 0000:83:00.0 hdma+, host#=3, fw=4.04.05 [IP] [84XX]
[ 35.306861] end_request: I/O error, dev sda, sector 0
[ 35.306861] Buffer I/O error on device sda, logical block 0
[ 35.358825] qla2xxx 0000:83:00.0: LIP reset occured (f700).
[ 35.358825] qla2xxx 0000:83:00.0: LIP occured (f700).
[ 35.358825] qla2xxx 0000:83:00.0: LIP reset occured (f7f7).
[ 35.427735] ata1: SATA link down (SStatus 0 SControl 300)
[ 35.358825] qla2xxx 0000:83:00.0: LOOP UP detected (4 Gbps).
[ 35.926631] ata2: SATA link down (SStatus 0 SControl 300)
[ 35.926621] ACPI: PCI Interrupt Link [LSA1] enabled at IRQ 22
[ 35.926621] ACPI: PCI Interrupt 0000:00:05.1[B] -> Link [LSA1] -> GSI 22 (level, low) -> IRQ 22
[ 35.926621] sata_nv 0000:00:05.1: Using SWNCQ mode
[ 35.926621] PCI: Setting latency timer of device 0000:00:05.1 to 64
[ 35.926621] scsi6 : sata_nv
[ 35.926621] scsi7 : sata_nv
[ 35.926621] ata3: SATA max UDMA/133 cmd 0x6880 ctl 0x6800 bmdma 0x6080 irq 22
[ 35.926621] ata4: SATA max UDMA/133 cmd 0x6480 ctl 0x6400 bmdma 0x6088 irq 22
[ 36.069946] end_request: I/O error, dev sda, sector 0
[ 36.069946] Buffer I/O error on device sda, logical block 0
[ 36.193523] scsi 3:0:0:0: Direct-Access SUN CSM200_R 0750 PQ: 1 ANSI: 5
[ 36.232876] scsi 3:0:0:2: Direct-Access SUN CSM200_R 0750 PQ: 0 ANSI: 5
[ 36.239891] scsi 3:0:0:31: Direct-Access SUN Universal Xport 0750 PQ: 0 ANSI: 5
[ 36.240234] scsi 3:0:0:0: Attached scsi generic sg8 type 0
[ 36.240237] scsi 3:0:0:0: Embedded Enclosure Device
[ 36.241015] scsi 3:0:0:0: Failed to get diagnostic page 0x8000002
[ 36.241087] scsi 3:0:0:0: Failed to bind enclosure -19
[ 36.241217] scsi 3:0:0:2: Attached scsi generic sg9 type 0
[ 36.241219] scsi 3:0:0:2: Embedded Enclosure Device
[ 36.397101] ata3: SATA link down (SStatus 0 SControl 300)
[ 36.481007] scsi 3:0:0:31: Attached scsi generic sg10 type 0
[ 36.481007] scsi 3:0:0:31: Embedded Enclosure Device
[ 36.792066] end_request: I/O error, dev sda, sector 0
[ 36.792066] Buffer I/O error on device sda, logical block 0
[ 40.050545] end_request: I/O error, dev sda, sector 0
[ 40.050545] Buffer I/O error on device sda, logical block 0
[ 40.841972] ata11: SATA link down (SStatus 0 SControl 300)
[ 41.130441] end_request: I/O error, dev sda, sector 0
[ 41.130441] Buffer I/O error on device sda, logical block 0
[ 41.246636] ata12: SATA link down (SStatus 0 SControl 300)
[ 42.402836] end_request: I/O error, dev sda, sector 0
[ 42.402836] Buffer I/O error on device sda, logical block 0
[ 42.402836] Dev sda: unable to read RDB block 0
[ 43.030006] end_request: I/O error, dev sda, sector 0
[ 43.030006] Buffer I/O error on device sda, logical block 0
[ 45.332475] end_request: I/O error, dev sda, sector 0
[ 45.332475] unable to read partition table
[ 45.332475] sd 0:0:0:2: [sda] Attached SCSI disk
[ 45.332475] sd 0:0:0:31: [sdb] 40960 512-byte hardware sectors (21 MB)
[ 45.332475] sd 0:0:0:31: [sdb] Write Protect is off
[ 45.332475] sd 0:0:0:31: [sdb] Mode Sense: 77 00 10 08
[ 45.332475] sd 0:0:0:31: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 45.332475] sd 0:0:0:31: [sdb] 40960 512-byte hardware sectors (21 MB)
[ 45.332475] sd 0:0:0:31: [sdb] Write Protect is off
[ 45.332475] sd 0:0:0:31: [sdb] Mode Sense: 77 00 10 08
[ 45.332475] sd 0:0:0:31: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 45.332475] sdb:
[ 46.210043] sd 0:0:0:31: [sdb] Attached SCSI disk
[ 46.210043] ses 2:0:2:0: Attached Enclosure device
[ 46.210043] sd 2:1:0:0: [sdc] 142577664 512-byte hardware sectors (73000 MB)
[ 46.210072] sd 2:1:0:0: [sdc] Write Protect is off
[ 46.210074] sd 2:1:0:0: [sdc] Mode Sense: 03 00 00 08
[ 46.210458] sd 2:1:0:0: [sdc] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[ 46.210678] sd 2:1:0:0: [sdc] 142577664 512-byte hardware sectors (73000 MB)
[ 46.210902] sd 2:1:0:0: [sdc] Write Protect is off
[ 46.210904] sd 2:1:0:0: [sdc] Mode Sense: 03 00 00 08
[ 46.211287] sd 2:1:0:0: [sdc] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[ 46.211289] sdc: sdc1 sdc2
[ 46.228780] sd 2:1:0:0: [sdc] Attached SCSI disk
[ 46.262626] sd 3:0:0:2: [sdd] 1363148800 512-byte hardware sectors (697932 MB)
[ 46.262815] sd 3:0:0:2: [sdd] Write Protect is off
[ 46.262817] sd 3:0:0:2: [sdd] Mode Sense: 77 00 10 08
[ 46.263158] sd 3:0:0:2: [sdd] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 46.263497] sd 3:0:0:2: [sdd] 1363148800 512-byte hardware sectors (697932 MB)
[ 46.263663] sd 3:0:0:2: [sdd] Write Protect is off
[ 46.263665] sd 3:0:0:2: [sdd] Mode Sense: 77 00 10 08
[ 46.264000] sd 3:0:0:2: [sdd] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 46.264004] sdd: sdd1
[ 46.264276] sd 3:0:0:2: [sdd] Attached SCSI disk
[ 46.266337] sd 3:0:0:31: [sde] 40960 512-byte hardware sectors (21 MB)
[ 46.266502] sd 3:0:0:31: [sde] Write Protect is off
[ 46.266504] sd 3:0:0:31: [sde] Mode Sense: 77 00 10 08
[ 46.266782] sd 3:0:0:31: [sde] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 46.266782] sd 3:0:0:31: [sde] 40960 512-byte hardware sectors (21 MB)
[ 46.266782] sd 3:0:0:31: [sde] Write Protect is off
[ 46.266782] sd 3:0:0:31: [sde] Mode Sense: 77 00 10 08
[/cite]
Je me rappelle qu'on avait un peu cherché lors de l'installation pour intégrer le microcode des QLogic 2460 qui sont les liens du PC vers le SAN.
On est passé par 2 méthodes:
- Une où on dépose le fichier ql2400_fw.bin sur une clé usb à l'invite du système, et elle se poursuit normalement.
- Une où on a téléchargé le fichier firmware-qlogic_0.17_all.dev trouvé ici : [http://debian.mirror.inra.fr/debian/pool/non-free/f/firmware(...)], puis:
dpkg -i firmware-qlogic_0.17_all.deb
modprobe -r ql2xxx
modprobe ql2xxx
Le fichier ql2400_fw.bin se trouve sous /lib/firmware.
for x in dm-multipath dm-round-robin dm-emc; do
manual_add_modules ${x}
done
Dans l'esprit, cela ressemble fort à ce qui était indiqué dans le Tchetch's Wiki, donc je n'ai rien modifié dans ce fichier.
De plus, j'ai modifié le fichier /boot/grub/device.map comme suit:
(hd0) /dev/disk/by-id/scsi-3600508e0000000008a90828d8486310a
Cet id pointe vers le /dev/sdc qui représente mon disque virtuel en RAID1, contenant sdc1 (/boot) et sdc2 (/tmp, /home, etc. en LVM)
A noter que depuis ces manips, multipath -ll me donne mes 2 paths en enabled, plus de second path en actif.
Je sens que nous y sommes presque, mais j'enrage de ne pas trouver ce qui ne va pas...
A noter également que le multipath est maintenant sur le dm-0 (au lieu du dm-6) et que la partition que j'avais créée dessus est en dm-1 (au lieu de dm-7).
Pour répondre aux autres questions, je fais avec le matériel qui a été commandé. Il y avait 2 disques internes, autant les utiliser (en effet, pour stocker toutes sortes de fichiers temporaires, etc.). De plus, chaque serveur est redondé, donc en cas de grosse panne, sauf catastrophe, il n'y a a priori rien à craindre.
Je monte le /boot par l'UUID du disque interne.
Je monte mon volume SAN sur /dataftp
Et le /boot/grub/menu.lst (je n'ai pas modifié les options par défaut)
title Debian GNU/Linux, kernel 2.6.26-2-amd64
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro quiet
initrd /initrd.img-2.6.26-2-amd64
title Debian GNU/Linux, kernel 2.6.26-2-amd64 (single-user mode)
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro single
initrd /initrd.img-2.6.26-2-amd64
En fait, dans ce fichier /boot/grub/device.map, plutôt que de voir /dev/sda, je me serais attendu à voir un chemin vers mes disques de boot internes (souvent en /dev/sdc, mais le mieux, c'est de prendre l'UUID).
Je monte le /boot par l'UUID du disque interne.
Je monte mon volume SAN sur /dataftp
Et le /boot/grub/menu.lst (je n'ai pas modifié les options par défaut)
title Debian GNU/Linux, kernel 2.6.26-2-amd64
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro quiet
initrd /initrd.img-2.6.26-2-amd64
title Debian GNU/Linux, kernel 2.6.26-2-amd64 (single-user mode)
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro single
initrd /initrd.img-2.6.26-2-amd64
En fait, dans ce fichier /boot/grub/device.map, plutôt que de voir /dev/sda, je me serais attendu à voir un chemin vers mes disques de boot internes (souvent en /dev/sdc, mais le mieux, c'est de prendre l'UUID).
Pour ce matériel, SUN ne supporte que RedHat, Suse, etc. Que les distributions payantes en somme.
Cependant, comme tu le soulignes, les outils de multipathing semblent développés un peu partout. Quand on m'a présenté ce projet (dès que je suis arrivé en fait, en mai :), je ne connaissais pas Linux, mais HP-UX...
Du coup, comme j'ai commencé à bosser sur Debian, je m'y sens forcément plus à l'aise :) Et puis le patron sera forcément plus content si je lui fais économiser les licences RH.
Tiens, en faisant un apt-get upgrade, je suis tombé sur une série d'erreurs (que je n'ai pas eu le temps de noter) et qui impliquait le fichier /boot/grub/device.map. Si je regarde dedans, je vois ça:
fhtpntr1:/# more /boot/grub/device.map
(hd0) /dev/sda
Intéressant, non? Pour l'installation, j'avais débranché toutes mes fibres, et seul mes disques internes étaient attachés. Que dois-je déduire de ce que me dit ce fichier?
Difficile à vérifier si le zonning est correct... Je ne suis pas sûr site (peut-être dans 2 semaines...). Il m'avait semblé que c'était assez logique ce qu'avait fait le technicien, je n'avais pas été surpris par sa configuration.
Maintenant, je l'ai suivi de loin, donc à voir... Mais je crains que le souci ne vienne pas de là...
Sinon, à titre personnel, vous choisiriez quoi entre RedHat et Debian pour cette conf (niveau rapport facilité de mise en place/coût).
Tout à fait, chaque contrôleur de la baie de stockage n'est relié finalement qu'à un seul HBA du serveur. Il est donc tout à fait normal de n'avoir que 2 paths.
Ce qui n'est pas bien normal par contre, c'est le comportement de mon path sur /dev/sda:
Exemple:
fdisk -l /dev/sda donne 6 messages d'erreur, et ne fait rien d'autre:
[6780.589677] end request : I/O error, dev sda, sector 0
[6780.589677] Buffer I/O error on device sda, logical block 0
[6781.338883] end request : I/O error, dev sda, sector 1363148792
[6781.338883] Buffer I/O error on device sda, logical block 170393599
[6782.451790] end request : I/O error, dev sda, sector 0
[6782.451790] Buffer I/O error on device sda, logical block 0
De nombreux messages du même type apparaissent au boot.
Ce qui est bizarre, c'est que le système voit qu'il y a quand même 650Go derrière, comme le prouve /proc/partitions par exemple:
Impossible de formater (cfdisk : Fatal Error: cannot read disk drive) ce /dev/sda.
En revanche, à côté de ça, /dev/sdd (ou /dev/sdc suivant son humeur) se comporte parfaitement, peut-être formaté, est accessible par fdisk, est visiblement mappé sous /dev/dm-6 avec multipath, peut-être mounté par sdc ou dm-6, etc. Si j'enlève le failback, multipath- ll donne le résultat suivant:
Cette sortie me plairait bien si je n'avais pas le comportement détaillé plus haut sur sda. Si je remets le failback, les 2 paths apparaissent enabled simultanément, même si je continue de pouvoir accéder à mes 650 Go...
Pour ce que j'en sais, voici comment fonctionne le SAN avec les produits SUN que nous avons. Le hardware étant mis en place par une autre société, il est vrai que j'ai dû me fier à ce qu'ils m'ont dit.
Sur chaque baie de stockage, il y a 2 contrôleurs (A et B).
Sur chaque serveur, nous avons 2 HBAs (1 et 2).
Il y a 2 switches SAN.
Nous avons câblé 2 ensembles de fibres comme suit:
HBA1--SAN1--CtrlA
HBA2--SAN2--CtrlB
Tout se passe donc comme si nous avions 2 paths pour accéder à la LUN présentée de la baie de stockage. Et multipath semble se comporter dans ce sens.
LUN d'access, c'est le terme employé par la personne qui a installé la partie hardware. C'est un petit espace de 20Mo qui apparaît (un peu comme si je branchais une clé USB) dès qu'on branche un des paths (j'en vois donc 2 quand je branche mes 2 fibres). Je ne sais pas trop à quoi ils servent, aussi je les ai blacklistés dans le multipath.conf par leur WWN. Elles portent le nom de Universal Xport pour le multipath.
Si j'ai bien compris, multipath a donc du mal à revenir sur un des paths lorsqu'il est de nouveau disponible? Cela se manifesterait chez moi avec le fait que mes 2 paths sont enabled, c'est ça?
Cela s'accompagne bien sûr d'une flopée de I/O end request sur la sortie.
Universal Xport (qui était filtré dans la blacklist) correspond au LUN d'access (20 Mo) et ne m'intéressent donc pas (même si elles accompagnent chaque path possible).
Par contre, je ne comprends pas pourquoi tu mentionnes 4 chemins, chaque serveur ne voit la baie que par 2 chemins possibles.
En remettant le bon multipath.conf et en redémarrant le démon, j'obtiens cette fois:
Cette fois, mon path par sdc est actif, contrairement à tout à l'heure où j'avais les 2 en enabled après mon reboot. D'ailleurs, le temps de faire quelques tests, je viens de m'apercevoir qu'ils étaient revenus en enabled tous deux...
En postant mon dernier message avec le fichier de conf /etc/multipath.conf, je me suis aperçu que j'avais bêtement commenté toutes les lignes default_getuid_callout... Je suis également passé en tur checker, même si je ne sais pas ce que ça implique!
Après un redémarrage du démon, et même du serveur, voici mon multipath -ll
Cependant, il y a toujours un nombre important de message de I/O error sur /dev/sda au démarrage, même s'ils s'arrêtent par la suite (ce qui es nouveau).
Est-ce normal?
Dans tous les cas, merci de vos différentes contributions (j'avais déjà marqué la page de Tchetch's dans mes favoris avant ce post), car elles permettent aux newbies comme moi de se débrouiller par eux-même (modulo les quelques boulettes inhérentes à ce type de profils). J'essaierai de faire la même chose à mon tour pour cette configuration.
Comme vous le voyez sans doute, je procède à tâtons car certaines des options de ce fichier ne me parlent pas trop.
Pour rappel, chaque serveur est en double attachement
(HBA1-Switch SAN 1-Baie disques CtrlA)
(HBA2-Switch SAN 2-Baie disques CtrlB)
Donc si je comprends bien, je devrais seulement avoir 2 paths gérés dans le multipath.
Actuellement, j'ai en effet un des 2 paths qui est en échec, mais cela doit avoir un lien avec le fait qu'il soit repéré au démarrage en /dev/sda, non?
J'essaie de faire les quelques modifs que vous m'avez d'ores et déjà indiquées.
[^] # Développement
Posté par RobinX . En réponse au message Serveur de réception d'email. Évalué à 1.
Je pense que mon premier mail n'était pas forcément très clair. Voici quelques précisions:
a/ Pour tout ce qui touche à la configuration du serveur de mail chez Oleane, je ne saurai trop quoi répondre. En effet, c'est un serveur qui a été installé bien arrivant mon arrivée, et je ne m'en suis jamais vraiment occupé. D'ailleurs, je n'ai jamais dû m'intéresser par le passé à l'installation d'un serveur mail, d'où mes lacunes assez évidentes. Cependant, je pense que je comprends ta remarque : hMailServer pourrait très bien nous permettre de ne pas dépendre du smtp d'Oleane, c'est bien cela?
b/ Les 2 serveurs de messagerie (un sur oleane, l'autre sur altitude) n'ont a priori rien à voir ensemble (il gère des comptes différents et indépendants). Il existe bien une connectivité entre les 2 "opérateurs", mais nous ne souhaitons pas l'utiliser pour la messagerie (le lien est suffisamment sollicité pour le moment!). Nous avons un nom de domaine societe.fr géré côté oleane (Gandi) et l'idée est d'utiliser côté Altitude un sous nom de domaine type altitude.societe.fr. Ces 2 serveurs de mail sont indépendants et doivent fonctionner tous seuls.
D'après tes explications, on s'orienterait dans un premier temps à la configuration numéro 2, en plus simplifiée a priori. Je suis d'accord avec toi, passer par un smtp externe est forcément moins intéressant, mais en l'état de mes connaissances et vu le délais dont je dispose, je devrais malheureusement aller au plus simple dans un premier temps.
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
J'ai bien essayé de laisser brancher les fibres au démarrage, mais je me souviens avoir eu un gros bug au démarrage (que je n'ai pas su résoudre à l'époque, alors je n'ai pas persisté dans cette voie).
Y a-t-il des précautions à prendre si on laisse les fibres branchées lors de l'installation?
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
J'ai bien essayé de laisser brancher les fibres au démarrage, mais je me souviens avoir eu un gros bug au démarrage (que je n'ai pas su résoudre à l'époque, alors je n'ai pas persisté dans cette voie).
Y a-t-il des précautions à prendre si on laisse les fibres branchées lors de l'installation?
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
En effet, j'ai fait les 2:
- Débranchement des fibres + installation OS = situation actuelle
- Fibres branchées + installation OS = gros plantage au premier démarrage. Il me lance un prompt initramfs et m'insulte car il ne trouve pas hd(0,0) (de mémoire). Ne sachant trop quoi faire, je n'ai pas persisté dans cette voie, mais suivant ce que vous allez me dire, je pourrais m'y replonger.
Merci pour votre participation en tout cas.
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
En effet, j'ai fait les 2:
- Débranchement des fibres + installation OS = situation actuelle
- Fibres branchées + installation OS = gros plantage au premier démarrage. Il me lance un prompt initramfs et m'insulte car il ne trouve pas hd(0,0) (de mémoire). Ne sachant trop quoi faire, je n'ai pas persisté dans cette voie, mais suivant ce que vous allez me dire, je pourrais m'y replonger.
Merci pour votre participation en tout cas.
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Je venais d'écrire un très long message et ploup, il a disparu dans un backspace malheureux... Pfff, je recommence:
J'ai donc procédé comme indiqué mais a priori sans résultats probants.
Tout d'abord, je n'avais pas de mpath_prio_tpc. J'ai essayé dans un premier temps mpath_prio_random, mais à part changer les numéro de prio dans le multipath -ll, je n'ai pas vu d'actions probantes. J'ai donc mis le mpath_prio_rdac, sans trop savoir ce dont il était question, je l'avoue.
J'ai également lancé la commande update-initramfs, puis rebooté. Pas vraiment d'améliorations non plus :'(
Au final, et en rajoutant quelques lignes au multipath.conf ci-dessus, voici l'état de mon système:
[cite]
##
## This is a template multipath-tools configuration file
## Uncomment the lines relevent to your environment
##
defaults {
udev_dir /dev
selector "round-robin 0"
path_grouping_policy group_by_serial
getuid_callout "/lib/udev/scsi_id -g -u -d /dev/%n"
prio_callout "/sbin/mpath_prio_rdac /dev/%n"
path_checker tur
rr_min_io 100
rr_weight priorities
failback manual
no_path_retry 3
user_friendly_names yes
}
blacklist {
wwid 3600a0b80005630440000052849bb294d
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
device {
vendor LSILOGIC
}
}
multipaths {
multipath {
wwid 3600a0b80005629c6000005da4a69747d
alias dataftp_paths
}
}
devices {
device {
vendor "SUN"
product "CSM200_R"
hardware_handler "0"
}
}
[/cite]
Le résultat de mon multipath -ll
[cite]
dataftp_paths (3600a0b80005629c6000005da4a69747d) dm-0 SUN ,CSM200_R
[size=650G][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
\_ 0:0:0:2 sda 8:0 [active][ready]
\_ round-robin 0 [prio=3][active]
\_ 3:0:0:2 sdd 8:48 [active][ready]
[/cite]
Mon /proc/partitions, commenté ici pour l'occasion:
[cite]
major minor #blocks name
8 0 681574400 sda #path 1, il voit bien le volume, mais bon...
8 16 20480 sdb #LUN d'acces 1
8 32 71288832 sdc # Disque virtuel de 2 disques en RAID1
8 33 248976 sdc1 # /boot
8 34 71039430 sdc2 # /LVM avec /tmp, /etc/, /home... sur dm-2 à dm-7
8 48 681574400 sdd # Path 2, ça fonctionne
8 49 681573658 sdd1 # Partition ext3 créée sur la LUN
8 64 20480 sde # LUN d'acces 2
254 0 681574400 dm-0 #dev/mapper/dataftp_paths
254 1 681573658 dm-1 #/dev/mapper/dataftp_paths-part1
254 2 339968 dm-2
254 3 4882432 dm-3
254 4 2928640 dm-4
254 5 8261632 dm-5
254 6 389120 dm-6
254 7 54235136 dm-7
[/cite]
Mon fichier /boot/grub/device.map après modif (il ne voit plus /dev/sda):
[cite]
(hd0) /dev/disk/by-id/scsi-3600508e0000000008a90828d8486310a
(hd1) /dev/sdc
(hd2) /dev/sdd
(hd3) /dev/sde
[/cite]
J'ai également regardé dans le dmesg, voici des choses qui pourraient être intéressantes (j'ai enlevé des lignes qui ne concernaient pas les éléments liés au SAN):
[cite]
[ 3.961210] qla2xxx 0000:06:00.0: Found an ISP2432, irq 16, iobase 0xffffc20001856000
[ 3.961210] qla2xxx 0000:06:00.0: Configuring PCI space...
[ 3.961210] PCI: Setting latency timer of device 0000:06:00.0 to 64
[ 3.965208] qla2xxx 0000:06:00.0: Configure NVRAM parameters...
[ 3.976646] usb 2-1: configuration #1 chosen from 1 choice
[ 3.976646] usb 2-1: New USB device found, idVendor=0451, idProduct=625f
[ 3.976646] usb 2-1: New USB device strings: Mfr=5, Product=2, SerialNumber=1
[ 3.976646] usb 2-1: Product: 6250 FW: 04.02.02.22.562AD423
[ 3.976646] usb 2-1: Manufacturer: Texas Instruments Incorporated
[ 3.976646] usb 2-1: SerialNumber: B0391F843727
[ 4.077121] Initializing USB Mass Storage driver...
[ 4.091648] qla2xxx 0000:06:00.0: Verifying loaded RISC code...
[ 4.106420] firmware: requesting ql2400_fw.bin
[ 4.335148] qla2xxx 0000:06:00.0: Allocated (64 KB) for EFT...
[ 4.335214] qla2xxx 0000:06:00.0: Allocated (1413 KB) for firmware dump...
[ 4.366963] scsi0 : qla2xxx
[ 4.367199] qla2xxx 0000:06:00.0:
[ 4.367199] QLogic Fibre Channel HBA Driver: 8.02.01-k4
[ 4.367199] QLogic QLE2460 - Sun PCI-Express to 2Gb FC, Single Channel
[ 4.367199] ISP2432: PCIe (2.5GT/s x4) @ 0000:06:00.0 hdma+, host#=0, fw=4.04.05 [IP] [84XX]
[ 4.830719] qla2xxx 0000:06:00.0: LIP reset occured (f700).
[ 5.006645] qla2xxx 0000:06:00.0: LOOP UP detected (4 Gbps).
[ 5.046613] scsi 0:0:0:0: Direct-Access SUN CSM200_R 0750 PQ: 1 ANSI: 5
[ 5.087486] scsi 0:0:0:2: Direct-Access SUN CSM200_R 0750 PQ: 0 ANSI: 5
[ 5.091479] scsi 0:0:0:31: Direct-Access SUN Universal Xport 0750 PQ: 0 ANSI: 5
[ 5.127747] ioc0: LSISAS1068E B2: Capabilities={Initiator}
[ 14.941907] scsi 0:0:0:0: Attached scsi generic sg0 type 0
[ 14.941928] scsi 0:0:0:2: Attached scsi generic sg1 type 0
[ 14.941946] scsi 0:0:0:31: Attached scsi generic sg2 type 0
[ 14.941968] sr 1:0:0:0: Attached scsi generic sg3 type 5
[ 33.421973] scsi2 : ioc0: LSISAS1068E B2, FwRev=01175a00h, Ports=1, MaxQ=286, IRQ=1269
[ 34.453477] scsi 2:0:0:0: Direct-Access HITACHI H101473SCSUN72G SA25 PQ: 0 ANSI: 5
[ 34.453477] scsi 2:0:0:0: Attached scsi generic sg4 type 0
[ 34.453477] scsi 2:0:1:0: Direct-Access HITACHI H101473SCSUN72G SA25 PQ: 0 ANSI: 5
[ 34.454674] scsi 2:0:1:0: Attached scsi generic sg5 type 0
[ 34.462334] scsi 2:0:2:0: Enclosure LSILOGIC SASX28 A.0 5021 PQ: 0 ANSI: 5
[ 34.484881] scsi 2:0:2:0: Attached scsi generic sg6 type 13
[ 34.489401] scsi 2:1:0:0: Direct-Access LSILOGIC Logical Volume 3000 PQ: 0 ANSI: 2
[ 34.489454] scsi 2:1:0:0: Attached scsi generic sg7 type 0
[ 34.489401] ACPI: PCI Interrupt Link [LE3B] enabled at IRQ 43
[ 34.489401] ACPI: PCI Interrupt 0000:83:00.0[A] -> Link [LE3B] -> GSI 43 (level, low) -> IRQ 43
[ 34.489401] qla2xxx 0000:83:00.0: Found an ISP2432, irq 43, iobase 0xffffc20001860000
[ 34.489401] qla2xxx 0000:83:00.0: Configuring PCI space...
[ 34.489401] PCI: Setting latency timer of device 0000:83:00.0 to 64
[ 34.494819] qla2xxx 0000:83:00.0: Configure NVRAM parameters...
[ 34.646634] Driver 'sd' needs updating - please use bus_type methods
[ 34.649892] sd 0:0:0:2: [sda] 1363148800 512-byte hardware sectors (697932 MB)
[ 34.650638] sd 0:0:0:2: [sda] Write Protect is off
[ 34.650638] sd 0:0:0:2: [sda] Mode Sense: 77 00 10 08
[ 34.650638] sd 0:0:0:2: [sda] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 34.650638] sd 0:0:0:2: [sda] 1363148800 512-byte hardware sectors (697932 MB)
[ 34.650638] scsi 0:0:0:0: Embedded Enclosure Device
[ 34.650638] scsi 0:0:0:0: Failed to get diagnostic page 0x8000002
[ 34.650638] scsi 0:0:0:0: Failed to bind enclosure -19
[ 34.650638] sd 0:0:0:2: Embedded Enclosure Device
[ 34.650638] sd 0:0:0:2: [sda] Write Protect is off
[ 34.650638] sd 0:0:0:2: [sda] Mode Sense: 77 00 10 08
[ 34.651629] sd 0:0:0:2: [sda] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 34.651629] sda:<6>qla2xxx 0000:83:00.0: Verifying loaded RISC code...
[ 34.839002] scsi 0:0:0:31: Embedded Enclosure Device
[ 34.839002] scsi 0:0:0:31: Failed to get diagnostic page 0x8000002
[ 34.839002] scsi 0:0:0:31: Failed to bind enclosure -19
[ 35.018178] Driver 'ses' needs updating - please use bus_type methods
[ 35.059012] qla2xxx 0000:83:00.0: Allocated (64 KB) for EFT...
[ 35.059089] qla2xxx 0000:83:00.0: Allocated (1413 KB) for firmware dump...
[ 35.090021] scsi3 : qla2xxx
[ 35.090021] qla2xxx 0000:83:00.0:
[ 35.090021] QLogic Fibre Channel HBA Driver: 8.02.01-k4
[ 35.090021] QLogic QLE2460 - Sun PCI-Express to 2Gb FC, Single Channel
[ 35.090021] ISP2432: PCIe (2.5GT/s x4) @ 0000:83:00.0 hdma+, host#=3, fw=4.04.05 [IP] [84XX]
[ 35.306861] end_request: I/O error, dev sda, sector 0
[ 35.306861] Buffer I/O error on device sda, logical block 0
[ 35.358825] qla2xxx 0000:83:00.0: LIP reset occured (f700).
[ 35.358825] qla2xxx 0000:83:00.0: LIP occured (f700).
[ 35.358825] qla2xxx 0000:83:00.0: LIP reset occured (f7f7).
[ 35.427735] ata1: SATA link down (SStatus 0 SControl 300)
[ 35.358825] qla2xxx 0000:83:00.0: LOOP UP detected (4 Gbps).
[ 35.926631] ata2: SATA link down (SStatus 0 SControl 300)
[ 35.926621] ACPI: PCI Interrupt Link [LSA1] enabled at IRQ 22
[ 35.926621] ACPI: PCI Interrupt 0000:00:05.1[B] -> Link [LSA1] -> GSI 22 (level, low) -> IRQ 22
[ 35.926621] sata_nv 0000:00:05.1: Using SWNCQ mode
[ 35.926621] PCI: Setting latency timer of device 0000:00:05.1 to 64
[ 35.926621] scsi6 : sata_nv
[ 35.926621] scsi7 : sata_nv
[ 35.926621] ata3: SATA max UDMA/133 cmd 0x6880 ctl 0x6800 bmdma 0x6080 irq 22
[ 35.926621] ata4: SATA max UDMA/133 cmd 0x6480 ctl 0x6400 bmdma 0x6088 irq 22
[ 36.069946] end_request: I/O error, dev sda, sector 0
[ 36.069946] Buffer I/O error on device sda, logical block 0
[ 36.193523] scsi 3:0:0:0: Direct-Access SUN CSM200_R 0750 PQ: 1 ANSI: 5
[ 36.232876] scsi 3:0:0:2: Direct-Access SUN CSM200_R 0750 PQ: 0 ANSI: 5
[ 36.239891] scsi 3:0:0:31: Direct-Access SUN Universal Xport 0750 PQ: 0 ANSI: 5
[ 36.240234] scsi 3:0:0:0: Attached scsi generic sg8 type 0
[ 36.240237] scsi 3:0:0:0: Embedded Enclosure Device
[ 36.241015] scsi 3:0:0:0: Failed to get diagnostic page 0x8000002
[ 36.241087] scsi 3:0:0:0: Failed to bind enclosure -19
[ 36.241217] scsi 3:0:0:2: Attached scsi generic sg9 type 0
[ 36.241219] scsi 3:0:0:2: Embedded Enclosure Device
[ 36.397101] ata3: SATA link down (SStatus 0 SControl 300)
[ 36.481007] scsi 3:0:0:31: Attached scsi generic sg10 type 0
[ 36.481007] scsi 3:0:0:31: Embedded Enclosure Device
[ 36.792066] end_request: I/O error, dev sda, sector 0
[ 36.792066] Buffer I/O error on device sda, logical block 0
[ 40.050545] end_request: I/O error, dev sda, sector 0
[ 40.050545] Buffer I/O error on device sda, logical block 0
[ 40.841972] ata11: SATA link down (SStatus 0 SControl 300)
[ 41.130441] end_request: I/O error, dev sda, sector 0
[ 41.130441] Buffer I/O error on device sda, logical block 0
[ 41.246636] ata12: SATA link down (SStatus 0 SControl 300)
[ 42.402836] end_request: I/O error, dev sda, sector 0
[ 42.402836] Buffer I/O error on device sda, logical block 0
[ 42.402836] Dev sda: unable to read RDB block 0
[ 43.030006] end_request: I/O error, dev sda, sector 0
[ 43.030006] Buffer I/O error on device sda, logical block 0
[ 45.332475] end_request: I/O error, dev sda, sector 0
[ 45.332475] unable to read partition table
[ 45.332475] sd 0:0:0:2: [sda] Attached SCSI disk
[ 45.332475] sd 0:0:0:31: [sdb] 40960 512-byte hardware sectors (21 MB)
[ 45.332475] sd 0:0:0:31: [sdb] Write Protect is off
[ 45.332475] sd 0:0:0:31: [sdb] Mode Sense: 77 00 10 08
[ 45.332475] sd 0:0:0:31: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 45.332475] sd 0:0:0:31: [sdb] 40960 512-byte hardware sectors (21 MB)
[ 45.332475] sd 0:0:0:31: [sdb] Write Protect is off
[ 45.332475] sd 0:0:0:31: [sdb] Mode Sense: 77 00 10 08
[ 45.332475] sd 0:0:0:31: [sdb] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 45.332475] sdb:
[ 46.210043] sd 0:0:0:31: [sdb] Attached SCSI disk
[ 46.210043] ses 2:0:2:0: Attached Enclosure device
[ 46.210043] sd 2:1:0:0: [sdc] 142577664 512-byte hardware sectors (73000 MB)
[ 46.210072] sd 2:1:0:0: [sdc] Write Protect is off
[ 46.210074] sd 2:1:0:0: [sdc] Mode Sense: 03 00 00 08
[ 46.210458] sd 2:1:0:0: [sdc] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[ 46.210678] sd 2:1:0:0: [sdc] 142577664 512-byte hardware sectors (73000 MB)
[ 46.210902] sd 2:1:0:0: [sdc] Write Protect is off
[ 46.210904] sd 2:1:0:0: [sdc] Mode Sense: 03 00 00 08
[ 46.211287] sd 2:1:0:0: [sdc] Write cache: disabled, read cache: enabled, doesn't support DPO or FUA
[ 46.211289] sdc: sdc1 sdc2
[ 46.228780] sd 2:1:0:0: [sdc] Attached SCSI disk
[ 46.262626] sd 3:0:0:2: [sdd] 1363148800 512-byte hardware sectors (697932 MB)
[ 46.262815] sd 3:0:0:2: [sdd] Write Protect is off
[ 46.262817] sd 3:0:0:2: [sdd] Mode Sense: 77 00 10 08
[ 46.263158] sd 3:0:0:2: [sdd] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 46.263497] sd 3:0:0:2: [sdd] 1363148800 512-byte hardware sectors (697932 MB)
[ 46.263663] sd 3:0:0:2: [sdd] Write Protect is off
[ 46.263665] sd 3:0:0:2: [sdd] Mode Sense: 77 00 10 08
[ 46.264000] sd 3:0:0:2: [sdd] Write cache: enabled, read cache: enabled, supports DPO and FUA
[ 46.264004] sdd: sdd1
[ 46.264276] sd 3:0:0:2: [sdd] Attached SCSI disk
[ 46.266337] sd 3:0:0:31: [sde] 40960 512-byte hardware sectors (21 MB)
[ 46.266502] sd 3:0:0:31: [sde] Write Protect is off
[ 46.266504] sd 3:0:0:31: [sde] Mode Sense: 77 00 10 08
[ 46.266782] sd 3:0:0:31: [sde] Write cache: disabled, read cache: enabled, supports DPO and FUA
[ 46.266782] sd 3:0:0:31: [sde] 40960 512-byte hardware sectors (21 MB)
[ 46.266782] sd 3:0:0:31: [sde] Write Protect is off
[ 46.266782] sd 3:0:0:31: [sde] Mode Sense: 77 00 10 08
[/cite]
Je me rappelle qu'on avait un peu cherché lors de l'installation pour intégrer le microcode des QLogic 2460 qui sont les liens du PC vers le SAN.
On est passé par 2 méthodes:
- Une où on dépose le fichier ql2400_fw.bin sur une clé usb à l'invite du système, et elle se poursuit normalement.
- Une où on a téléchargé le fichier firmware-qlogic_0.17_all.dev trouvé ici : [http://debian.mirror.inra.fr/debian/pool/non-free/f/firmware(...)], puis:
dpkg -i firmware-qlogic_0.17_all.deb
modprobe -r ql2xxx
modprobe ql2xxx
Le fichier ql2400_fw.bin se trouve sous /lib/firmware.
Bref, c'est pas encore gagné...
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Du coup, j'ai installé ce dernier avec apt-get, j'ai rebooté, mais je retrouve les mêmes comportements (toujours ce fichu /dev/sda qui couine).
Dans mon cas, pas de fichier /usr/share.../multipath_hook, mais un fichier /usr/share/initramfs-tools/hooks/multipath, que voici:
fhtpntr2:/dev/mapper# more /usr/share/initramfs-tools/hooks/multipath
#!/bin/sh
PREREQS="udev"
prereqs() { echo "$PREREQS"; }
case $1 in
prereqs)
prereqs
exit 0
;;
esac
if [ ! -x /sbin/multipath ]; then
exit 0
fi
. /usr/share/initramfs-tools/hook-functions
add_bindings()
{
if [ -r /var/lib/multipath/bindings ]; then
mkdir -p $DESTDIR/var/lib/multipath
cp /var/lib/multipath/bindings $DESTDIR/var/lib/multipath/
fi
}
copy_exec /sbin/multipath /sbin
copy_exec /sbin/kpartx /sbin
copy_exec /sbin/devmap_name /sbin
copy_exec /sbin/dmsetup /sbin
copy_exec /lib/udev/dmsetup_env /lib/udev
copy_exec /sbin/mpath_prio_alua /sbin
copy_exec /sbin/mpath_prio_emc /sbin
copy_exec /sbin/mpath_prio_hp_sw /sbin
copy_exec /sbin/mpath_prio_rdac /sbin
copy_exec /sbin/mpath_prio_netapp /sbin
copy_exec /sbin/mpath_prio_random /sbin
copy_exec /sbin/mpath_prio_hds_modular /sbin
copy_exec /sbin/mpath_prio_balance_units /sbin
[ -r /etc/multipath.conf ] && cp /etc/multipath.conf $DESTDIR/etc/
add_bindings
for x in dm-multipath dm-round-robin dm-emc; do
manual_add_modules ${x}
done
Dans l'esprit, cela ressemble fort à ce qui était indiqué dans le Tchetch's Wiki, donc je n'ai rien modifié dans ce fichier.
De plus, j'ai modifié le fichier /boot/grub/device.map comme suit:
(hd0) /dev/disk/by-id/scsi-3600508e0000000008a90828d8486310a
Cet id pointe vers le /dev/sdc qui représente mon disque virtuel en RAID1, contenant sdc1 (/boot) et sdc2 (/tmp, /home, etc. en LVM)
A noter que depuis ces manips, multipath -ll me donne mes 2 paths en enabled, plus de second path en actif.
Je sens que nous y sommes presque, mais j'enrage de ne pas trouver ce qui ne va pas...
A noter également que le multipath est maintenant sur le dm-0 (au lieu du dm-6) et que la partition que j'avais créée dessus est en dm-1 (au lieu de dm-7).
Pour répondre aux autres questions, je fais avec le matériel qui a été commandé. Il y avait 2 disques internes, autant les utiliser (en effet, pour stocker toutes sortes de fichiers temporaires, etc.). De plus, chaque serveur est redondé, donc en cas de grosse panne, sauf catastrophe, il n'y a a priori rien à craindre.
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Pour les fichiers:
Pas de fichier /usr/share/initramfe/hooks/multipath_hook!
/etc/fstab:
# /etc/fstab: static file system information.
#
# <file system> <mount point>
proc /proc proc defaults 0 0
/dev/mapper/fhtpntr2-root / ext3 errors=remount-ro 0 1
UUID=46e8b672-43f4-490c-9ffb-b276febe0602 /boot ext2 defaults 0 2
/dev/mapper/fhtpntr2-home /home ext3 defaults 0 2
/dev/mapper/fhtpntr2-tmp /tmp ext3 defaults 0 2
/dev/mapper/fhtpntr2-usr /usr ext3 defaults 0 2
/dev/mapper/fhtpntr2-var /var ext3 defaults 0 2
/dev/mapper/fhtpntr2-swap_1 none swap sw 0 0
/dev/mapper/dataftp_paths-part1 /dataftp ext3 defaults 0 2
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto 0 0
Je monte le /boot par l'UUID du disque interne.
Je monte mon volume SAN sur /dataftp
Et le /boot/grub/menu.lst (je n'ai pas modifié les options par défaut)
title Debian GNU/Linux, kernel 2.6.26-2-amd64
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro quiet
initrd /initrd.img-2.6.26-2-amd64
title Debian GNU/Linux, kernel 2.6.26-2-amd64 (single-user mode)
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro single
initrd /initrd.img-2.6.26-2-amd64
En fait, dans ce fichier /boot/grub/device.map, plutôt que de voir /dev/sda, je me serais attendu à voir un chemin vers mes disques de boot internes (souvent en /dev/sdc, mais le mieux, c'est de prendre l'UUID).
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Pour les fichiers:
Pas de fichier /usr/share/initramfe/hooks/multipath_hook!
/etc/fstab:
# /etc/fstab: static file system information.
#
# <file system> <mount point>
proc /proc proc defaults 0 0
/dev/mapper/fhtpntr2-root / ext3 errors=remount-ro 0 1
UUID=46e8b672-43f4-490c-9ffb-b276febe0602 /boot ext2 defaults 0 2
/dev/mapper/fhtpntr2-home /home ext3 defaults 0 2
/dev/mapper/fhtpntr2-tmp /tmp ext3 defaults 0 2
/dev/mapper/fhtpntr2-usr /usr ext3 defaults 0 2
/dev/mapper/fhtpntr2-var /var ext3 defaults 0 2
/dev/mapper/fhtpntr2-swap_1 none swap sw 0 0
/dev/mapper/dataftp_paths-part1 /dataftp ext3 defaults 0 2
/dev/scd0 /media/cdrom0 udf,iso9660 user,noauto 0 0
Je monte le /boot par l'UUID du disque interne.
Je monte mon volume SAN sur /dataftp
Et le /boot/grub/menu.lst (je n'ai pas modifié les options par défaut)
title Debian GNU/Linux, kernel 2.6.26-2-amd64
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro quiet
initrd /initrd.img-2.6.26-2-amd64
title Debian GNU/Linux, kernel 2.6.26-2-amd64 (single-user mode)
root (hd0,0)
kernel /vmlinuz-2.6.26-2-amd64 root=/dev/mapper/fhtpntr2-root ro single
initrd /initrd.img-2.6.26-2-amd64
En fait, dans ce fichier /boot/grub/device.map, plutôt que de voir /dev/sda, je me serais attendu à voir un chemin vers mes disques de boot internes (souvent en /dev/sdc, mais le mieux, c'est de prendre l'UUID).
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Cependant, comme tu le soulignes, les outils de multipathing semblent développés un peu partout. Quand on m'a présenté ce projet (dès que je suis arrivé en fait, en mai :), je ne connaissais pas Linux, mais HP-UX...
Du coup, comme j'ai commencé à bosser sur Debian, je m'y sens forcément plus à l'aise :) Et puis le patron sera forcément plus content si je lui fais économiser les licences RH.
Tiens, en faisant un apt-get upgrade, je suis tombé sur une série d'erreurs (que je n'ai pas eu le temps de noter) et qui impliquait le fichier /boot/grub/device.map. Si je regarde dedans, je vois ça:
fhtpntr1:/# more /boot/grub/device.map
(hd0) /dev/sda
Intéressant, non? Pour l'installation, j'avais débranché toutes mes fibres, et seul mes disques internes étaient attachés. Que dois-je déduire de ce que me dit ce fichier?
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Maintenant, je l'ai suivi de loin, donc à voir... Mais je crains que le souci ne vienne pas de là...
Sinon, à titre personnel, vous choisiriez quoi entre RedHat et Debian pour cette conf (niveau rapport facilité de mise en place/coût).
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 2.
Ce qui n'est pas bien normal par contre, c'est le comportement de mon path sur /dev/sda:
Exemple:
fdisk -l /dev/sda donne 6 messages d'erreur, et ne fait rien d'autre:
[6780.589677] end request : I/O error, dev sda, sector 0
[6780.589677] Buffer I/O error on device sda, logical block 0
[6781.338883] end request : I/O error, dev sda, sector 1363148792
[6781.338883] Buffer I/O error on device sda, logical block 170393599
[6782.451790] end request : I/O error, dev sda, sector 0
[6782.451790] Buffer I/O error on device sda, logical block 0
De nombreux messages du même type apparaissent au boot.
Ce qui est bizarre, c'est que le système voit qu'il y a quand même 650Go derrière, comme le prouve /proc/partitions par exemple:
fhtpntr2:~# more /proc/partitions
major minor #blocks name
8 0 681574400 sda
8 16 20480 sdb
8 32 71288832 sdc
8 33 248976 sdc1
8 34 71039430 sdc2
8 48 681574400 sdd
8 64 20480 sde
254 0 339968 dm-0
254 1 4882432 dm-1
254 2 2928640 dm-2
254 3 8261632 dm-3
254 4 389120 dm-4
254 5 54235136 dm-5
254 6 681574400 dm-6
Impossible de formater (cfdisk : Fatal Error: cannot read disk drive) ce /dev/sda.
En revanche, à côté de ça, /dev/sdd (ou /dev/sdc suivant son humeur) se comporte parfaitement, peut-être formaté, est accessible par fdisk, est visiblement mappé sous /dev/dm-6 avec multipath, peut-être mounté par sdc ou dm-6, etc. Si j'enlève le failback, multipath- ll donne le résultat suivant:
fhtpntr2:/dev# multipath -ll
dataftp_paths (3600a0b80005629c6000005da4a69747d) dm-6 SUN ,CSM200_R
[size=650G][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
\_ 0:0:0:2 sda 8:0 [active][ready]
\_ round-robin 0 [prio=0][active]
\_ 3:0:0:2 sdd 8:48 [active][ready]
Cette sortie me plairait bien si je n'avais pas le comportement détaillé plus haut sur sda. Si je remets le failback, les 2 paths apparaissent enabled simultanément, même si je continue de pouvoir accéder à mes 650 Go...
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Sur chaque baie de stockage, il y a 2 contrôleurs (A et B).
Sur chaque serveur, nous avons 2 HBAs (1 et 2).
Il y a 2 switches SAN.
Nous avons câblé 2 ensembles de fibres comme suit:
HBA1--SAN1--CtrlA
HBA2--SAN2--CtrlB
Tout se passe donc comme si nous avions 2 paths pour accéder à la LUN présentée de la baie de stockage. Et multipath semble se comporter dans ce sens.
LUN d'access, c'est le terme employé par la personne qui a installé la partie hardware. C'est un petit espace de 20Mo qui apparaît (un peu comme si je branchais une clé USB) dès qu'on branche un des paths (j'en vois donc 2 quand je branche mes 2 fibres). Je ne sais pas trop à quoi ils servent, aussi je les ai blacklistés dans le multipath.conf par leur WWN. Elles portent le nom de Universal Xport pour le multipath.
Si j'ai bien compris, multipath a donc du mal à revenir sur un des paths lorsqu'il est de nouveau disponible? Cela se manifesterait chez moi avec le fait que mes 2 paths sont enabled, c'est ça?
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
J'ai donc renommé le multipath.conf en ori, et j'ai relancé multipathd.
Voici ce que donne un multipath -ll
3600a0b80005630440000052849bb294ddm-8 SUN ,Universal Xpor
[size=20M][features=0][hwhandler=0]
\_ round-robin 0 [prio=1][enabled]
\_ 0:0:0:31 sdb 8:16 [failed][ready]
\_ round-robin 0 [prio=1][enabled]
\_ 1:0:0:31 sdd 8:48 [failed][ready]
sda: checker msg is "directio checker reports path is down"
dataftp_paths (3600a0b80005629c6000005da4a69747d) dm-6 SUN ,CSM200_R
[size=650G][features=0][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
\_ 0:0:0:2 sda 8:0 [failed][faulty]
\_ round-robin 0 [prio=1][active]
\_ 1:0:0:2 sdc 8:32 [active][ready]
Cela s'accompagne bien sûr d'une flopée de I/O end request sur la sortie.
Universal Xport (qui était filtré dans la blacklist) correspond au LUN d'access (20 Mo) et ne m'intéressent donc pas (même si elles accompagnent chaque path possible).
Par contre, je ne comprends pas pourquoi tu mentionnes 4 chemins, chaque serveur ne voit la baie que par 2 chemins possibles.
En remettant le bon multipath.conf et en redémarrant le démon, j'obtiens cette fois:
fhtpntr2:/# multipath -ll
dataftp_paths (3600a0b80005629c6000005da4a69747d) dm-6 SUN ,CSM200_R
[size=650G][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
\_ 0:0:0:2 sda 8:0 [active][ready]
\_ round-robin 0 [prio=0][active]
\_ 1:0:0:2 sdc 8:32 [active][ready]
Cette fois, mon path par sdc est actif, contrairement à tout à l'heure où j'avais les 2 en enabled après mon reboot. D'ailleurs, le temps de faire quelques tests, je viens de m'apercevoir qu'ils étaient revenus en enabled tous deux...
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Après un redémarrage du démon, et même du serveur, voici mon multipath -ll
fhtpntr2:~# multipath -ll
dataftp_paths (3600a0b80005629c6000005da4a69747d) dm-6 SUN ,CSM200_R
[size=650G][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
\_ 0:0:0:2 sda 8:0 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 1:0:0:2 sdc 8:32 [active][ready]
Vous conviendrez que c'est mieux.
Cependant, il y a toujours un nombre important de message de I/O error sur /dev/sda au démarrage, même s'ils s'arrêtent par la suite (ce qui es nouveau).
Est-ce normal?
Dans tous les cas, merci de vos différentes contributions (j'avais déjà marqué la page de Tchetch's dans mes favoris avant ce post), car elles permettent aux newbies comme moi de se débrouiller par eux-même (modulo les quelques boulettes inhérentes à ce type de profils). J'essaierai de faire la même chose à mon tour pour cette configuration.
Xavier
[^] # Re: San bien configuré ?
Posté par RobinX . En réponse au message Problème Multipath-tools. Évalué à 1.
Voici le contenu de mon /etc/multipath.conf
##
## This is a template multipath-tools configuration file
## Uncomment the lines relevent to your environment
##
defaults {
# udev_dir /dev
# polling_interval 10
# selector "round-robin 0"
# path_grouping_policy multibus
# getuid_callout "/lib/udev/scsi_id -g -u -s /block/%n"
prio_callout /bin/true
# path_checker directio
# rr_min_io 100
# rr_weight priorities
# failback immediate
# no_path_retry fail
user_friendly_names yes
}
blacklist {
wwid 3600a0b80005630440000052849bb294d
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][[0-9]*]"
devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
device {
vendor LSILOGIC
}
}
multipaths {
multipath {
wwid 3600a0b80005629c6000005da4a69747d
alias dataftp_paths
# path_grouping_policy failover
# path_checker directio
# path_selector "round-robin 0"
# failback manual
# rr_weight priorities
# no_path_retry 5
# rr_min_io 100
}
}
devices {
device {
vendor "SUN"
product "CSM200_R"
path_grouping_policy failover
# getuid_callout "/lib/udev/scsi_id -g -u -d /dev/%n"
path_checker directio
path_selector "round-robin 0"
hardware_handler "0"
failback 15
rr_weight priorities
no_path_retry queue
rr_min_io 100
# product_blacklist LUN_Z
}
}
Comme vous le voyez sans doute, je procède à tâtons car certaines des options de ce fichier ne me parlent pas trop.
Pour rappel, chaque serveur est en double attachement
(HBA1-Switch SAN 1-Baie disques CtrlA)
(HBA2-Switch SAN 2-Baie disques CtrlB)
Donc si je comprends bien, je devrais seulement avoir 2 paths gérés dans le multipath.
Actuellement, j'ai en effet un des 2 paths qui est en échec, mais cela doit avoir un lien avec le fait qu'il soit repéré au démarrage en /dev/sda, non?
J'essaie de faire les quelques modifs que vous m'avez d'ores et déjà indiquées.
Xavier