Commenti a: Creazione di un raid software livello 5 con Debian o Ubuntu

Di: fabio

fabio — Thu, 13 Jan 2011 13:33:39 +0000

Allo stato attuale potresti provare a riaggiungere il device sdb all’array e vedere cosa succede. In ogni caso cercando con google la stringa “md: export_rdev” escono fuori molti risultati che parlano di problemi simile al tuo (ed in realtà anche simili a quelli riscontrati nei commenti sopra) i primi in particolare vengono fuori dai forum di Ubuntu. Ti consiglio di dare una letta a quelli per vedere se trovi delle similitudini con il tuo problema ed in ogni caso di provare a postare il tuo problema anche li, in quanto c’è una community molto attiva e numerosa, probabilmente ti riusciranno ad aiutare molto più di quanto possa fare io da solo.

Fammi sapere se risolvi.

Di: massimo

massimo — Tue, 11 Jan 2011 09:22:39 +0000

Grazie della rapida risposta.
Ho riacceso il server stamattina. La sequenza di quello che succede è questa: alla prima accensione si pianta tutto dando il seguente messaggio:
———–
fsck.ext2: Device or resource busy while tryng to open /dev/md0 (nota:la partizione /boot)
Filesystem mounted or opened exclusively by another program?
mountall: fsck /boot [575] terminated with status 8
mountall: general fsck error
init: mountall main process (567) terminated with status 1
General error mounting filesystem
A maintenance shell will now be started
CONTROL-D will terminate this shell and re-try
———–
A questo punto premo control-d, il sistema fa un po di attività e a volte si pianta oppure prosegue dando errori. E’ necessario eseguire un reset premedo il pulsante.
Fatto il reset si riavvia tutto, viene eseguito fsck sui vari dischi e parte tutto quanto.
Seguendo i tuoi suggerimenti ho eseguito fdisk -l /dev/sdb. L’output è normale. vede sia il disco che le partizioni. Ho eseguito lo stesso comando anche sul disco sda e l’output è identico.
Diverso è il responso di dmesg | grep sdb, anche questo eseguito prima su sdb e poi su sda. La prima parte dove identifica l’hardware è identica (a parte il num. seriale). La seconda parte dice:
(per sdb)
md: export_rdev (sdb5)
md: export_rdev (sdb1)
md: export_rdev (sdb5) ecc. ecc. ripetendolo + volte per ogni partizione
(per sda)
md: bind (sda1)
md: bind (sda5)
md: bind (sda7)
md: raid 5: device sda7 operational as raid disk 0
disk 0, o:1, dev:sda7(poi ripete la stessa cosa per le altre partizioni)

Sto controllando syslog e messages ma ti diro’ che non ci sto capendo piu’ molto.

Di: fabio

fabio — Mon, 10 Jan 2011 20:55:25 +0000

Ok, adesso ho capito la tua configurazione (per la cronaca secondo me era meglio fare un raid unico con i dischi interi e poi metterci sopra lvm per gestire le partizioni). Venendo al tuo problema, dovresti indagare sulla sparizione di sdb, un buon inizio può essere con il comando fdisk -l /dev/sdb e vedere cosa ti risponde. In seguito dovresti controllare i file di log in /var, in particolare syslog e messages alla ricerca di messaggi relativi ad sdb e ovviamente anche dmesg | grep sdb ti potrebbe essere molto d'aiuto.

Di: massimo

massimo — Mon, 10 Jan 2011 14:01:30 +0000

Ulteriori info: eseguendo il comando cat /proc/mdstat ottengo il seguente output nel quale il disco sdb non è presente:
md3: active raid5 sdd7[1] sdc7[2] sda7[0]
955080064 blocks level 5, 64chunk, algorithm 2 [3/3] [UUU]

Lo stesso si ripete per md0, md2 e md1 ovviamente con dimensoni delle partizioni diverse e con md0 che ha [2/2] dischi essendo questa partizione (/boot) in Raid 1. al termine della schermata si legge unused device:
Da quello che capisco non viene visto il disco sdb pur essendo presente e (sembrerebbe, funzionante.

Di: fabio

fabio — Mon, 10 Jan 2011 13:15:54 +0000

Non ho ben capito la tua configurazione, in particolare il motivo delle 4 partizioni per disco. Se fai un array per disco con 4 partizioni la configurazione in raid non ha nessun vantaggio né in termini di ridondanza dei dati né in termini di prestazioni…
Il senso del raid è quello di distribuire le scritture e le letture su dispositivi differenti in modo da massimizzare il throughput totale e (nel caso di livello 5) di evitare la perdita di dati se un disco si danneggia, se applichi questo meccanismo a 4 partizioni su uno stesso device non ottieni nessuno dei due vantaggi sopra, in quanto i dati viaggiano tutti sullo stesso canale ed in caso di rottura perdi tutte e 4 le partizioni contemporaneamente.

In ogni caso, può darsi che abbia frainteso io la tua configurazione per verificare meglio la situazione, qual è l’output del comando cat /proc/mdstat?

Di: massimo

massimo — Mon, 10 Jan 2011 12:34:57 +0000

Ciao Fabio, grazie della guida esaustiva con la quale ho creato, qualche mese fa, il mio server con 4 dischi (di cui uno in spare). Il tutto ha funzionato correttamente fino a qualche giorno fa quando dopo un comando di shutdown e successivo restart mi ha risposto che aveva problemi sull’array md2 (ho 4 partizioni per disco). Vedendo l’output del comando mdadm -E /dev/sda(b,c,d) rispettivamente per le 4 partizioni trovo che per i dischi a,c e d l’array è attivo senza spare, se eseguo lo stesso comando sull’hd sdb mi diche che l’array è attivo su a,b e c con sdd spare. Hai qualche idea? Grazie

Di: fabio

fabio — Wed, 15 Dec 2010 00:21:55 +0000

Ciao Matteo, hai novità sul tuo problema? Nel senso: una volta terminato il recovery (che comunque è strano, non dovrebbe farlo a meno di problemi) come sono le prestazioni?

Di: matteo

matteo — Sat, 11 Dec 2010 06:34:33 +0000

ti posto qui di seguito cosa appare con il comando dmesg

[ 448.678679] md: bind
[ 449.134836] md: bind
[ 449.165361] md: bind
[ 449.201544] md: bind
[ 449.252981] md/raid:md0: device sdf operational as raid disk 2
[ 449.252995] md/raid:md0: device sde operational as raid disk 1
[ 449.253004] md/raid:md0: device sdb operational as raid disk 0
[ 449.254552] md/raid:md0: allocated 4282kB
[ 449.257817] md/raid:md0: raid level 5 active with 3 out of 4 devices, algorithm 2
[ 449.257827] RAID conf printout:
[ 449.257832] — level:5 rd:4 wd:3
[ 449.257838] disk 0, o:1, dev:sdb
[ 449.257843] disk 1, o:1, dev:sde
[ 449.257848] disk 2, o:1, dev:sdf
[ 449.257937] md0: detected capacity change from 0 to 6001196531712
[ 449.258310] md0:
[ 449.259365] RAID conf printout:
[ 449.259376] — level:5 rd:4 wd:3
[ 449.259385] disk 0, o:1, dev:sdb
[ 449.259392] disk 1, o:1, dev:sde
[ 449.259399] disk 2, o:1, dev:sdf
[ 449.259406] disk 3, o:1, dev:sdg
[ 449.262119] md: recovery of RAID array md0
[ 449.262163] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[ 449.262172] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
[ 449.262187] md: using 128k window, over a total of 1953514496 blocks.

tieni presente che questo problema avviene anche se uso l’interfaccia grafica x creare il raid.

dando invece cat /proc/mdstat ottengo qnt segue

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdg[4] sdf[2] sde[1] sdb[0]
5860543488 blocks level 5, 64k chunk, algorithm 2 [4/3] [UUU_]
[================>....] recovery = 80.3% (1570449664/1953514496) finish=128.2min speed=49785K/sec

unused devices:

grazie ancora

Di: fabio

fabio — Sat, 11 Dec 2010 00:26:29 +0000

Innanzi tutto grazie per i complimenti, sono contento che ti piaccia il mio tutoria. Venendo al tuo problema, anche a te entra in recovery mode? Hai controllato se in dmesg ci sono errori particolari? Io nello scrivere il tutorial ho usato una macchina virtuale e le prestazioni sono molto più alte dei 10 mb/sec indicati da Giorgio, quindi mi risulta strano che nel vostro caso con hardware reale siano così basse…

Fammi sapere se trovi errori particolari o anche solo messaggi strani controllando tutti i file di log in /var/log con ‘grep md *’

Di: matteo

matteo — Fri, 10 Dec 2010 22:01:34 +0000

ciao, piacere, matteo, prima di tutto complimenti per la chiarezza, non si trova un tutorial fatto bene come il tuo nella rete. finiti i complimenti, passiamo alla nota dolente anche io soffro dello stesso problema di giorgio, performance in scrittura a dir poco penose. ti posso dire che la mia piastra è una supermicro X7SPA-H con processore d510 e controller ICH9R. la mia intenzione è creare un raid 5 su 4 hdd wd green. il problema è che ho performance in scrittura penose, facendo un pò troppi esperimenti mi sono accorto che se imposto il raid dal bios, creo l’array dal matrix storage e poi uso dmraid, le performance sono una cannonata. ti torna questo inconveniente? se poi non ti disturbo, magari ci potremmo trovare via msn, magari mi puoi dare una dritta senza che xò ti disturbo troppo. buona serata e grazie in anticipo