Con hdparm podemos comprobar la velocidad de acceso y optimizar la configuración del disco duro para reducir el tiempo de acceso.
Los sistemas RAID es lo mas adecuado para mejorar el acceso y seguridad de los datos. He configurado dos memorias USB En las bases de datos un tema crítico para mejorar la velocidad de busqueda es el tiempo de acceso al disco duro. Para comprobar los tiempos de acceso podemos usar la herramienta hdparm.
Probado con dos memorias USB de 32GB en mi servidor micra, con debian 6.0
Protocolo para montar un sistema RAID1 con dos memorias USB:
1) Creo particiones iguales formateadas en ext3 en los usb.
2) Monto los usb en micra en /mnt/usb1 y /mnt/usb2
3) Mido las velocidades de acceso de cada usb por separado:
# hdparm -tT /dev/sdb1 (177.29 MB/sec ; 15.41 MB/sec)
# hdparm -tT /dev/sdc1 (178.13 MB/sec ; 15.45 MB/sec)
4) Instalo mdadm. Lo configuro para que no inicie ningún raid al arranque.
# aptitude install mdadm
5) Desmontamos los discos USB para que nos deje crear el RAID
# umount /dev/sdb1
# umount /dev/sdc1
6) Creamos el disco RAID-1 con los dos USB:
# mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1
7) Formateamos el nuevo disco RAID:
# mkfs.ext3 /dev/md0
8) Montamos el dispositivo RAID:
# mount /dev/md0 /mnt/raid1
.. y ya esta.
Veamos la velocidad de acceso:
# hdparm -T /dev/sdb /dev/sdc /dev/md0
/dev/sdb: Timing cached reads: 350 MB in 2.01 seconds = 174.41 MB/sec
/dev/sdc: Timing cached reads: 350 MB in 2.00 seconds = 174.61 MB/sec
/dev/md0: Timing cached reads: 338 MB in 2.01 seconds = 168.46 MB/sec
Revisando /proc/mdadm veo que todavia no ha terminado la sincronización de los dispositivos:
# cat /proc/mdadm
Personalities : [raid1]
md0 : active raid1 sdb1[1] sdc1[0]
30468024 blocks super 1.2 [2/2] [UU]
[======.......] resync = 30.2% (9201920/30468024) finish=42.4min speed=8346K/sec
unused devices:
La sincronización tarda mucho!!!! ya que tiene que recomponer el raid.
Esto lo hace cada vez que se activa el RAID o se cambia un disco.
PROBANDO LA BDD EN EL RAID1:
Paso la base de datos indexpdf02 al raid1 y redirecciono el directorio en /var/lib/mysql/ a directorio copiado en /mnt/raid1 de modo que las consultas las realizará en el disco raid1.
---------------------------------------------------------------------------------------------------------------
Consulta "google" en el HD160GB, tarda 66.60 sec y recupera 4070 documentos.
Reinicio mysq
Consulta "google" en el RAID1, tarda 86,13 sec y recupera 4070 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "server" en el HD160GB, tarda 87,36 sec y recupera 7075 documentos.
Reinicio mysq
Consulta "server" en el RAID1, tarda 222,19 sec y recupera 7075 documentos.
---------------------------------------------------------------------------------------------------------------
Confirmado,esto NO mejora la velocidad de lectura y con los USB.
Puede que sea porque todavia no estan sicronizados los datos de los USB???
... efectivamente hay que dejar que se sincronicen los discos que componen el RAID.
PROBANDO LA BDD EN EL RAID1 after resync:
---------------------------------------------------------------------------------------------------------------
Consulta "google" en el HD160GB, tarda 31.98 sec y recupera 4070 documentos.
Redirecciono la bdd y reinicio mysq
Consulta "google" en el RAID1, tarda 11.05 sec y recupera 4070 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "raid server" en el HD160GB, tarda 98.61 sec y recupera 244 documentos.
Redirecciono la bdd y reinicio mysq
Consulta "raid server" en el RAID1, tarda 89.93 sec y recupera 244 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "google server" en el HD160GB, tarda 451.33 sec y recupera 510 documentos.
Redirecciono la bdd y reinicio mysq
Consulta "google server" en el RAID1, tarda 447.35 sec y recupera 510 documentos.
---------------------------------------------------------------------------------------------------------------
Copiando, salvando y Redireccionando la bdd:
Copio la BDD al RAID, la remobro para tener una copia de seguridad y redirecciono mysql a la bdd en el raid.
from HD160GB to RAID:
mv indexpdf02 zz-indexpdf02
ln -s /mnt/raid1/indexpdf02/ indexpdf02
service mysql restart
from RAID to HD160GB:
rm indexpdf02
mv zz-indexpdf02/ indexpdf02/
service mysql restart
De este modo puedo comprobar el rendimiento en el disco duro y en sistema raid de los USB.
Ver: http://misnotaslinux.blogspot.com.es/2010/01/bases-de-datos-mysql-distribuidas-en.html
Conclusiones:
- La configuración de un RAID por software en debian es muy sencilla.
- El limitante que he encontrado en este RAID por software ha sido el bus de comunicación de datos de los USB que al ser común constituye el cuello de botella de la transferencia de datos.
- El tiempo para rehacer el RAID es considerable. De modo que no hay que conectar y desconectar los USB o montar y desmontar el RAID ya que cada vez que lo hagamos tiene que rehacerse y esto lleva su tiempo.
- Pese a todo si he visto una mejora en el tiempo de acceso a los datos, de modo que puede ser una alternativa de apoyo en sistemas con escasos recursos y aliviar algo la carga a discos duros.
Ref.:
http://www.linuxhispano.net/2011/02/09/calcular-la-velocidad-del-disco-en-linux/
http://lamaquinadiferencial.wordpress.com/2009/02/22/raid-1-por-software-en-ubuntu-debian-discos-en-espejo/
http://www.sahw.com/wp/archivos/2007/03/04/como-montar-en-diez-comodos-pasos-un-raid-para-debian-gnulinux/
http://www.megalinux.com.ar/articulos:raid
Buen invento, con USB 3.0 y RAID1+RAID5 va que vuela, salvo porque falla el arranque cuando uno de los discos (pendrives) es desconectado, haciendo pruebas con ubuntu-server 12.04.04.
ResponderEliminarProbando con debian...