Para mejorar la velocidad de las bases de datos un aspecto crítico es la velocidad de acceso al disco duro.
Con
hdparm podemos comprobar la velocidad de acceso y optimizar la configuración del disco duro para reducir el tiempo de acceso.
Los sistemas
RAID es lo mas adecuado para mejorar el acceso y seguridad de los datos. He configurado dos memorias USB En las bases de datos un tema crítico para mejorar la velocidad de busqueda es el tiempo de acceso al
disco duro. Para comprobar los tiempos de acceso podemos usar la herramienta hdparm.
Probado con dos memorias USB de 32GB en mi servidor micra, con debian 6.0
Protocolo para montar un sistema RAID1 con dos memorias USB:
1) Creo particiones iguales formateadas en ext3 en los usb.
2) Monto los usb en micra en /mnt/usb1 y /mnt/usb2
3) Mido las velocidades de acceso de cada usb por separado:
# hdparm -tT /dev/sdb1 (177.29 MB/sec ; 15.41 MB/sec)
# hdparm -tT /dev/sdc1 (178.13 MB/sec ; 15.45 MB/sec)
4) Instalo mdadm. Lo configuro para que no inicie ningún raid al arranque.
# aptitude install mdadm
5) Desmontamos los discos USB para que nos deje crear el RAID
# umount
/dev/sdb1
# umount
/dev/sdc1
6) Creamos el disco RAID-1 con los dos USB:
# mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1
7) Formateamos el nuevo disco RAID:
# mkfs.ext3 /dev/md0
8) Montamos el dispositivo RAID:
# mount /dev/md0 /mnt/raid1
.. y ya esta.
Veamos la velocidad de acceso:
# hdparm -T /dev/sdb /dev/sdc /dev/md0
/dev/sdb: Timing cached reads: 350 MB in 2.01 seconds = 174.41 MB/sec
/dev/sdc: Timing cached reads: 350 MB in 2.00 seconds = 174.61 MB/sec
/dev/md0: Timing cached reads: 338 MB in 2.01 seconds = 168.46 MB/sec
¡¡¡ Pues no hemos mejorado nada !!! ???
Revisando /proc/mdadm veo que todavia
no ha terminado la sincronización de los dispositivos:
# cat /proc/mdadm
Personalities : [raid1]
md0 : active raid1 sdb1[1] sdc1[0]
30468024 blocks super 1.2 [2/2] [UU]
[======.......] resync = 30.2% (9201920/30468024) finish=42.4min speed=8346K/sec
unused devices:
La sincronización tarda mucho!!!! ya que tiene que recomponer el raid.
Esto lo hace cada vez que se activa el RAID o se cambia un disco.
PROBANDO LA BDD EN EL RAID1:
Paso la base de datos indexpdf02 al raid1 y redirecciono el directorio en /var/lib/mysql/ a directorio copiado en /mnt/raid1 de modo que las consultas las realizará en el disco raid1.
---------------------------------------------------------------------------------------------------------------
Consulta "google" en el HD160GB, tarda 66.60 sec y recupera 4070 documentos.
Reinicio mysq
Consulta "google" en el RAID1, tarda 86,13 sec y recupera 4070 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "server" en el HD160GB, tarda 87,36 sec y recupera 7075 documentos.
Reinicio mysq
Consulta "server" en el RAID1, tarda 222,19 sec y recupera 7075 documentos.
---------------------------------------------------------------------------------------------------------------
Confirmado,esto
NO mejora la velocidad de lectura y con los USB.
Puede que sea porque todavia no estan sicronizados los datos de los USB???
... efectivamente hay que dejar que se sincronicen los discos que componen el RAID.
PROBANDO LA BDD EN EL RAID1 after resync:
---------------------------------------------------------------------------------------------------------------
Consulta "google" en el HD160GB, tarda
31.98 sec y recupera 4070 documentos.
Redirecciono la bdd y reinicio mysq
Consulta "google" en el RAID1, tarda
11.05 sec y recupera 4070 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "raid server" en el HD160GB, tarda
98.61 sec y recupera 244 documentos.
Redirecciono la bdd y reinicio mysq
Consulta "raid server" en el RAID1, tarda
89.93 sec y recupera 244 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "google server" en el HD160GB, tarda
451.33 sec y recupera 510 documentos.
Redirecciono la bdd y reinicio mysq
Consulta "google server" en el RAID1, tarda
447.35 sec y recupera 510 documentos.
---------------------------------------------------------------------------------------------------------------
Copiando, salvando y Redireccionando la bdd:
Copio la BDD al RAID, la remobro para tener una copia de seguridad y redirecciono mysql a la bdd en el raid.
from HD160GB to RAID:
mv indexpdf02 zz-indexpdf02
ln -s /mnt/raid1/indexpdf02/ indexpdf02
service mysql restart
from RAID to HD160GB:
rm indexpdf02
mv zz-indexpdf02/ indexpdf02/
service mysql restart
De este modo puedo comprobar el rendimiento en el disco duro y en sistema raid de los USB.
Ver: http://misnotaslinux.blogspot.com.es/2010/01/bases-de-datos-mysql-distribuidas-en.html
Conclusiones:
- La configuración de un RAID por software en debian es muy sencilla.
- El limitante que he encontrado en este RAID por software ha sido el bus de comunicación de datos de los USB que al ser común constituye el cuello de botella de la transferencia de datos.
- El tiempo para rehacer el RAID es considerable. De modo que no hay que conectar y desconectar los USB o montar y desmontar el RAID ya que cada vez que lo hagamos tiene que rehacerse y esto lleva su tiempo.
- Pese a todo si he visto una mejora en el tiempo de acceso a los datos, de modo que puede ser una alternativa de apoyo en sistemas con escasos recursos y aliviar algo la carga a discos duros.
Ref.:
http://www.linuxhispano.net/2011/02/09/calcular-la-velocidad-del-disco-en-linux/
http://lamaquinadiferencial.wordpress.com/2009/02/22/raid-1-por-software-en-ubuntu-debian-discos-en-espejo/
http://www.sahw.com/wp/archivos/2007/03/04/como-montar-en-diez-comodos-pasos-un-raid-para-debian-gnulinux/
http://www.megalinux.com.ar/articulos:raid
