RAID-1 por software en debian con dos memorias USB

Para mejorar la velocidad de las bases de datos un aspecto crítico es la velocidad de acceso al disco duro.

Con hdparm podemos comprobar la velocidad de acceso y optimizar la configuración del disco duro para reducir el tiempo de acceso.

Los sistemas RAID  es lo mas adecuado para mejorar el acceso y seguridad de los datos. He configurado dos memorias USB En las bases de datos un tema crítico para mejorar la velocidad de busqueda es el tiempo de acceso al disco duro. Para comprobar los tiempos de acceso podemos usar la herramienta hdparm.

Probado con dos memorias USB de 32GB en mi servidor micra, con debian 6.0

Protocolo para montar un sistema RAID1 con dos memorias USB:

1) Creo particiones iguales formateadas en ext3 en los usb.

2) Monto los usb en micra en /mnt/usb1 y /mnt/usb2

3) Mido las velocidades de acceso de cada usb por separado:
                # hdparm -tT /dev/sdb1    (177.29 MB/sec ; 15.41 MB/sec)
                # hdparm -tT /dev/sdc1    (178.13 MB/sec ; 15.45 MB/sec)

4) Instalo mdadm. Lo configuro para que no inicie ningún raid al arranque.
               # aptitude install mdadm

5) Desmontamos los discos USB para que nos deje crear el RAID
               # umount /dev/sdb1
               # umount /dev/sdc1

6) Creamos el disco RAID-1 con los dos USB:
               # mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1

7) Formateamos el nuevo disco RAID:
               # mkfs.ext3 /dev/md0

8) Montamos el dispositivo RAID:
               # mount /dev/md0 /mnt/raid1

.. y ya esta.

Veamos la velocidad de acceso:

          # hdparm -T /dev/sdb /dev/sdc /dev/md0
          /dev/sdb:  Timing cached reads:   350 MB in  2.01 seconds = 174.41 MB/sec
          /dev/sdc:  Timing cached reads:   350 MB in  2.00 seconds = 174.61 MB/sec
          /dev/md0:  Timing cached reads:   338 MB in  2.01 seconds = 168.46 MB/sec

                                         ¡¡¡ Pues no hemos mejorado nada !!! ???

Revisando /proc/mdadm veo que todavia no ha terminado la sincronización de los dispositivos:
                # cat /proc/mdadm
                Personalities : [raid1] 
                md0 : active raid1 sdb1[1] sdc1[0]
                30468024 blocks super 1.2 [2/2] [UU]
                [======.......]  resync = 30.2% (9201920/30468024) finish=42.4min speed=8346K/sec
                unused devices:

La sincronización tarda mucho!!!! ya que tiene que recomponer el raid.
Esto lo hace cada vez que se activa el RAID o se cambia un disco.

PROBANDO LA BDD EN EL RAID1:
Paso la base de datos indexpdf02 al raid1 y redirecciono el directorio en /var/lib/mysql/ a directorio copiado en /mnt/raid1 de modo que las consultas las realizará en el disco raid1.
---------------------------------------------------------------------------------------------------------------
Consulta "google" en el HD160GB, tarda 66.60 sec y recupera 4070 documentos.
         Reinicio mysq
Consulta "google" en el RAID1, tarda 86,13 sec y recupera 4070 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "server" en el HD160GB, tarda 87,36 sec y recupera 7075 documentos.
         Reinicio mysq
Consulta "server" en el RAID1, tarda 222,19 sec y recupera 7075 documentos.
---------------------------------------------------------------------------------------------------------------

Confirmado,esto NO mejora la velocidad de lectura y con los USB.
Puede que sea porque todavia no estan sicronizados los datos de los USB???

... efectivamente hay que dejar que se sincronicen los discos que componen el RAID.


PROBANDO LA BDD EN EL RAID1  after resync:
---------------------------------------------------------------------------------------------------------------
Consulta "google" en el HD160GB, tarda 31.98 sec y recupera 4070 documentos.
         Redirecciono la bdd y reinicio mysq
Consulta "google" en el RAID1, tarda 11.05 sec y recupera 4070 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "raid server" en el HD160GB, tarda 98.61 sec y recupera 244 documentos.
         Redirecciono la bdd y reinicio mysq
Consulta "raid server" en el RAID1, tarda 89.93 sec y recupera 244 documentos.
---------------------------------------------------------------------------------------------------------------
Consulta "google server" en el HD160GB, tarda 451.33 sec y recupera 510 documentos.
         Redirecciono la bdd y reinicio mysq
Consulta "google server" en el RAID1, tarda 447.35 sec y recupera 510 documentos.
---------------------------------------------------------------------------------------------------------------

Copiando, salvando y Redireccionando la bdd:
Copio la BDD al RAID, la remobro para tener una copia de seguridad y redirecciono mysql a la bdd en el raid.

from HD160GB to RAID:
mv indexpdf02 zz-indexpdf02
ln -s /mnt/raid1/indexpdf02/ indexpdf02
service mysql restart

from RAID to HD160GB:
rm indexpdf02
mv zz-indexpdf02/ indexpdf02/
service mysql restart

De este modo puedo comprobar el rendimiento en el disco duro y en sistema raid de los USB.

Ver: http://misnotaslinux.blogspot.com.es/2010/01/bases-de-datos-mysql-distribuidas-en.html


Conclusiones:

- La configuración de un RAID por software en debian es muy sencilla.

- El limitante que he encontrado en este RAID por software ha sido el bus de comunicación de datos de los USB que al ser común constituye el cuello de botella de la transferencia de datos.

- El tiempo para rehacer el RAID es considerable. De modo que no hay que conectar y desconectar los USB o montar y desmontar el RAID ya que cada vez que lo hagamos tiene que rehacerse y esto lleva su tiempo.

- Pese a todo si he visto una mejora en el tiempo de acceso a los datos, de modo que puede ser una alternativa de apoyo en sistemas con escasos recursos y aliviar algo la carga a discos duros.


Ref.:

http://www.linuxhispano.net/2011/02/09/calcular-la-velocidad-del-disco-en-linux/
http://lamaquinadiferencial.wordpress.com/2009/02/22/raid-1-por-software-en-ubuntu-debian-discos-en-espejo/
http://www.sahw.com/wp/archivos/2007/03/04/como-montar-en-diez-comodos-pasos-un-raid-para-debian-gnulinux/
http://www.megalinux.com.ar/articulos:raid

Foremost para recuperar ficheros borrados en linux

Lo típico..., despues de horas de programación el script php no parece por ningún sitio. Especialmente ya que he metido la pata y remachacado el directorio donde estaba.

Para recuperar ficheros borrados en linux se puede usar la aplicacion foremost.

Foremost rastrea el disco duro en busca de achivos y los identifica mediante cadenas de datos hexadecimales propios del tipo de ficheros que estamos buscando.

Es posible configurar a foremeost para que busque los ficheros que contengan la cadena exadecimal que queramos.

Por ejemplo, en mi caso que he perdido un script en php que comenzaba con:

#!/usr/bin/php

configuraré a foremost para que encuentre los archivos que comiencen con estos caracteres, a ver si hay suerte.

1) Hay que pasar el texto a buscar a hexadecimal. Podemos usar xxd desde la consola de linux

echo "#!/usr/bin/php" | xxd
0000000: 2321 2f75 7372 2f62 696e 2f70 6870 0a    #!/usr/bin/php.

Quitamos el 0a que es el retorno de carro y ponemos \x

 \x23\x21\x2f\x75\x73\x72\x2f\x62\x69\x6e\x2f\x70\x68\x70

2) Vamos al fichero de configuracion de foremost en /etc/foremost.conf
y añadimos la linea:

php  y  100000   \x23\x21\x2f\x75\x73\x72\x2f\x62\x69\x6e\x2f\x70\x68\x70

3) Ejecutamos foremost que buscara los ficheros que contengan la cadena especificada y los ficheros encontrados los guardará en el directorio ./recuperados

# foremost  -i /dev/sda1 -o ./recuperados

4) Cafe, siesta o peli ... ya que esto puede tardar.

5) Y en el directorio tendremos todos los ficheros que ha encontrado en el disco duro indicado que tienen la cadena especificada. Muchos puede no ser válidos o estar corruptos; ... que es lo mas frecuente.

6) Para encontrar lo que buscamos podemos usar:

# cat * | grep -l textoabuscar

aunque como hay ficheros binarios este comano NO me ha funcionado.

7) Finalmente he hecho un pequeño bash-script que me soluciona el problema y que me dice los ficheros que tienen contienen el textoabuscar:

#!/bin/bash/

for file in $(ls); do

   if grep -q 'textoabuscar' $file

      then

      echo $file

   fi

done

exit 0

Ejecutar el bash-script en el directorio donde esten los archivos recuperados y os dirá los archivos que contienen el textoabuscar.

Y ahora solo queda abrir los archivos y ver si es el script que tanto tiempo habia costado programar y que se habia borrado por error.

En mi caso ha habido suerte !!!

Configurar una máquina virtual con IP fija en VirtualBox desde la consola Debian Linux

Todo esto lo he probado, y funciona!!, en un fitPC-1 AMD-geode con 512mb de RAM. Con Debian 6.0.5, sin modo gráfico.

Linux HowTo:

Instalamos VirtualBox
        # aptitude install virtualbox-ose

Esto instala el paquete de vistualbox, sus dependencias y genera los módulos necesarios de forma automática.
Tienen que estar la headers de nuestro kernelpara que genere los modulos necesarios.

Si el módulo no se ha cargado aparecerá este error:

 WARNING: The character device /dev/vboxdrv does not exist.
         Please install the virtualbox-ose-modules package for your kernel and
         load the module named vboxdrv into your system.
  You will not be able to start VMs until this problem is fixed.

Cargar los módulos:
          # modprobe vboxdrv
          # modprobe vboxnetflt


Creamos maquina virtual:
          # vboxmanage createvm -name newmachine -register

Creamos el disco duro:
          # vboxmanage createvdi -filename newmachine.vdi -size 8000 -register

Registramos el disco duro
          # VBoxManage registerimage disk newmachine.vdi -type normal

Para desregistrarlo: unregisterimage


Asociamos el disco duro a la máquina virtual:
          # vboxmanage  modifyvm  newmachine  --hda  newmachine .vdi --ostype debian


Sale un error que no encuetra el IDE Controler; sol:
          # vboxmanage storagectl newmachine --name "IDE Controller" --add ide
https://forums.virtualbox.org/viewtopic.php?f=2&t=25319

Ahora lo asocia bien.

Le asignamos la memoria correspondiente a la máquina virtual
          # vboxmanage  modifyvm  newmachine  --memory 224
ya que el server micra solo tiene 512mb!!
http://josemanuelruizbaena.blogspot.com.es/2008_11_01_archive.html

Activamos la red NAT:
          # VBoxManage modifyvm newmachine --nic1 nat --cableconnected1 on

Configuramos el puesto de escucha:
virtualbox_desde_consola:/# VBoxManage modifyvm newmachine -vrdpport 3389
!!!para esto hay que tener instalado el VirtualBox Extension Pack

Arrancar vm:
          # VBoxManage startvm newmachine -type headless

http://www.webspheretools.com/sites/webspheretools.nsf/docs/Virtual%20machine%20has%20terminated%20unexpectedly%20during%20startup

Parar maquina:
          #VBoxManage controlvm newmachine  poweroff

Reiniciar maquina:
          #VBoxManage controlvm  newmachine  reset



CONFIGURANDO LA RED DE VirtualBox con ips estáticas:


http://yordanisp.blog.com.es/2010/03/03/configuracion-de-red-con-ips-estaticas-en-virtualbox-8109492/

1) # aptitude install uml-utilities bridge-utils

2) el usuario debe pertencer al grupo uml-net
    # gpasswd -a usuario uml-net

3) Modificar /etc/network/interfaces para activar el interface a usar por la vm, tap0 y crear el bridge:

   auto lo
   iface lo inet loopback

   aqui el iface wlan0

   auto tap0

   iface tap0 inet manual
   up ifconfig $IFACE 0.0.0.0 up
   down ifconfig $IFACE down
   tunctl_user usuario

   auto br0
   iface br0 inet static
   address 192.168.1.2
   netmask 255.255.255.0
   gateway 192.168.1.254
   bridge_ports all tap0

4) Reiniciamos el network:
    # /etc/init.d/networking restart

5) Modificar la vm:
    # VBoxManage modifyvm newmachine --nic1 hostif --cableconnected1 on --hostonlyadapter1 tap0

Dentro de la máquina virtual configurar su tarjeta de red con la IP que se quiera.


Tutoriales:
Manual virtualbox: http://www.virtualbox.org/manual/
Script bridge para VirtualBox: http://www.improvisa.com/09-04-2008/bridge-automatico-para-virtual-box/
All about VirtualBox and debian: http://wiki.debian.org/VirtualBox
...and more:            http://www.trimentation.com/wp/?p=75
                                http://www.improvisa.com/02-03-2009/virtualbox-desde-consola/

Arreglar el MBR de un disco que no arranca, usando boot-repair

Una de las cuestions mas problemáticas y tediosas de solucionas es el manejo del mbr para el arranque de los sistemas opertivos.
En algunos casos es un auténtico suplicio el hacer que vuelva a arrancar el sistema con normalidad.

La solucion mejor es arrancar el ordenador desde un sistema live en un cd o mejor en un usb e intentar repara el sector de arranque del disco duro.

Una herramienta que me ha sido especilamente util es boot-repair

La he usado para repara el mbr de sistemas clonados a diferentes discos y en problemas con el arranque de origen desconocido.

Protocolo:

1) Arrancar el sistema desde un live USB, yo he usado xubuntu 12.04.
2) Tener acceso a internet.
3) Abrir una consola.
4) Ejecutar:

       sudo add-apt-repository ppa:yannubuntu/boot-repair && sudo apt-get update

       sudo apt-get install -y boot-repair && boot-repair

5) Reapara el MBR del disco :




6) Reboot desde el disco duro.

7) Cruzar todos los deditos.


Ref.:
http://sourceforge.net/p/boot-repair/home/Home/
https://help.ubuntu.com/community/Boot-Repair

Optimización de Hadware para grandes bases de datos MySQL

Una obsesión de los que trasteamos con grandes bases de datos es la alta accesibilidad, reducir el tiempo de busquedas, updates, inserts y la configuración óptima de hardware que optimize el rendimiento.

En www.pedeefes.com he encontrado varios documentos muy interesantes sobre este tema, que ademasme serviran para optimizar la base de datos de www.pedeefes.com que ya va por 220.000 documentos indexados con un índice de palabras con 120.000.000 de tuplas.

  http://www.percona.com/files/presentations/percona-live/london-2011/PLUK2011-linux-and-hw-optimizations-for-mysql.pdf

   

http://assets.en.oreilly.com/1/event/36/Choosing%20Hardware%20and%20Operating%20Systems%20for%20MySQL%20Presentation.pdf

http://domasmituzas.files.wordpress.com/2011/09/mysqluc2006-wikipedia-domas.pdf

Ref.:

www.pedeefes.com

búsqueda: raid mysql 

Montar discos NTFS con permisos de escritura

Un problema que ocurre es que los discos de windows NTFS los monta debian sin permisos de escritura.
Para montar estos discos NTFS con permisos de escritura lo podemos hacer:

Por ejemplo:
Disco a montar:               /dev/sda1
Directorio de montaje:    /mnt/ntfs

1)  Desmontar /dev/sda1
          # umount /dev/sda1

2) Instalar ntfs-3g 
          # aptitude install ntfs-3g

3) Montar del disco ntfs
          # mount -t ntfs-3g /dev/sda1  /mnt/ntfs

Y ya tenemos el disco NTFS /dev/sda1 montado en /mnt/ntfs con permisos de escritura.

http://www.taringa.net/posts/linux/1659083/Montar-NTFS-en-Debian-Linux.html
http://en.wikipedia.org/wiki/NTFS-3G

Clonar una discoduro a un archivo vdi compactado

Una alternativa a la hora de hacer una copia de seguridad de un sistemas que queremos dar de baja es hacer una máquina virtual, de este modo tendremos un caopia de seguridad opertaiva, que podremos ejecutar en cualquier máquiba con VirtualBox instalada.

Ademas podemos hacer que la copia se en un discoduro virtual .vdi comprimido y extensible para ahorranos gigas de espacio en blanco.

Linux Protocol:

1) Arrancamos desde la máquina a clonar.

2) Borramos todo lo que no necesitemos o no queramos conservar.


3) Instalamos zerofree
     # aptitude install zerofree


3) Seguimos liberando espacio del disco:
    # aptittude purge
    # aptitude clean


4) Remontamos el disco duro en modo read only
    # telinit 1
    # mount -n -o remount,ro /dev/[sda1] /


5) llenamos el espacio no usado con ceros
    # zerofree /dev/sda1

6) Iniciamos otro sistema Linux desde un live usb que tengamos acceso al disco a clonar


7) Clonamos el disco
    # dd if=/dev/sda of=/rutade backup/hd.img

8) Convertimos el fichero .img en .vdi
    # VBoxManage convertfromraw -format VDI hd.img hd.vdi

9) Compactamos el disco virtual .vdi
    # VBoxManage modifyhd hd.vdi --compact

Ya solo falta crear una máquina virtual con VirtualBoxManager y usar este disco virtual como soporte.

Ref.:
Reducir el tamaño de los discos de las máquinas virtuales (vdi vmdk)
Como clonar una máquina ejecutable en VirtualBox en un USB

Copia de bases de datos MySQL con scp

Cuando se quiere hacer una copia de una base de datos MySQL de un servidor a otro la forma mas sencilla es copiar el directorio de la base de datos que se encuentra en /var/lib/mysql/

En caso de querer enviar la bddacopiar a otra máquina en red se puede usar scp:

server1# scp -rC /var/lib/mysql/bdd_acopiar  root@server2:/var/lib/mysql/ 
server2# chown -R mysql:mysql /var/lib/mysql/bdd_acopiar                  
server2# /etc/init.d/mysql restart                                        


... y ya tenemos un clon de bbd_acopiar en server2.

La opción -C de scp comprime los datos antes de enviarlos y en la máquina receptora ya  aparece descomprimido. Esto es especialmente recomendable con conexiones lentas de internet y ya que las bases MySQL suelen tener unos niveles de compresión muy buenos lo que acelera la trasferencia.

Comparativa de Virtual Private Severs

Está de moda eso de tener algo en la nube. La mayoria de los que alardean de esto ya tenian gran arte de su información en la nube desde hace años, ...y ellos sin saberlo.

El caso es que tenía ganas de probar un Virtual Private Server (VPS) para ver como funcionaba y testearlo con una base de datos grande y el indexador de mi buscador de documentos pdf  - www.pedeefes.com.

He revisado las ofertas de los proveedores de cloud VPS mejor posicionados en Google, con las ofertas vigentes y su precio al mes IVA incluido.

Proveedor	PACK	RAM_gb	HD_gb	LimiteTranf	Oferta	Alta	EUROS/mes	Permanencia
1and1	L	0,5	20	ilimitado			23,59 €	12 meses
1and1	XL	1,0	40	ilimitado			35,39 €	12 meses
1and1	XXL	2,0	80	ilimitado			47,19 €	12 meses
gigas	nova	1,0	25	200gb	2 meses 0€	8 €	22,42 €	1 mes
gigas	pro	2,0	40	300GB	2 meses 0€	8 €	34,22 €	1 mes
gigas	elite	3,0	50	600GB	2m a 0€ de 12m		57,82 €	1 meses ?
webfusion	inicio	2,0	100	ilimitado	2m a 0€ de 12m		20,05 €	12 meses
webfusion	proyectos	3,0	150	ilimitado	1m a 0€ de 12m		35,39 €	3, 12meses
hostalia	base	1,0	25	1000GB	2m a 0€ de 12m		17,70 €	24 meses
hostalia	avanzado	2,0	50	1000GB			22,08 €	24 meses
strato	A	0,5/1	20	100GB		0	8,14 €	6 meses
strato	M	1/2	30	1000GB	6m a 8,14€/m	0	19,94 €	6 meses
strato	L	2/4	50	1000GB		0	31,74 €	6 meses
arsys	basico	0,25/1	10	100GB			34,22 €	6 meses

Nota bene: Estos precios son los inidicados en la web de los proveedores correspondientes en abril-2012, revisar la web de los proveedores ya que seguro que ya han cambiado !!!.

Hay ofertas interesantes con precios razonables, y sin largos compromisos de permanencia; ideal  para probar el servicio.

Me llama la atención la escasa de capacidad de disco duro de algunos proveedores.

He contratado uno para ver como funciona esto de los VPS.

La contratación y disponibilidad del VPS ha sido muy rápida e inmediata, una vez pagado el servicio. Hay varias alternativas de Sistemas Operativos, yo me he instalado Debian, por supuesto.

Tengo mi ip fija, 50Megas de velocidad de descarga y acceso ssh muy rápido; yuuuhu!!.

La disponibilidad del servico tecnico ha sido muy buena, por chat,email, incluso me llamó un humano por teléfono!!. Pero he de decir que al primer problema realmente técnico que tuve con el servidor, no me lo supieron resolver y tuve que buscarme la solución yo solito. Asi que es conveniente tener nociones de administración de sistemas o contratar un servidor administrado.

Lo peor de los VPS es que te acostumbras a ellos y no hay oferta ni capacidad de disco duro que 100 años dure. ;)))

Proceso completo para crear un usuario linux

Como crear un nuevo usuario en linux:
 
      Crear usuario newuser:
# useradd newuser
      Asignarle password:
# passwd newuser
      Crear su directorio:
# mkdir /home/newuser
      Copiar archivos de configuracion en su directorio, por ejemplo:

# cp .bashrc /home/newuser  
      Asignar el directorio al nuevo usuario:
# chmod -d /home/newuser
       Dar permisos y propiedad del directorio del newuser:
# chown newuser:newuser -R /home/newuser
# chmod 755 -R /home/newuser

       Asignar el bash para el newuser:
# nano /etc/paswwd ---> que la linea de newuser tenga /bin/bash


Bibliografia:
http://www.taringa.net/posts/linux/13352904/Crear-un-usuario-nuevo-y-todo-lo-que-ello-implica.html