Home Server: virtualización de almacenamiento, ¿qué elegir?

Estoy buscando soluciones de virtualización para almacenamiento y sistema operativo para un servidor doméstico . Una especie de nube privada donde gestiono el espacio de almacenamiento independientemente del VM.

Esta pregunta se centra en la gestión del almacenamiento. (Tengo otra pregunta relacionada con la VM / gestión de instancias de computación ).

Aquí mi entorno y deseos.

  • Servidor : HP Proliant MicroServer con 8 GB de RAM (AMD Turion dual core con tecnología AMD-V) con 1 disco de 250 GB y hasta 4 HDD (2 TB) para "datos"
  • Tipos de sistema operativo : sólo Linux (tal vez un * BSD VM en el futuro)
  • Las distribuciones de Linux no importan, estoy familiarizado con RHEL, Fedora, Suse, Ubuntu, pero cualquier otra recomendación estará bien
  • El disco duro 4 va a ser una matriz RAID de software, probablemente RAID 5.
  • Almacenamiento debe ser "virtualizado / cloudified":
    • Fácil de ampliar : si agrego un NAS en la red, puedo incluir la capacidad de espacio NAS dentro de este espacio de almacenamiento como un disco virtual. Esto puede ser un NAS, un disco duro externo u otro servidor.
    • Espacio de estilo FS o S3 de clúster o almacenamiento de bloques OpenStack ? Lo que es más fácil de administrar / mantener y fácil de integrar / conectar a VM / instancia de cálculo.

Yo preferiría libre (libre, como en un discurso libre) y herramientas de código abierto. Pero no tiene que ser libre como en una cerveza gratis.

Nota: las VMs que tengo la intención de ejecutar en la parte superior de este servidor son uno dedicado a la copia de seguridad, uno para un "owncloud / dropbox" -como el servicio y tal vez uno para el servidor de medios (hosting de vídeo y fotos). No estoy seguro si VMs tradicionales o instancia de cálculo son los más adecuados para esto.

EDIT 1, reorientando la cuestión

Como se entiende y después de algunas investigaciones propias, la virtualización de almacenamiento y el hipervisor de almacenamiento son tecnologías bastante nuevas con pocos proveedores de pila de software appart para soluciones de grado empresarial, que no se ajustan a mi presupuesto y necesidades de 1 persona.

Así que voy a ir más abajo a las soluciones de tierra, pero aquí está la nueva pregunta : ¿qué tecnologías de almacenamiento (mapeador de dispositivos, gestor de volúmenes lógicos, cluster FS, iSCSI, etc) para elegir un servidor doméstico con 4 bahías de disco, que podría Ser gastado con un NAS u otro tal servidor en el futuro?

  • Software RAID usando MD + LVM + iSCSI? (No estoy seguro si eso es incluso factible)
  • Software RAID usando MD + iSCSI?
  • Software RAID usando FS que lo soporta como ZFS o BTRFS?
  • Sistema de archivos de clúster GFS2 o OCFS2? ¿Encima de MD RAID?
  • Etc. (sugiere / aconseja)

EDIT 2, aprovisionamiento delgado

Parece que mi respuesta giraría alrededor de MD y LVM2 como tecnologías principales. Ambos soportes (experimental) thin provisionning para poder utilizar esta función una vez que es estable.
Tendría que ser informado de buenas herramientas de espacio de usuario para monitorear tales tecnologías y tal vez si hay algunas herramientas (basado en web) para configurar de forma remota el LVM (distinto de ssh).

¿Es el lvm "virtualsize" parte de la característica experimental de thin provisioning, o es algo que podría comenzar con la otra tecnología madura?

Nota 1: Puedo configurar los volúmenes MD y LVM en la línea de comandos, pero sería genial que el "mantenimiento" se pudiera hacer a través de GUIs de forma remota.

Nota 2: El almacenamiento se utilizaría para la copia de seguridad, así que no puedo usar tecnologías experimentales o incluso estabilizadas (como btrfs), quiero soluciones probadas. Sin embargo, si puedo actualizar a esta nuevas tecnologías cuando están maduros, que sería bueno!

EDIT 3, Linux LIO

No sé nada sobre iSCSI o Linux LIO . He visto que Synology, QNAP y otros proveedores de NAS han implementado este último en sus soluciones NAS. ¿Cómo puede esto ayudar a mi meta? ¿Hay algunas herramientas de administración que se aprovechan de frameworks / libraries como libStorageManagement o Targetd ? ¿Hay otras alternativas?

Por lo tanto, desea utilizar su HP Microserver como una solución de almacenamiento virtualizado para alojar a sus invitados VM. Recientemente he hecho una pregunta similar sobre serverfault pero más hacia el almacenamiento de virtualización dentro de la misma caja. En cierto modo, creo que estás en este camino (o al menos mirando por el camino).

En términos de OS / Hypervisor, te recomiendo que consultes VMWare ESXi 5.0. Puede instalarlo en una memoria USB que ahorra almacenamiento en disco para sus máquinas virtuales. Puede que no sea libre, pero es lo suficientemente libre para sus necesidades. También podría renunciar a la virtualización de su servidor de archivos y sólo ir directamente con un sistema operativo como la virtualización en sí mismo y no es la característica que desea, sino más bien la virtualización de almacenamiento / aprovisionamiento delgado es lo que usted está pidiendo.

Para su almacenamiento, en mi opinión ( sesgada ), digo utilizar ZFS. Nexenta, OpenIndiana o FreeBSD, pero ZFS es el camino a seguir. Con discos de 4x2TB y 8GB de RAM, ZFS sería un buen ajuste. Si utiliza una memoria USB para ESXi, podría sustituir el disco de sistema de 250 GB por un SSD para ZIL y L2ARC para acelerar aún más ZFS (si es necesario). Hay herramientas de línea de comandos que pueden ayudar a determinar si ZFS incluso necesita ZIL o L2ARC pero esa discusión es para otra publicación.

Usted también pidió la capacidad de añadir o más bien como usted pone el almacenaje de la extensión . No sé si ZFS es capaz de eso, pero en términos de almacenamiento, ZFS es el almacenamiento es actualizable y tal vez esa es la mejor (leer: más fácil) camino por recorrer. Tal vez alguien más puede hablar de esto o tal vez hay otro sistema de archivos más adecuado para esta característica, pero no estoy bien informado en este aspecto. Un pensamiento que viene a la mente es extender los discos directamente sobre el HP Microserver con un recinto externo como éste de Newegg. Puede crear fácilmente nuevos zpools dentro de ZFS y agregar los discos a esa agrupación o crear nuevos vdevs dentro de la antigua agrupación para ampliar esa agrupación más.

No estoy seguro acerca de la accesibilidad de la nube, aparte del uso de algunas reglas de firewall personalizadas. Tal vez otros usuarios tienen respuestas mejores o más detalladas para usted en ese sentido.

Puede configurar volúmenes ZFS como destinos iSCSI. Aquí hay una entrada en el blog de Oracle para Solaris, pero la idea es la misma. ISCSI es probablemente la manera más común y asequible (también gratis) de virtualizar el almacenamiento para VMs.

También recomiendo que en términos de RAID, RAID5 / 6 puede ganar un poco más de espacio de almacenamiento en el sacrificio de la velocidad y la simplicidad. He sido convertido de las formas de RAID de hardware tradicional (5 y 6) y estoy todo sobre los espejos. Puede ser un uso ineficiente del almacenamiento pero es mucho más fácil de arreglar y la velocidad compensa la diferencia. Este artículo básicamente me vendió en espejos en lugar de RAID 5 o 6 dentro de ZFS y probablemente fuera de ZFS también.

Lo bueno de ZFS es vdevs y striping. Para cada vdev que creas en un zpool, rayan por completo. Por lo tanto, si tuvieras que ir a la ruta ZFS, crearías dos discos duplicados (disco 0 y 1) como vdev, luego los otros dos discos (disco 2 y 3) como otro vdev, entonces ZFS listaría ambos vdevs Usted puede pensar en él como RAID 10 (o 1 + 0). Muy rápido y muy simple. Usted podría sufrir de un fallo de 2 discos (siempre y cuando cada disco no está en el mismo vdev) y usted estaría bien.

Espero que esto responda algunas de sus preguntas. Has dado algunos ejemplos parciales de tus casos de uso, pero ¿qué es exactamente lo que piensas hacer con este servidor de archivos? Tal vez con un poco más de información, otros pueden ofrecer mejores respuestas dirigidas.

Durante la descarga de FreeNAS, SourceForge me recomendó que mirara NAS4Free, OpenMediaVault y Openfiler. Todos los proyectos relacionados prometedores. Itś va a tomarme un rato para verificar todos estos productos … – Huygens Jul 9 en 19:02
Sí hay un montón de opciones por ahí, tienes razón, es probable que sólo necesita experimentar con ellos para determinar cuál se adapte mejor a sus necesidades. – jmreicha Jul 9 at 19:37

Sólo compruebe las características de los demás. Si no ofrecen ZFS como una opción de sistema de archivos a continuación, seguir adelante. Es así de simple.

FreeNAS ahora también está permitiendo lo que ellos llaman "Plugins" que son efectivamente VM's corriendo en la caja por lo que potencialmente podría agregar un servidor de impresión CUPS por ejemplo a su matriz de almacenamiento.

Hice el cambio a NAS4Free después de probarlo durante algún tiempo.

En NAS4Free obtengo mayores velocidades de las que podía obtener en FreeNAS 8.3 . También contiene algunas características agradables como encriptación que FreeNAS 8 carece. Y, una gran ventaja, NAS4Free ahora soporta Highly Available Storage (HAST)

    Intereting Posts