Configuración de un servidor doméstico – ¿qué utilizar? (ZFS vs btrfs, BSD vs Linux, misc otros requisitos)

Tengo que obtener todo nuestro contenido en el hogar de las máquinas individuales y en un servidor central. Lo que me gustaría tener es el metafórico "servidor bajo las escaleras".

Cosas que necesitamos:

  • Almacenamiento ampliable. Quiero ser capaz de añadir disco extra a medida que avanzamos, con un mantenimiento mínimo requerido. Actualmente tenemos alrededor de 3Tb de archivos que necesitamos alojar, y es probable que crezca otro Tb cada 6-12 meses basado en la historia reciente. Necesito poder agregar discos adicionales con un mínimo de dolor
  • Necesita almacenar todos los medios (es decir, fotos, videos, música) que tenemos y ejecutar servicios para servir a los diferentes dispositivos que tenemos en la casa para reproducir (por ejemplo, DAAP para que podamos reproducir cosas a través de iTunes, ccxstream para que podamos jugar cosas más XBMC). DAAP y ccxstream son necesarios ahora, pero también necesitamos apoyar nuevas normas a medida que surgen (por lo que una solución de caja cerrada no va a funcionar)
  • RAID 5, o algo ampliamente equivalente (por ejemplo RAID-Z)
  • Cliente BitTorrent
  • Ssh, NFS, acceso a Samba
  • Snapshot (como en ZFS), por lo que podemos instantánea de los sistemas de archivos individuales con regularidad y revertir cuando mis hijos eliminar sus asignaciones de la escuela el día antes de su vencimiento …
  • Capacidad de recuperarse rápidamente de interrupciones de energía (no es inusual para nosotros tener interrupciones de energía que duran más tiempo que las baterías de nuestro UPS)
  • Software FOSS
  • Un moderno sistema distribuido de control de versiones que se ejecuta en la caja, como Mercurial

Cosas que me gustaría tener en el servidor, pero puede vivir sin:

  • PVR capacidad, por lo que podría grabar TV a la caja
  • Servidor web. En la actualidad, ejecutamos un pequeño servidor Web en una caja muy antigua, y me gustaría idealmente desactivar la antigua caja y mover el contenido al nuevo servidor sólo para ahorrar algo de electricidad
  • Nagios + mrtg

He estado buscando usar un EEE Box como el servidor, principalmente porque puedo conseguirlos baratos y no consumen mucha energía. La elección de sistema operativo y sistema de archivos es más difícil, por lo que he encontrado:

  • Tengo más experiencia con varias distros de Linux, pero estoy feliz de usar otro Unix
  • FreeBSD y OpenSolaris parecen ser las mejores opciones para alojar ZFS
  • El soporte de hardware de OpenSolaris no es tan bueno como por ejemplo Ubuntu
  • Btrfs, mientras que parece muy bueno, no parece listo para prime-time todavía
  • ZFS no le permite (fácilmente?) Agregar nuevos discos a un RAID5 o RAID-Z
  • Leyendo, parece que ZFS es un poco corto de herramientas para recuperar datos perdidos

Por el momento, me estoy inclinando hacia la ejecución de FreeNAS + ZFS, pero estoy preocupado por el requisito de poder agregar un nuevo disco sobre una base bastante regular a un RAID-Z existente.

¿Puede alguien proporcionar algunas recomendaciones, o compartir experiencias?

Gracias por adelantado

FreeBSD y OpenSolaris parecen ser las mejores opciones para alojar ZFS

Con OpenSolaris, ZFS suele ser versiones / características / correcciones de errores por delante.

El soporte de hardware de OpenSolaris no es tan bueno como por ejemplo Ubuntu

El soporte de hardware está mejorando mucho con las compilaciones recientes de OpenSolaris, pero siempre y cuando su hardware sea compatible con lo que realmente no debería importar.

ZFS no le permite (fácilmente?) Agregar nuevos discos a un RAID5 o RAID-Z

No puedes agregar un solo disco a un raidz pero puedes agregar otro raidz a la piscina donde está tu primer raidz. El único inconveniente es que necesita agregar varios discos al mismo tiempo.

Leyendo, parece que ZFS es un poco corto de herramientas para recuperar datos perdidos

El punto es que ZFS no pierde datos por diseño, por lo que las herramientas de recuperación son poco útiles, fuera de la auto-sanación construida en ellas.

Recientemente he construido un sistema que tiene algunas de las características mencionadas.

Está basado en un Atom Supermicro-System:
http://Www.supermicro.com/products/system/1U/5015/SYS-5015A-H.cfm?typ=H

Una tarjeta PCIe-SATA basada en 2-eSata-Port SIL3132
Como éste: http://www.cooldrives.com/2poespcrasai.html

Uno (2 se pueden conectar) Multiplicador de puerto SATA para 5 discos (Sil 3726)
Como éste: http://www.cooldrives.com/cosapomubrso.html

El sistema ejecuta FreeBSD 8.0 a partir de un pequeño disco SATA interno de 2,5 pulgadas y actualmente tiene 3 discos de 1 TB conectados al Portmultiplier.El sistema de archivos en los discos externos es ZFS.Una cosa importante es la siguiente línea en /boot/loader.conf
siis_load="YES"

También he corrido iozone en este sistema y no funciona mal para 3 ahorro de energía 5600rpm Unidades

También debe pensar en la corriente de inicio de los discos. He grabado Pin 11 (pinouts.ru/Power/sata-power_pinout.shtml) de los conectores de alimentación para que las unidades no giren simultáneamente.

Si no lo desea en un 19 "- Puede utilizar el segundo puerto PCIe en la placa para un segundo controlador con 2 puertos para 10 discos adicionales.

Algunos puntos de tu publicación:

  • La adición de discos al ZFS-Pool es realmente fácil
  • No transmito Media a Dispositivos, pero debería haber alguna pieza de Software en la colección Ports (www.freshports.org/audio/mt-daapd/)
  • El PVR-Part puede ser el más duro debido a hardwaresupport ( http://www.freshports.org/multimedia/mythtv )
  • http://Www.freshports.org/devel/mercurial/ -> Versión control
  • ZFS es corto de recoverytools porque realmente no los necesitan. Durante las pruebas he intentado corromper el sistema de archivos, pero no hay suerte con esto. Todos los derechos reservados

SMB, SSH, NFS, Webserver, Nagios, MRTG / Cactus, BT no son problemas reales

Buena suerte con su decisión y su copia de seguridad

No sé cómo ampliar la parte de RAID 5 cada pocos meses, pero aquí es lo que creo:

  • Usted no quiere una caja EEE simplemente porque no se puede empujar los discos duros en allí
  • Tal vez conseguir una caja de tamaño medio barato, AMD de núcleo simple de baja tensión y mobo a juego, una buena fuente de alimentación de 500W (use una calculadora de potencia en línea para averiguar la clasificación exacta que necesita) y un controlador RAID 5 PCI (E)
  • Ubuntu probablemente tendrá todos los codecs que necesitas pero FreeNAS suena bien también
  • Para la copia de seguridad de documentos, pruebe rdiff-backup en un ciclo nocturno de copia de seguridad (no hará snapshots, pero incremental puede ahorrar espacio)

Mi respuesta fue comprar un BBS2 e instalar Ubuntu, momento en el que pude hacer lo que quería en términos de software y servicios. La caja básica tiene espacio para 5 discos internos y si lo eligió un puerto eSATA al que puede conectar una unidad de almacenamiento externa con espacio para 5 discos más. Con capacidades de disco de hoy en día que hasta 20 TB de crudo (alrededor de 14 a 15 TB utilizable por el tiempo que toma RAID y los gastos generales del sistema de archivos en cuenta) de almacenamiento.

La capacidad de tomar instantáneas entonces depende de usar LVM2 , entonces usted querrá utilizar RAID de software sobre la parte superior, que soporta el crecimiento de la matriz.

Fui con FreeBSD, ZFS

Antec P183 caja, 400W Silverstone ST40EF PSU, ASRock A330ION ION Atom 330 mini ITX placa base, LSI SAS3081E 8 puertos sas / sata pci-e 8x tarjeta, 4GB ram

6 2TB WD unidades verdes, 5 unidad raidz, cuando está lleno, comprar otros 5 unidades (3 GB será lo suficientemente barato por entonces con suerte) Cuando está lleno, reemplazar las viejas unidades de 2 TB con unidades de 4 TB, repita hasta el almacenamiento holográfico.

7 ranuras para unidades de 3,5 ", 4 5,25" (tendrá que convertir a 3,5 "de alguna manera más tarde)

Es un poco lento a veces, fui para el átomo de baja potencia, pero zfs más otras cosas pueden necesitar más CPU.

La plataforma ION 2 es inútil, pero no suficientes carriles PCI-E

Pfiouu, usted quiere un servidor todo en la caja de hecho.

El punto que debe ser más difícil de decidir es el almacenamiento. Si está seguro de la cantidad de memoria del disco duro requerida cada año, podría hacer que el servidor en un PC clásico con 6 conector SATA y un controlador RAID sobre la placa base.

Si necesita más de 1 TB / año en más de los que ya tiene, debe ver más de las soluciones profesionales, pero es muy caro.

Mis 5 centavos:

Mire acerca de la deduplicación o cosa similar-a-magic para reducir la TB existente y para reducir el crecimiento de una TB cada 6-12 meses.

¿Cómo haría usted copia de seguridad de esta cantidad de tuberculosis para estar en el lado seguro si algo le duele su caja?

En mi opinión, usted está más seguro al almacenar sus datos a través de algunos PC en su LAN para eliminar a un punto de falla.