QNAP : un DAS pour S3

Garage sur un stockage DAS

Sun, 05 Jan 2025 11:20:30 +0200
# garage   # materiel   # auto-hebergement   # S3   # raspberrypi  

---

Introduction

J’ai déjà parlé l’année dernière de Garage la solution libre de Deuxfleurs qui me permet de faire des sauvegardes S3 en local avec Restic.
Le soucis est que dans cette configuration Garage utilisait les 2 disques pour stocker les données, mais en cas de défaillances matériel d’un disque les données seraient perdues. Comme il s’agit de sauvegarde j’ai décidé d’investir afin de les sécuriser dans une solution matérielle en RAID 1 : toutes les données d’un disque sont répliquées sur l’autre.
Solution matérielle car je n’avais pas envie de configurer de manière logiciel le RAID 1, même si Linux peut le faire, et à mon sens le matériel est bien plus efficace.
D’emblée j’ai mis de côté les solutions NAS. D’une part je n’ai pas confiance à l’OS de produits type Sinology qui font régulièrement l’objet de failles et je souhaite maitriser toute la stack logiciel.

En creusant j’ai trouvé la solution qui me convient exactement : les DAS (Direct Attached Storage). Le DAS se branche directement sur son PC en USB, il n’y a pas besoin de driver spécifique les disques sont directement vu par l’OS.

Après quelques recherches j’ai trouvé un DAS abordable, le QNAP TR-002 autour de 150€. Il utilise 2 disques (SSD ou HDD) ce qui me suffit, la version TR-004 en utilise 4 (et peut donc gérer le RAID 5).

QNAP TR-002

Il propose différentes configuration RAID que l’on choisi via un commutateur situé à l’arrière. Les modes RAID 1 et RAID 0 (et JBOD plus pour moins équivalent) et les modes individuel et contrôle logiciel.
Évidement pour gérer le stockage de sauvegarde le mode RAID 1 est indispensable. Si c’est pour un autre usage, des données que vous pouvez restaurer par un autre moyen par exemple le stockage de vos jeux Steam, alors les modes RAID 0 ou JBOD vous permettront d’exploiter la totalité de l’espace de vos disques.

Pour les disques j’ai acheté 2 HDD de 4 To (bien moins cher que des SSD) de différentes marque :

• Western Digital WD Red Plus 4 To 256 Mo
• Seagate IronWolf 4 To (ST4000VN006)

Raspberrypi 4

L’objectif est d’avoir un serveur S3 pour tout mon réseau local et de pouvoir lancer des backup dans la nuit par exemple. Pour cela j’ai recyclé un Raspberrypi 4 que j’ai installé avec une Manjaro ARM Minimal. Une Archlinux ARM aurait pu aussi faire le travail. Dans tous les cas il faut un Linux 64 bits.

Les disques du DAS sont accessible via /dev/sda et vus comme un seul grâce à la configuration en RAID 1.

lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda           8:0    0   3,6T  0 disk /opt
mmcblk0     179:0    0 119,1G  0 disk 
├─mmcblk0p1 179:1    0 457,8M  0 part /boot
└─mmcblk0p2 179:2    0 118,6G  0 part /
zram0       253:0    0   5,6G  0 disk [SWAP]

Il suffit ensuite de formater ce disque

sudo mkfs.ext4 -m 0 /dev/sda

récupérer son uuid

blkid /dev/sda
/dev/sda: UUID="11b3e6e2-299b-45af-ad81-519eeaadf751" BLOCK_SIZE="4096" TYPE="ext4"

et l’ajouter à la fin du fichier fstab

/etc/fstab

...

UUID=11b3e6e2-299b-45af-ad81-519eeaadf751	/opt	ext4	defaults	0 0

Ensuite on peut monter le DAS dans le répertoire /opt que l’on a créé

sudo mount /opt

Dans /opt j’ai créé un répertoire pour Garage, /opt/garage/, ce qui me permet d’utiliser /opt pour d’autres données comme des volumes Docker.

Garage est accessible via le dépôt AUR avec yay : yay -S garage

Et voici sa configuration

/etc/garage.toml

metadata_dir = "/opt/garage/meta"
data_dir = "/opt/garage/qnap"
db_engine = "lmdb"

replication_factor = 1

rpc_bind_addr = "[::]:3901"
rpc_public_addr = "IP_LOCAL_RASP:3901"
rpc_secret = "TOKEN"

[s3_api]
s3_region = "garage"
api_bind_addr = "[::]:3900"
root_domain = ".s3.garage.localhost"

[s3_web]
bind_addr = "[::]:3902"
root_domain = ".web.garage.localhost"
index = "index.html"

[k2v_api]
api_bind_addr = "[::]:3904"

[admin]
api_bind_addr = "[::]:3093"
admin_token = "TOKEN"
metrics_token = "TOKEN"

Pour le reste, la configuration des Buckets et Restic, se référer à l’article sur Garage.
Mon Raspberrypi 4 avec 4Go de RAM fait largement le boulot, cependant un autre matériel avec un port USB-C pourrait augmenter le débit avec le DAS.

Conclusion

Le QNAP est plutôt silencieux malgré les ventilateurs sauf quand j’ai voulu tester l’extraction à chaud d’un disque 😆
Évidemment un intêret du RAID 1 est de pouvoir extraire un disque à chaud ! (en cas de défaillance matérielle). Dans ce cas le boitier bip un moment, puis l’insertion d’un nouveau disque (ou du même) peut générer un peu plus de bruit ventilateur pendant la reconstruction du RAID qui va durer plusieurs heures.
Pendant ce temps le DAS est bien sûr utilisable en écriture avec un seul disque et pendant la reconstuction.

A noter que Garage peut fonctionner en cluster, ainsi si vous avez les moyens d’investir dans 2 autres DAS il pourra répliquer les données entre les différents noeuds. Cela peut être intéressant d’avoir des noeuds répartis géographiquement (reliés par Tailscale par exemple). Par contre Garage se basera sur l’espace du plus petit noeud pour gérer la taille du cluster, donc il vaut mieux des noeuds de taille identique.

S3 est de plus en plus une solution de stockage pour d’autres type de logiciels, par exemple Peertube gère le remote-storage S3 ou Nextcloud. C’est devenu un standard et on a de la chance d’avoir des solutions libres compatibles comme Garage et Minio et des fournisseurs Européens autre que Amazon.

A savoir que QNAP propose des logiciels (que je n’ai pas testé) pour le gérer, pour Windows Mac et Ubuntu : Utilitaires QNAP.

(Ce texte a été écrit avec VNote)