Gestion des données

DPM

La part la plus importante du stockage de la plateforme est disponible à travers le service DPM et différents protocoles (HTTP, SRM, XRootD).

Le système de stockage DPM (Disk Pool Manager) est composé d'un serveur de tête et d'un ensemble de serveurs de fichiers. Le serveur de tête centralise les requêtes d'accès aux fichiers. Les serveurs de fichiers stockent physiquement les fichiers. L'accès aux fichiers s'effectue en interrogeant le serveur de tête à l'aide des commandes détaillées dans ce document.

L'accès aux données est contrôlé par certificat. Il est donc nécessaire de posséder un proxy valide lors de l'utilisation de ce type de stockage.

iRODS

Une autre part du stockage est accessible à travers le logiciel iRODS. iRODS est un système de stockage évolué, disposant de fonctionnalités avancées permettant d'implémenter des plans de gestion de données. Une documentation dédiée est disponible pour ce service.

Généralités

L'URL suivante est utilisée pour l'ensemble de cette section. Elle sera abrégée en ${SRM} :

$ export SRM="srm://sbgse1.in2p3.fr:8446/dpm/in2p3.fr/home/vo.grand-est.fr"

Installation du client

Actuellement, les paquets ne sont disponibles que pour la distribution RedHat et ses dérivés. Les paquets sont disponibles dans le dépôt EPEL. Une fois ce dépôt disponible sur votre système, les outils gfal2 et dpm peuvent être rapidement installés avec :

$ yum install gfal2-util gfal2-all dpm

Lecture du contenu d'un répertoire

La commande gfal-ls permet de lister le contenu d'un répertoire. Le résultat de cette commande est similaire à celui de la commande ls. Dans l'exemple ci-dessous, remplacez :

$ gfal-ls ${SRM}
EOST
LIMH
LIVE
UMR7200

$ gfal-ls -l ${SRM}
drwxrwx---   1 48    50            0 Feb  6  2014 EOST
drwxrwx---   1 53    52            0 Feb  1  2013 LIMH
drwxrwx---   1 48    51            0 Apr  4  2015 LIVE
drwxrwx---   1 48    54            0 Mar 31  2011 UMR7200

Création d'un répertoire

La commande gfal-mkdir permet de créer un répertoire :

$ gfal-mkdir ${SRM}/lab/user/data

Copie d'un fichier

La commande gfal-copy permet de copier des données depuis ou vers un serveur DPM :

$ gfal-copy file://${PWD}/my_dataset.tar.gz ${SRM}/lab/user/data/my_dataset.tar.gz
Copying file://${PWD}/my_dataset.tar.gz   [DONE]  after 2s

Vérification des droits d'un fichier

La commande dpns-getacl permet d'obtenir les permissions d'accès à un fichier ou à un dossier. Le chemin du fichier utilisé par cette commande est raccourci par rapport à la variable ${SRM}, mais il faut au préalable exporter la variable d'environnement DPNS_HOST :

$ export DPNS_HOST=sbgse1.in2p3.fr
$ dpns-getacl /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz
# file: /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz
# owner: /O=GRID-FR/C=FR/O=CNRS/OU=LAB/CN=USER
# group: vo.grand-est.fr
user::rw-
group::rw-           #effective:rw-
other::r--

Modification des droits d'un fichier

La commande dpns-setactl permet de modifier les permissions d'accès à un fichier ou à un répertoire. Par défaut, les fichiers créés dans un répertoire héritent des permissions de ce répertoire. La commande suivante permet d'empêcher la consultation (lecture et écriture) à tout le monde, sauf au propriétaire et au groupe du fichier :

$ dpns-setacl -s u::6,g::4,o::0 /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz

$ dpns-getactl /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz
# file: /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz
# owner: /O=GRID-FR/C=FR/O=CNRS/OU=LAB/CN=USER
# group: vo.france-grilles.fr
user::rw-
group::r--           #effective:r--
other::---

Suppression d'un fichier

La commande gfal-rm permet de supprimer un fichier sur le serveur DPM :

$ gfal-rm ${SRM}/lab/user/data/my_dataset.tar.gz

Suppression d'un répertoire

La commande gfal-rm -r permet de supprimer un répertoire (et son contenu) :

$ gfal-rm -r ${SRM}/lab/user/data