Home / partage-acces-donnees

Le service de partage de fichiers

Sommaire

Introduction

Les données mises en jeu dans le cadre des différents use cases ai4industry sont accessibles au travers d'un service de partage de fichiers prenant en charge les protocoles SFTP et FTPS et exposant également une interface web sur l'URL https://ai4i-data.vaniila.ai/.

Ce service peut notamment être utilisé par les participants pour :

L'accès au service et aux données s'effectue à l'aide d'identifiants de connexion préalablement transmis par mail (si vous ne les avez pas reçus, merci de nous contacter à l'adresse ai4i-data@vaniila.ai).

Pour les apprenants, le nom d'utilisateur et le mot de passe à saisir sont, pour rappel, les mêmes que ceux utilisés pour se connecter à la plateforme Vaniila.

Les modalités de connexion au partage et d'accès aux données sont décrites dans les sections ci-dessous.

Répertoires partagés

Chaque compte permet d'accéder à un espace de stockage distant comportant :

1/ Un répertoire uc-data/, en lecture seule, contenant les données use case fournies par l'entreprise.

2/ Un répertoire shared/, accessible en lecture / écriture par l'ensemble des équipes travaillant sur le use case, et destiné à permette le partage de fichiers entre tous les acteurs concernés.

Ce répertoire partagé constituera également le lieu de dépôt de vos travaux (notebooks, code,résultats...) à la fin du workshop.

Etant donné que le répertoire shared/ est accessible par tous en lecture / écriture, veuillez être attentifs lorsque y déposerez / supprimerez des fichiers !

Modalités de connexion et d'accès aux données

Les instructions suivantes décrivent la configuration à adopter selon le protocole et l'outil utilisé pour l'accès aux données.

Accès en ligne de commande (avec GUI) via l'utilitaire termscp

Solution utilisable sur serveur ou station de travail Linux pour le transfert de fichiers individuels ou le contenu de répertoires.

Outil fournissant une interface graphique pour la navigation dans les répertoires distants et locaux, utilisable en contexte serveur ou sur les instances Vaniila.

Aperçu général de l'interface termscp

Pour plus d'informations sur cette nouvelle option, veuillez consulter notre page de documentation dédiée.

Accès en ligne de commande via l'utilitaire sftp

Solution utilisable sur serveur ou station de travail Linux pour le rapatriement, sans synchronisation, de fichiers individuels ou le contenu de répertoires.

Outil classique SFTP, en ligne de commande, permettant l'échange de fichiers avec des serveurs distants.

Nécessite l'installation préalable de l'utilitaire sftp.

Sous Ubuntu :

sudo apt-get install sftp

On se connecte ensuite au partage de fichiers et on lance une session interactive en effectuant :

sftp -P  2022 <votre-nom-d-utilisateur>@ai4i-data.vaniila.ai

Pour plus d'informations sur l'utilisation de lftp, merci de vous référer à la documentation et aux tutoriels suivants :

Accès en ligne de commande via les utitaires sftp et rclone

Solution à privilégier pour l'accès aux données use case dans le contexte d'une instance Vaniila, d'un serveur ou d'une station de travail Linux, via le client sftp et conjointement avec l'utilitaire de synchronisation rclone.

Solution permettant de synchroniser le contenu de la source distante avec le contenu d'un répertoire local.

Les étapes de la mise en oeuvre de cette approche sont les suivantes :

1/ installation de sftp et rclone (exemple ici sous Ubuntu) :

sudo apt-get install sftp rclone

2/ création d'une entrée de configuration rclone, durant laquelle le nom d'utilisateur et le mot de passe doivent être saisis (à n'effectuer qu'une seule fois, consulter la sortie de la commande pour ressaisir les identifiants en cas d'erreur).

bash <(wget -qO- https://ai4i-tools.vaniila.ai/rclone-tools/create-ai4i-use-case-rclone-config.sh)

3/ recopie / synchronisation du contenu distant avec un répertoire local

rclone sync -v ai4i-uc-data:/uc-data/ /chemin/vers/repertoire/local/

Récupération des données use-case dans les instance Vaniila / notebooks

L'approche décrite précédemment est reproduite / implémentée dans un script bash.

A privigégier dans le contexte d'une utilisation sur le serveur de notebooks Vaniila !

Pour lancer la récupération des données use case et leur synchronisation avec le répertoire local /home/jovyan/work/uc-data/, il suffit d'effectuer :

/home/jovyan/work/get-sync-use-case-data.sh

Autres approches / modalités d'accès

Rappel : attention à ne pas confondre les protocoles SFTP et FTPS !!!

Accès web (station de travail avec interface graphique uniquement)

Solution nécessitant l'utilisation d'un navigateur web du type Firefox ou Chrome.

Permet le téléchargement de fichiers individuels ou d'ensemble de fichiers via une archive zip.

Permet le téléversement de fichiers, répertoires (attention, uniquement sur un seul niveau d'arborescence !) ou d'archives zip.

Aperçu de l'interface web

Accès SFTP via Filezilla (station de travail avec interface graphique uniquement)

Solution nécessitant l'utilisation du client Filezilla.

Configuration à spécifier :

Ecran de configuration Filezilla / SFTP

Nécessite d'accepter la clé SSH à la première connexion.

Accès FTPS via Filezilla (station de travail avec interface graphique uniquement)

Utilisable uniquement sur une station de avec interface graphique, car nécessitant l'utilisation du client Filezilla.

Configuration à spécifier :

Ecran de configuration Filezilla / FTPS

Accepter le certificat TLS proposé à la première connexion.

Accès FTPS en ligne de commande via l'utilitaire lftp

Solution utilisable sur un serveur ou une station de travail Linux, pour le rapatriement, sans synchronisation, de fichiers individuels ou le contenu de répertoires.

Outil classique FTP, en ligne de commande, permettant l'échange de fichiers avec des serveurs distants.

A adopter si le contexte local ne permet pas l'utilisation de l'utilitaire sftp comme décrit plus haut.

Nécessite l'installation préalable de l'utilitaire lftp.

Sous Ubuntu :

sudo apt-get install lftp

On se connecte ensuite au partage de fichiers et on lance une session interactive en effectuant :

`lftp -p 2021 -e "set ssl:verify-certificate false" -u <votre-nom-d-utilisateur>,'<votre-mot-de-passe>' ai4i-data.vaniila.ai`

Pour plus d'informations sur l'utilisation de lftp, merci de vous référer à la documentation et aux tutoriels suivants :

Montage SSHFS

Solution utilisable sur un serveur ou une station de travail Linux, et permettant de monter, dans sur un répertoire local, le partage distant via le système de fichiers sshfs.

Exemple de montage dans le répertoire local ./mount/ :

sshfs -o reconnect -p 2022 <votre-nom-d-utilisateur>@ai4i-data.vaniila.ai:/ ./mount/

Commande pour effectuer le démontage :

fusermount -u ./mount/