Installation de Ceph Jewel sous Debian Jessie

Ceph est un logiciel libre de stockage distribué, comme GlusterFS par exemple. Il permet de créer un espace de stockage unifié entre plusieurs serveurs qui utilisera les ressources de stockage de chacun de ceux‐ci. L’objectif du projet est de rendre l’espace de stockage sans aucun point de défaillance unique. Typiquement, l’espace de stockage doit survivre à la perte d’un serveur. Ceph est distribué sous licence LGPL v2.1.

Cette dépêche est un retour d’expérience sur son installation sous Debian.

Sommaire

• Introduction
• Prérequis
• Installation
• Les moniteurs (monitor)
  • Configuration initiale
    • /etc/ceph/ceph.conf
    • /etc/ceph/ceph.client.admin.keyring
    • /tmp/ceph.mon.keyring
  • Préparation des moniteurs
  • Démarrage des moniteurs
  • Obtenir le statut de la grappe de serveurs Ceph
• Le stockage (OSD)
  • Préparation du stockage
  • Démarrage du stockage
• Comment utiliser ma grappe de serveurs ?

Introduction

Actuellement, j’utilise GlusterFS et je souhaite évaluer Ceph pour mes prochains déploiements.

J’ai testé l’outil officiel de déploiement automatique de Ceph, nommé ceph-deploy. L’outil a pour objectif de simplifier au maximum l’installation et la maintenance d’une grappe de serveurs Ceph (cluster), toutefois il n’a pas fonctionné sur mes serveurs alors que j’avais bien suivi tous les prérequis. De mon point de vue, l’utilisation de cet outil ne permet pas de comprendre comment Ceph fonctionne, et laisse donc l’utilisateur bien seul en cas de problème. Des problèmes de sécurité sont aussi à prévoir, car son fonctionnement nécessite un accès SSH vers tous les serveurs de la grappe, avec un compte possédant un droit d’exécution de toutes les commandes avec sudo sans mot de passe. Bref, vos clefs SSH ont intérêt à être très bien protégées.

La documentation est rédigée avec des notes pour CentOS et RHEL, mais très peu pour Debian. Les différences sont principalement dans la gestion des services par le système d’initialisation (upstart, systemd, SysV…).

Afin de faciliter la découverte de Ceph à d’autres personnes sous Debian, j’ai décidé de partager mes notes techniques en seconde partie. Ces notes permettent de mettre en place RADOS. RADOS est composé de deux parties : les moniteurs (monitor) qui synchronisent les serveurs, et les unités de stockage (OSD). C’est le déploiement minimum pour faire fonctionner Ceph.

Prérequis

• 3 serveurs sous Debian Jessie, avec accès administrateur ;
• ssh-server et une authentification par clef publiques pour ne pas perdre son temps ;
• NTP, la communication des moniteurs entre eux nécessite une faible dérive du temps entre les serveurs ;
• hostname et /etc/hosts ; Ceph utilise les noms d’hôtes courts hostname -s, il est donc important que ces noms soient résolvables par un serveur DNS et/ou présents dans votre fichier /etc/hosts.

Installation

La version de Ceph utilisée est Jewel (10.2 LTS). Cette version de Ceph est sortie en avril 2016 et n’est donc pas dans les dépôts de Debian. Toutefois, Ceph propose des dépôts afin de faciliter l’installation.

$ wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
$ echo deb http://download.ceph.com/debian-jewel/ $(lsb_release -sc) main > /etc/apt/sources.list.d/ceph.list
$ apt-get update

L’installation du paquet ceph permet de récupérer tous les outils. En revanche, aucune configuration ne sera créée et aucun service ne sera démarré. Sur chaque serveur :

$ apt-get install ceph

Les moniteurs (monitor)

C’est la première étape obligatoire lors du déploiement d’une grappe de serveurs Ceph. Ils permettent de garder les serveurs synchronisés entre eux. Les moniteurs forment un quorum pour être sûr de ne pas être isolés, il est donc obligatoire d’en avoir un nombre impair.

Configuration initiale

Pour initialiser nos serveurs, nous avons besoin de trois fichiers présents sur chacun des serveur :

• /etc/ceph/ceph.conf ;
• /etc/ceph/ceph.client.admin.keyring ;
• /tmp/ceph.mon.keyring.

/etc/ceph/ceph.conf

[global]
fsid = 70036746-1cee-11e6-922f-0cc47ab35ede
public network = 10.10.0.0/24
cluster network = 10.10.0.0/24
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
mon_initial_members = srva, srvb, srvc
osd journal size = 1024
filestore xattr use omap = true
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 333
osd pool default pgp num = 333
osd crush chooseleaf type = 1 

[mon.srva]
host = srva
mon_addr = 10.10.0.1:6789

[mon.srvb]
host = srvb
mon_addr = 10.10.0.2:6789

[mon.srvc]
host = srvc
mon_addr = 10.10.0.3:6789

/etc/ceph/ceph.client.admin.keyring

On va créer une clef administrateur qui permettra de communiquer avec les moniteurs pour exécuter des commandes avec l’outil en ligne de commande ceph :

$ ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow'

$ cat /etc/ceph/ceph.client.admin.keyring

[client.admin]
key = ZWA/D6dqLS0ev2LbhEpQ5MDXih3DiUv0/k5WgQ==
auid = 0
caps mds = "allow"
caps mon = "allow *"
caps osd = "allow *"

/tmp/ceph.mon.keyring

On va créer une clef commune à tous les moniteurs de notre grappe de serveurs pour qu’ils puissent communiquer entre eux. Puis on ajoute notre clef administrateur dans le trousseau de clefs, afin de pouvoir communiquer avec un moniteur.

$ ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
$ ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

$ cat /tmp/ceph.mon.keyring

[mon.]
key = P0qAdtmkdvpCmwONXxRQNmXQrT2+wDymZMh8gQ==
caps mon = "allow *"

[client.admin]
key = ZWA/D6dqLS0ev2LbhEpQ5MDXih3DiUv0/k5WgQ==
auid = 0
caps mds = "allow"
caps mon = "allow *"
caps osd = "allow *"

Préparation des moniteurs

Cette étape consiste à créer un environnement neuf pour les moniteurs de notre grappe de serveurs Ceph. Cette opération doit être faite sur chacun des serveurs.

$ ceph-mon --mkfs -i $(hostname -s) --keyring /tmp/ceph.mon.keyring
$ touch /var/lib/ceph/mon/ceph-$(hostname -s)/done
$ chown -R ceph:ceph /var/lib/ceph
$ rm /tmp/ceph.mon.keyring

Démarrage des moniteurs

Le paquet Ceph fournit une cible systemd (target) qui permet de démarrer tous les services d’un coup. Cela permettra de redémarrer tous les services au prochain démarrage.

$ systemctl enable ceph.target
$ systemctl start ceph.target

On démarre le moniteur, l’opération doit être répétée sur chaque serveur.

$ systemctl enable ceph-mon@$(hostname -s)
$ systemctl start  ceph-mon@$(hostname -s)
$ systemctl status ceph-mon@$(hostname -s).service
● ceph-mon@srva.service - Ceph cluster monitor daemon
   Loaded: loaded (/lib/systemd/system/ceph-mon@.service; enabled)
   Active: active (running) since Fri 2016-05-20 23:08:05 CEST; 7min ago
 Main PID: 2836 (ceph-mon)
   CGroup: /system.slice/system-ceph\x2dmon.slice/ceph-mon@srva.service
           └─2836 /usr/bin/ceph-mon -f --cluster ceph --id srva --setuser ceph --setgroup ceph

Obtenir le statut de la grappe de serveurs Ceph

Il est possible d‘obtenir le statut de la grappe de serveurs Ceph, depuis n’importe quel des trois serveurs, et en tant que simple utilisateur.

$ ceph -s
    cluster 70036746-1cee-11e6-922f-0cc47ab35ede
     health HEALTH_ERR
            no osds
     monmap e1: 3 mons at {srva=10.10.0.1:6789/0,srvb=10.10.0.2:6789/0,srvc=10.10.0.3:6789/0}
            election epoch 6, quorum 0,1,2 srv03a,srv03b,srv03c
     osdmap e1: 0 osds: 0 up, 0 in
            flags sortbitwise
      pgmap v2: 64 pgs, 1 pools, 0 bytes data, 0 objects
            0 kB used, 0 kB / 0 kB avail
                  64 creating

On peut voir que notre grappe de serveurs est en mode « HEALTH_ERR ». C’est normal, car il ne possède encore aucune unité de stockage (OSD). Les unités de stockage peuvent être rajoutées seulement une fois que les moniteurs fonctionnent correctement.

La commande suivante permet d’obtenir le statut des moniteurs dans un format JSON :

$ ceph mon_status

{
    "name": "srvc",
    "rank": 2,
    "state": "peon",
    "election_epoch": 6,
    "quorum": [
        0,
        1,
        2
    ],
    "outside_quorum": [],
    "extra_probe_peers": [],
    "sync_provider": [],
    "monmap": {
        "epoch": 1,
        "fsid": "70036746-1cee-11e6-922f-0cc47ab35ede",
        "modified": "2016-05-20 23:08:04.854999",
        "created": "2016-05-20 23:08:04.854999",
        "mons": [
            {
                "rank": 0,
                "name": "srva",
                "addr": "10.10.0.1:6789/0"
            },
            {
                "rank": 1,
                "name": "srvb",
                "addr": "10.10.0.2:6789/0"
            },
            {
                "rank": 2,
                "name": "srvc",
                "addr": "10.10.0.3:6789/0"
            }
        ]
    }
}

La prochaine étape est de rajouter de l’espace de stockage à notre grappe de serveurs.

Le stockage (OSD)

La partie suivante explique comment ajouter une unité de stockage Ceph (OSD) à la grappe de serveurs. Elle doit donc être répétée autant de fois qu’il y a de serveurs à ajouter. Il est possible de faire fonctionner plusieurs osd sur le même serveur afin d’ajouter plusieurs disques durs.

Préparation du stockage

On génère un uuid pour identifier notre nouvelle instance d’un OSD. Puis, on demande à Ceph de nous attribuer un index pour cet OSD. Dans notre cas, l’index est 0, car c’est le premier OSD que l’on crée.

$ uuid
e367d468-1e80-11e6-9681-0cc47ab35ede
$ ceph osd create e367d468-1e80-11e6-9681-0cc47ab35ede
0

On crée le dossier qui servira de point de montage à notre partition, qui contient le numéro d’index de l’OSD :

$ mkdir /var/lib/ceph/osd/ceph-0

On monte notre partition, pensez à ajouter une ligne dans votre ficher fstab afin de le remonter automatiquement au prochain démarrage du serveur :

$ mount /dev/sda2 /var/lib/ceph/osd/ceph-0

On génère une clef dédiée à cet OSD.

$ ceph auth add osd.0 osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-0/keyring 
added key for osd.0

On ajoute notre serveur, puis notre OSD dans la crush map. Cela permet de décrire l’emplacement des données (datacenter, salle, couloir, baie, serveur), afin d’optimiser la réplication des données :

$ ceph --cluster ceph osd crush add-bucket srva host
added bucket srva type host to crush map

$ ceph osd crush move srva root=default
moved item id -1 name 'srva' to location {root=default} in crush map

$ ceph --cluster ceph osd crush add osd.0 1.0 host=srva
add item id 0 name 'osd.0' weight 1 at location {host=srva} to crush map

On s’assure que tous les fichiers que l’on vient de créer appartiennent bien à Ceph :

$ chown -R ceph:ceph /var/lib/ceph

Démarrage du stockage

$ systemctl enable ceph-osd@0.service
$ systemctl start  ceph-osd@0.service
$ systemctl status ceph-osd@0.service

On peut à nouveau utiliser la commande ceph pour nous afficher le statut de notre grappe de serveurs. La ligne contenant osdmap contient le nombre d’osd et leur statut :

$ ceph -s
cluster 70036746-1cee-11e6-922f-0cc47ab35ede
 health HEALTH_OK
 monmap e1: 3 mons at {srv03a=10.10.0.1:6789/0,srv03b=10.10.0.2:6789/0,srv03c=10.10.0.3:6789/0}
        election epoch 6, quorum 0,1,2 srva,srvb,srvc
 osdmap e22: 3 osds: 3 up, 3 in
        flags sortbitwise
  pgmap v51: 64 pgs, 1 pools, 0 bytes data, 0 objects
        3172 MB used, 568 GB / 571 GB avail
              64 active+clean

Comment utiliser ma grappe de serveurs ?

Il y a quatre possibilités et elle sont expliquées dans la documentation d’architecture de Ceph. Le schéma d’introduction en est un extrait. Chaque solution possède des avantages et des inconvénients, le choix dépendra de vos besoins.

Pour ma part, je vais sûrement mettre en place CEPH FS. Je vous ferai un autre retour d’expérience à cette occasion.

Merci, aux relecteurs.

Aller plus loin

• Site officiel de Ceph (270 clics)
• Liste des versions de Ceph (57 clics)
• Guide de déploiement manuel (91 clics)
• Un glossaire sur Ceph (42 clics)
• Architecture de Ceph (115 clics)
• Code source (65 clics)