Forum Linux.debian/ubuntu Dépot repository cache/miroir partiel local

Posté par  . Licence CC By‑SA.
Étiquettes :
5
30
déc.
2021

Bonjour,

J'ai un parc de machines sur des distributions dérivées de debian et d'ubuntu derrière une petite connexion ADSL. Quand je fait une installation ou mise à jour de certains paquets sur une machine, je trouve dommage d'avoir à re-télécharger pour d'autres machines.

J'ai un serveur local qui me sert pour tout un tas de truc et j'aimerais lui ajouter une fonction:
Mettre en place un cache / miroir partiel des différents dépôts repository utilisés par les machines pour les installations et mises à jour.

Alors oui je pourrais mettre en place un apt-mirror sur ce serveur. Mais ce qui m'embête c'est qu'avoir une copie de tous les packages dans toutes les versions n'a aucun intérêt.

Est-il possible de configurer apt-miror ou existe-t-il un logiciel qui permette de ne télécharger sur le serveur les paquets demandés seulement lorsque les machines le réclament?

  • Une première machine demande tel packet
  • Le serveur la récupère et la donne à la première machine
  • Lorsque la deuxième machine demande le même paquet le serveur l'a déjà et peut le fournir sans le re-télécharger

Bien-sûr il faut que les machines puissent savoir quels paquets ont été mis à jour même si le serveur ne les a pas encore. (apt-update avec sources différentes de apt-upgrade?)

Ce que je ne veux pas: Avoir à gérer manuellement quels paquets sont récupérés par le serveur, je ne le sais pas à l'avance j'aimerais que cela soit transparent via les demandes des machines.

Voilà j'espère ne pas avoir dit de bêtises ou raté un truc évident.

Voici où j'en suis dans mes recherches mais si vous avez des pistes solutions, je suis preneur :)

Edit:
Alors je viens de tomber sur apt-cacher (ou apt-cacher-ng je ne connais pas les différences) qui semble correspondre https://doc.ubuntu-fr.org/apt-cacher. Mais le premier avertissement pose problème: Il ne faut pas mélanger les versions de distribution. Hors j'ai du linux mint 18, 19, 20 du ubuntu du debian. Je voudrais éviter de mettre une conteneur pour chaque distribution (même si dans les faits pour chaque distribution le paquet devra sûrement être récupéré)

  • # apt-cacher-ng

    Posté par  . Évalué à 6. Dernière modification le 30 décembre 2021 à 23:17.

    Bonjour

    … le premier avertissement pose problème …

    Cet avertissement ne concerne pas apt-cacher-ng

    Voir : https://qastack.fr/ubuntu/492506/difference-between-apt-cacher-and-apt-cacher-ng

    J'avais beaucoup apprécié la simplicité d'installation, son interface de gestion (page web)
    et l'efficacité d'apt-cacher-ng quand j'étais connecté en ADSL.

    Je l'avais installé sur une machine qui tournait sous debian afin de pouvoir faire des installations et mises à jour très rapides de distributions debian et ubuntu de différentes versions.
    Je ne l'ai pas testé avec la distribution mint mais je ne pense pas qu'il y ait de problème particulier avec cette distribution.

    Tu devrais faire un essai, c'est très très vite installé, paramétré et testé.
    Je l'ai utilisé pendant environ 4 ans sans avoir jamais eu de problème.

    • [^] # Re: apt-cacher-ng

      Posté par  . Évalué à 2.

      Avec apt-cacher-ng, tu peux installer squid-deb-proxy-client sur les clients. Ça permet de détecter le serveur de cache, sans modifier la conf apt des machines.
      Vraiment pratique pour une machine qui n'est pas toujours sur le réseau du cache.

      • [^] # Re: apt-cacher-ng

        Posté par  . Évalué à 1. Dernière modification le 04 janvier 2022 à 21:22.

        Ok, chouette merci, ce paquet fonctionne même sans proxy squid du coup?

        Pour info ma configuration (en cours de définition) devrait ressembler à cela: https://i.imgur.com/lv2aWES.png
        Penses tu que cela soit nécessaire dans ce cas?

        J’envisage même de faire pointer le serveur debian qui héberge LXC et les conteneurs sur apt-cacher présent dans un de ses conteneurs. Possible?

      • [^] # Re: apt-cacher-ng

        Posté par  . Évalué à 1. Dernière modification le 04 janvier 2022 à 22:52.

        Bon je vient d'essayer:

        Sur le conteneur serveur:
        J'ai installé apt-cacher-ng,
        Dans le fichier config j'ai dé-commenté la ligne du port pour le changer en 9999
        J'ai activé apt-cacher-ng au redémarrage : systemctl enable apt-cacher-ng

        J'ai installé squid-deb-proxy-client
        Puis redémarré le conteneur

        Sur l'hote LXC:
        j'ai rooté le port 9999 vers le conteneur serveur

        Sur le premier conteneur client
        J'ai installé squid-deb-proxy-client
        Puis redémarré le conteneur

        J'ai lancé l'installation d'un paquet
        => Vitesse ADSL

        Sur le deuxieme conteneur client
        J'ai installé squid-deb-proxy-client
        Puis redémarré le conteneur

        J'ai lancé l'installation du même paquet
        => Toujours Vitesse ADSL :/

        J'ai dû rater quelque-chose, je vais lire un peu la doc.

    • [^] # Re: apt-cacher-ng

      Posté par  . Évalué à 1. Dernière modification le 04 janvier 2022 à 21:20.

      Super, merci pour ce retour
      Par curiosité pourquoi avoir arrêté? Grosse connexion fibre qui a remplacé l'ADSL?

  • # apt-mirror

    Posté par  . Évalué à 4. Dernière modification le 31 décembre 2021 à 09:39.

    si tu as de la place, tu installes apt-mirror (il me semble que c'est lui)

    tu configures la liste des depots que tu souhaites mettre en mirroir sur ton serveur comme tu configurerais les depots d'un systeme (debian, ubuntu et autres dérives)

    il te faut ensuite juste modifier les /etc/apt/sources.list des machines pour leur dire de venir chercher deb http://tonserveur/tonarbre distrib variant

    ou faire un dns menteur qui renvoie tout les depots précédemment configurés vers ton serveur

    ainsi ton serveur met à jour le depot à intervalle de temps T
    puis toutes tes machines se basent sur ce serveur pour faire leur mise à jour, sans meme repasser par internet

    • [^] # Re: apt-mirror

      Posté par  . Évalué à 2.

      Merci, mais l’inconvénient (pour mon cas) si je ne dis pas de bêtises, c'est qu'apt-miror fait une copie intégrale (ou alors nécessite une configuration manuelle pour choisir un par un les dépôts ce que je ne souhaite pas faire)

  • # approx

    Posté par  . Évalué à 7.

    J'utilise approx depuis une dizaine d'années pour ça et ça fonctionne bien.
    Pas grand chose à dire, c'est un proxy cache spécialisé dans les dépôts deb, configuration simple.
    Ça te fait un choix de plus :D

    • [^] # Re: approx

      Posté par  . Évalué à 2.

      Merci :)
      Je du coup je vais regarder les différences entre:
      apt-cacher-ng / approx / clue polipo

      (critère de choix, facilité de mise en place, activité du projet, efficacité)

  • # Commentaire supprimé

    Posté par  . Évalué à 4.

    Ce commentaire a été supprimé par l’équipe de modération.

    • [^] # Re: re: Dépot repository cache/miroir partiel local

      Posté par  . Évalué à 2.

      Merci :)
      Je du coup je vais regarder les différences entre:
      apt-cacher-ng / approx / clue polipo

      (critère de choix, facilité de mise en place, activité du projet, efficacité)

      Si je ne dis pas de bêtise polipo est un proxy en général, il ne fait pas seulement cache de dépôt?

      • [^] # Commentaire supprimé

        Posté par  . Évalué à 2.

        Ce commentaire a été supprimé par l’équipe de modération.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.