Journal cluster de serveurs web+mail

Posté par  (site web personnel, Mastodon) .
Étiquettes : aucune
0
10
mar.
2004
Cher mon ami mon journal,

mon sympathique employeur va devoir faire une offre pour un client. J'aimerai qu'on puisse proposer du libre pour chacun des softs proposés, mais je manque un peu d'expérience dans la mise en place de machines en parallèles. Donc, si quelqu'un peut me proposer des softs et/ou des articles traitant de soft et/ou de leur mise en place: je prends et j'offre une bière virtuelle :)

Le système devra faire office de:

- Serveurs de mail (SMTP / POP3 / IMAP) pour 10'000 [20'000] comptes (cluster, load balancing, round robin?)

- Passerelle Web pour les mails (je connais Ilohamail et IMP, mais il doit y en avoir d'autres, possiblement en accès direct sur les queue mail (pas pop3 ni imap)?)

- Détection des virus des mails entrants pour les 10'000 [20'000] comptes (ça, j'ai de la peine à trouver une solution viable et libre. Par contre, il existe des solutions non-libres mais fonctionnant sur linux)

- Les machines hébergeront des sites pour les 10'000 [20'000] comptes, avec les stats. Aucun problème là-dessus, mais il faudrait aussi une "Console de configuration pour gérer les utilisateurs, les comptes, les sites, les bases, etc" Et là, je n'en connais pas en libre: chaque hébergeur développant en général sa solution et la gardant pour lui. Mais peut-être y'en a-t-il qui en connaisse?

Voilà. Dans les faits, je pense pas qu'on pourra mettre un anti-virus sous linux, le client voudra probablement une solution windows pour ça, mais sur le reste on a de bonnes chances de placer du libre. Aussi, merci pour vos remarques, vos URLs et retours d'expériences.

Et bon appétit!
  • # Re: cluster de serveurs web+mail

    Posté par  (site web personnel) . Évalué à 1.

    Haute disponibilité : http://linux-ha.org/(...)
    Mail : Postfix, Qmail ou Sedmain
    Webmail : Squiredmail (pas sur de l'orthographe)
    Virus : Amavis sur serveur mail
    Gestion (partielle) : Webmin
    • [^] # Re: cluster de serveurs web+mail

      Posté par  . Évalué à 1.

      > Webmail : Squiredmail (pas sur de l'orthographe)
      Il s'agit plutot de squirrelmail à mon avis.
      Ca marche tres bien, mais ça demande de l'IMAP
    • [^] # Re: cluster de serveurs web+mail

      Posté par  . Évalué à 2.

      Mail : Postfix, Qmail ou Sedmain

      * postfix , ok qmail c est pas vraiment libre , sendmail : a eviter, sinon y aussi exim

      * webmail : y a aussi imp/horde

      sinon faut pas oublier le stockage/acces des mails en pop/imap , au vu du nombre de bal , cyrus s impose

      au niveau du loadbalancing/ha , tu peux utiliser perdition qui est une proxy imap/pop qui sait interroger du ldap ou du mysql

      pour le smtp , plusieurs mx avec un poid equivalent dans les DNS.

      pour la gestion des users , je saurais trop te conseiller de passer par un ldap
    • [^] # Re: cluster de serveurs web+mail

      Posté par  (site web personnel) . Évalué à 2.

      > Haute disponibilité : http://linux-ha.org/(...)

      Le dernier hors serie de GLMF sur la haute disponibilité est aussi une très bonne référence :
      http://www.linuxmag-france.org/produit.php?produit=163(...)
  • # Re: cluster de serveurs web+mail

    Posté par  . Évalué à 1.

    Détections des virus : clamav fonctionne correctement avec postfix

    Pour la gestion mail, le protocol SMTP inclus des fonctions de load balancing (déclarer plusieurs MX, si le premier (poids le plus fort) est indisponible, on utilise le second).

    Il faut juste que l'espace de stockage soit mutualisé entre les différents serveurs SMTP et IMAP (qui peuvent etre différents).

    Tu peux également utiliser le round-robin DNS pour indiquer aux clients d'utiliser tel ou tel serveur imap

    IMP est utilisé par free donc semble être pas mal.

    Voila ma petite contribution
    • [^] # Re: cluster de serveurs web+mail

      Posté par  . Évalué à 1.

      Pour la gestion mail, le protocol SMTP inclus des fonctions de load balancing (déclarer plusieurs MX, si le premier (poids le plus fort) est indisponible, on utilise le second).

      Il faut juste que l'espace de stockage soit mutualisé entre les différents serveurs SMTP et IMAP (qui peuvent etre différents).


      Non. si tu utilises des préférences différentes, c'est plutôt pour faire du backup de MX - et à ce moment là le MX de backup utilisera la résolution DNS pour envoyer les mails au MX ayant une préférence plus faible que la sienne.

      Si tu veux avoir 2 MX gérant tous les deux les mails en entrée, il est alors préférable de les mettre tous les deux avec la même préférence, et effectivement avec les espaces maildir mutualisés (à préférer au format mailbox si les users ont un grand nombre de mail).

      Donc pour résumer, si c'est pour avoir deux serveurs recevant et traitant les mails, il vaut mieux leur mettre la même préférence.
  • # Re: cluster de serveurs web+mail

    Posté par  . Évalué à 3.

    AlternC: http://www.alternc.org/(...)
    VHFFS: http://vhffs.org/wakka.php?wiki=PagePrincipale(...)
    ou alors contacter APINC.org pour leur GHS
  • # Re: cluster de serveurs web+mail

    Posté par  . Évalué à 1.


    Le système devra faire office de:

    - Serveurs de mail (SMTP / POP3 / IMAP) pour 10'000 [20'000] comptes (cluster, load balancing, round robin?)


    http://lea-linux.org/leapro/dispo.php3(...)
    http://www.amazon.com/exec/obidos/ASIN/0672321149/nozama-20/002-191(...)


    - Passerelle Web pour les mails (je connais Ilohamail et IMP, mais il doit y en avoir d'autres, possiblement en accès direct sur les queue mail (pas pop3 ni imap)?)


    Pourquoi pas imap ?


    - Détection des virus des mails entrants pour les 10'000 [20'000] comptes (ça, j'ai de la peine à trouver une solution viable et libre. Par contre, il existe des solutions non-libres mais fonctionnant sur linux)


    http://www.clamav.net/(...)


    - Les machines hébergeront des sites pour les 10'000 [20'000] comptes, avec les stats. Aucun problème là-dessus, mais il faudrait aussi une "Console de configuration pour gérer les utilisateurs, les comptes, les sites, les bases, etc" Et là, je n'en connais pas en libre: chaque hébergeur développant en général sa solution et la gardant pour lui. Mais peut-être y'en a-t-il qui en connaisse?


    http://replex.org/(...)
  • # Re: cluster de serveurs web+mail

    Posté par  (site web personnel) . Évalué à 1.

    je suis justement sur ce meme sujet...

    moi, j'avais pensé à utiliser comme webmail


    http://www.openwebmail.org(...)

    avec du postfix.

    je pense à utiliser openmosix pour gerer le cluster...
    openmosix fonctionne bien justement avec des logiciels fonctionnant sur des process multiples comme postfix et apache.


    voila voila...
    mes deux centimes...
    • [^] # Re: cluster de serveurs web+mail

      Posté par  . Évalué à 0.

      OpenMosix, c'est pas fait pour faire des fermes de calcul ?
      Or il ne me semble pas que faire du web et du mail demande énormément de calcul.

      OpenMosix n'est pas fait pour faire de la haute disponibilité mais pour avoir une puissance de calcul énorme. Si ton noeud maitre tombe... et ben il me semble que tout tombe ;-)

      Avec les solutions énoncées plus haut, n'importe quelle machine sait reprendre la main. Le hors-série linux mag sur la haute disponibilité est super bien fait et explique bien les différentes problématiques
    • [^] # Re: cluster de serveurs web+mail

      Posté par  (site web personnel) . Évalué à 1.

      openmosix fonctionne bien justement avec des logiciels fonctionnant sur des process multiples comme postfix et apache.

      OpenMosix ne fonctionne pas avec Apache (ne gère par la mémoire partagée), et il y a d'autres manières plus intelligentes de partager la charge de serveurs web qu'OpenMosix. Bon d'accord OpenMosix + MigSHM gère la mémoire partagée, mais justement, le patch MigSHM est instable et très mal codé. Et c'est pas la priorité en ce moment de vouloir avoir une mémoire partagée fiable dans OpenMosix.

      Quand a Postfix, c'est pareil, il n'y aucune raison de l'utiliser avec OpenMosix, tellement c'est facile de faire du partage de charge (et de la redondance en même temps) avec le protocole SMTP.
      Suffit d'avoir 1 machine avec les mails en Maildirs, tu mountes ca en NFS sur tous les serveurs qui seront déclarés en MX avec la même charge, et ca roule.
  • # Re: cluster de serveurs web+mail

    Posté par  (site web personnel) . Évalué à 1.

    "Petite" doc que j'ai fait :
    qui devrait repondre a quelques unes de tes interrogations :
    http://sylvestre.ledru.info/howto/howto_qmail_vpopmail.php(...)
    • [^] # Re: cluster de serveurs web+mail

      Posté par  (site web personnel) . Évalué à 1.

      Et pour le cluster, j'ai recu un email d'un gars tranquille. Pas du tout eu le temps de tester mais je pense que ca marchera sans trop de pb

      Hi Sylvestre,

      I didn't want to reply until I'd got it working and knew what needed to
      be done.

      I'm using LVS (http://www.linuxvirtualserver.org/(...)) to distribute the
      load between the two mail servers. The mail servers are using a shared
      NFS file system for /home/vpopmail /var/qmail/control /var/qmail/alias
      and /var/qmail/users.

      This works great for clustering all of the mail services - smtp, pop,
      webmail, and imap.

      The only problem is if the shared NFS server has a problem because
      obviously this is a single point of failure. Firstly it's a NAS so very
      reliable but just in case, I also sync the NFS directories every few
      minutes to local folders on the mail servers. This way if the NAS has a
      problem, I can redirect the mail servers to use a local store (one
      accessing the local store on the other mail server via NFS again). This
      isn't great because there is the potential for lost mails unless I stop
      qmail delivering mails, sync the NAS and then switch qmail to use the
      local store first. However the cluster was designed for failure of a
      mail server and not the NAS and this is just an extra level of
      redundancy in case the worst happens.

      Thanks,

      Matt.
      --
      Matthew Francis
  • # Re: cluster de serveurs web+mail

    Posté par  (site web personnel) . Évalué à 1.

    l hebergeur cooperatif www.ouvaton.org utilise comme interface vhffs ( voir lien dans un autre coment + haut

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.