En gros il te faut deux indicateurs sur ton monitoring:
Le temps passé par chaque thread de traitement à bosser
La taille de la queue (nombre de message en attente)
Si le premier est faible (et que le second est toujours nul ou presque) => tu as moyen de réduire le nombre de worker
Si le second est élevé et que les workers sont très souvent tous actif => il faut essayer d'augmenter les worker ("essayer" car le travail des worker peut est bloqué par une autre contrainte qui limite tout le système)
Je pense que tu as mal lu le bench, je ne connais pas SQS qui est apparement un produit amazon
. I wasn’t able to reach the peak of its possibilities
– which would probably require more than 16 nodes in total.
But once your requirements get above 35k messages per second, …
dans tout les cas je ne pense pas qu'il soit très utile de se prendre la tête sur les performances du système de file de message, essaye plutot en priorité de calculer les taux d'usages de tes threads de traitements pour savoir si tu en a besoin d'autant ou de plus
Bah du coup ça va dépendre de l'API Rest "finale", si elle est synchrone (requête bloquante) et que le traitement est long la présence de plusieurs worker va permettre de paralléliser les traitements.
Il y a par contre une petite subtilité: si l'API Rest elle-même est mono-traitement avec un lock sur une ressource commune les multiples workers ne vont pas être très utiles.
Par contre si on se focalise sur la partie "Queue", ce sont des systèmes spécifiquement fait pour être consommé par plusieurs workers, c'est la tout le principe: on empile les tâches dans la file d'attente et dès qu'un worker est disponible il dépile une tâche et la traite, laissant les autres tâches prêtes à être affectées au prochain worker disponible.
comment déterminer le nombre optimal et les facteurs déterminants?
J'imagine qu'il y des considérations de latence du réseaux et du nombre de processeurs
C'est la partie compliquée, dans ton cas cela va dépendre de l'api est (distante ?) et des capacités de traitement qu'elle offre principalement.
Ca va dépendre aussi de ton nombre de réquêtes/messages à traiter (une queue avec 200 workers pour 2 messages / heures ce n'est pas très pertinent).
Dans le cas de worker faisant le travail en local ça va dépendre des ressources à disposition versus celles nécessaires pour le traitement.
La latence du réseau peut être un élement moteur en effet, je pense pas qu'il soit prioritaire mais l'augmentation des workers peut compenser la lenteur du réseau si le traitement est déporté comme dans ton cas.
Alors non il n'y a pas de script auto-magique capable de cela, par contre il existe des outils de monitoring et de supervision pour historiser les compteurs (collectd, monit (très bof), cacti, zabbix, …) .
L'enregistrement des logs est une question surprenante, par définition les logs sont enregistrés et archivés donc analyser les logs en fonction de la date est assez simple.
Pour finir je rappelle juste que le load average en soit n'est pas un indicateur suffisament pertinent de l'état de ton serveur, il faut l'utiliser en correlation avec des métriques plus adaptées (temps de réponse du service) ou comme dernière chance. Et un load average de 10 sur une machine à 16 core n'est pas une valeur si problèmatique que ça par exemple.
Je suis désolé mais je ne crois pas avoir déjà lu un tel gloubi-glouba incompréhensible …
Relis toi, fait un schema, essaye de comprendre ta configuration avant de poser la question parce que la c'est un mashup de termes réseaux sans aucun sens
On commence par ouvrir au maximum, et ensuite on referme un peu, cas d'usage typique: blacklister une ou plusieurs ip/network
Dans ton exemple il faudrait donc faire un truc comme ça:
Order Allow,Deny
Allow from all
Exclure toutes les IP de 149.202.0.0/16 "autour" de 149.202.99.99
Deny from 149.202.0.0/18
Deny from 149.202.64.0/19
Deny from 149.202.96.0/23
Deny from 149.202.98.0/24
Deny from 149.202.99.0/26
Deny from 149.202.99.64/27
Deny from 149.202.99.96
Deny from 149.202.99.97
Deny from 149.202.99.100/30
Deny from 149.202.99.104/29
Deny from 149.202.99.112/28
Deny from 149.202.100.0/22
Deny from 149.202.104.0/21
Deny from 149.202.112.0/20
Deny from 149.202.128.0/17
Deny,Allow
La on part en général d'une porte fermée pour laquelle on veut entre-ouvrir quelques adresses.
Dans ton exemple:
Order Deny,Allow
Deny from 149.202.0.0/16
Allow from 149.202.99.99
Le order allow,deny n'est pas le problème ici, c'est la compréhension du fonctionnement.
Order Deny, Allow
deny from demi-range OVH #avant l'IP que tu veux autoriser
deny from demi-range OVH # apres l'IP que tu veux autoriser
allow from all # autoriser le reste du monde
Cette solution ne marchera pas mieux:
Toutes les directives Deny sont évaluées en premier ; si l'une au moins convient, le requête est rejetée, sauf si une directive Allow convient aussi. Enfin, toute requête à laquelle ne convient aucune directive Allow ou Deny aura l'autorisation d'accès par défaut.
Donc en gros le deny,allow avec un "allow all" est l'équivalent d'une porte grande ouverte.
Order Allow,Deny
Allow from IP-specifique qui doit y acceder
Deny from all
Meme motif, punition inverse:
Toutes les directives Allow sont évaluées en premier ; l'une d'elles au moins doit convenir, faute de quoi la requête sera rejetée. Vient ensuite le tour des directives Deny. Si l'une au moins convient, le requête est rejetée.
=> du coup la c'est une porte fermée pour tout le monde
Je sais bien que ce n'est pas le sujet mais entre les fautes d'orthographes et les constructions de phrases il est très difficile de te lire et de comprendre ton message …
Il manque beaucoup d'information dans ton message, notamment les détails sur ta distribution linux et les versions des logiciels en question.
NB: "keyring" n'est pas un logiciel dans ce contexte, c'est un terme générique signifiant "trousseau de clef", normalement en effet gnome-keyring est le demon en charge de la fourniture d'un trousseau sécurisé sous gnome.
Il y a plusieurs pistes ici, il semble probable que ton trousseau ne se déverouille pas/plus a la connection, empechant l'enregistrement des mots de passes
Que ce passe t'il exactement quand tu tente d'envoyer un email a une adresse "inconnue" ?
pour la configuration, firefox et thunderbird utilisent une configuration en texte brute, sous forme d'un fichier javascript, "locate prefs.js" devrait te donner l'emplacement du fichier de configuration sur ta machine, attention c'est le meme nom pour firefox.
Sinon l'editeur est dans Edition > Préférences > Avancé > Général
Mais ce que j'arrive pas comprendre c'est pourquoi postfix ne traite pas le fichier header_checks (alors qu'en testant avec
postman c'est pile poil ce dont j'ai besoin).
postmap ne fait que tester une map, il ne permet pas de determiner si postfix comprendra son resultat au moment ou cette map sera utilisée.
Il y a quelques warnings sur (smtp_)header_checks et REDIRECT qui parlent de l'impossibilité d'utiliser REDIRECT lors des checks smtp:
This feature is not supported with smtp header/body checks.
mais dans le même temps de nombreux exemples existent de REDIRECT basé sur des sujets, from,…
J'avais vu le lien que tu as mis, mais ca me semble être plutôt pour marcher dans l'autre sens, en réception.
c'est possible dans l'exemple, mais pour postfix la reception ou l'emission c'est peut ou prou la même chose à ce niveau.
Je suis sidéré de ne rien trouver sur le net, ça m'avait semblé plutôt trivial comme besoin au départ …
Hum trivial faut pas exagerer non plus ;)
Et il y a max d'exemple sur le net d'ailleurs de header_checks+REDIRECT
D'ailleurs, n'aurait tu pas un "receive_override_options=no_header_body_checks" qui trainerait quelque part dans ta configuration (main/master) ? Il est dangereux de ne fournir qu'un extrait de config, surtout avec postfix
Vu l'usage le reverse d'apache suffira effectivement, après tu peut aussi vu le cas d'usage utiliser/monter un service de vpn pour le serveur mais aussi pour les clients configuré pour former un vrai reseau virtuel entre tout ce monde et pas un fonctionnement en isolation.
ça t'éviterai le proxy, rajoute une sécurité pour l'accès au service (vu qu'il y a une notion d'embarqué c'est rarement un truc qu'on laisse ouvert a tout les vent) et peut-être même te permet
trait d'utiliser un service VPN générique, bien que pour ça je ne fasse que suposer.
Hum, si tu as moyen d'avoir un serveur dédié 'en relais', pk ne pas mettre le site web en question diretement sur le dédié ?
(je sais que ça ne répond pas à la question, mais les avantages en terme de débit, stabilité et latence sont quand même non négligeable…)
Sinon oui, il va te falloir un vpn, initié par le serveur derrière le modem 4G, et un haproxy ou équivalent (apache, nginx) sur le dédié pour proxifier les flux.
Tu peut aussi jouer avec du nat mais vu l'interco je passerais plus par un proxy.
Sur notre ancien SAN/NAS a 56 HDD (Fiber Channel, 15k) on changeait 3 a 4 disques par ans, sur le nouveau avec ses 20 SSD (800Go) aucune erreur détecté pour le moment après 1 an de service donc tout les experiences existent.
Je ne sais pas combien de serveurs tu as mais pour avis un avis "fiable" il va falloir des études sur des grands nombres (dizaines de milliers de disques) sur les deux types medias je pense. Un truc que google, amazon ou autre nous sortira un de ces quatres.
bref j'ai l'impression qu'un bon vieux disque dur était soit en panne soit en fonctionnement mais pas entre les deux
Euh, d'experience le HDD en partiellement vrac avec secteurs defectueux ça réagissait pas mieux que ce que tu raconte. C'est un problème qui à toujours existé, avec tout les stockages.
J'ai des mauvais souvenirs des disques "raptors" qui une fois utilisés ne supportent pas un arrêt de trop longue durée (6 mois dans une armoire, sans bouger => secteurs illisibles aleatoires sur tout le disque)
# rename
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message 1 ligne de shell pour les changer tous. Évalué à 7.
Le listing est completement illisible, mais je ne prend pas trop de risque avec la solution:
sous debian "rename" est fourni dans les paquets "perl" et "rename"
[^] # Re: Temps de traitement
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Nombre de Consommateurs par queue. Évalué à 1.
En gros il te faut deux indicateurs sur ton monitoring:
Le temps passé par chaque thread de traitement à bosser
La taille de la queue (nombre de message en attente)
Si le premier est faible (et que le second est toujours nul ou presque) => tu as moyen de réduire le nombre de worker
Si le second est élevé et que les workers sont très souvent tous actif => il faut essayer d'augmenter les worker ("essayer" car le travail des worker peut est bloqué par une autre contrainte qui limite tout le système)
[^] # Re: Temps de traitement
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Nombre de Consommateurs par queue. Évalué à 1.
Je pense que tu as mal lu le bench, je ne connais pas SQS qui est apparement un produit amazon
dans tout les cas je ne pense pas qu'il soit très utile de se prendre la tête sur les performances du système de file de message, essaye plutot en priorité de calculer les taux d'usages de tes threads de traitements pour savoir si tu en a besoin d'autant ou de plus
# Temps de traitement
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Nombre de Consommateurs par queue. Évalué à 4.
Bah du coup ça va dépendre de l'API Rest "finale", si elle est synchrone (requête bloquante) et que le traitement est long la présence de plusieurs worker va permettre de paralléliser les traitements.
Il y a par contre une petite subtilité: si l'API Rest elle-même est mono-traitement avec un lock sur une ressource commune les multiples workers ne vont pas être très utiles.
Par contre si on se focalise sur la partie "Queue", ce sont des systèmes spécifiquement fait pour être consommé par plusieurs workers, c'est la tout le principe: on empile les tâches dans la file d'attente et dès qu'un worker est disponible il dépile une tâche et la traite, laissant les autres tâches prêtes à être affectées au prochain worker disponible.
C'est la partie compliquée, dans ton cas cela va dépendre de l'api est (distante ?) et des capacités de traitement qu'elle offre principalement.
Ca va dépendre aussi de ton nombre de réquêtes/messages à traiter (une queue avec 200 workers pour 2 messages / heures ce n'est pas très pertinent).
Dans le cas de worker faisant le travail en local ça va dépendre des ressources à disposition versus celles nécessaires pour le traitement.
La latence du réseau peut être un élement moteur en effet, je pense pas qu'il soit prioritaire mais l'augmentation des workers peut compenser la lenteur du réseau si le traitement est déporté comme dans ton cas.
[^] # Re: C'est quoi, la question, au juste?
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Service réseau en C. Évalué à 1.
Je rajouterai aussi "a quel endroit tu est 'obligé de rajouter 443'" ?
Que fait exactement ton "service reseau" ?
# Supervision
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Identification responsable d'une forte charge sur un serveur. Évalué à 3.
Alors non il n'y a pas de script auto-magique capable de cela, par contre il existe des outils de monitoring et de supervision pour historiser les compteurs (collectd, monit (très bof), cacti, zabbix, …) .
L'enregistrement des logs est une question surprenante, par définition les logs sont enregistrés et archivés donc analyser les logs en fonction de la date est assez simple.
Pour finir je rappelle juste que le load average en soit n'est pas un indicateur suffisament pertinent de l'état de ton serveur, il faut l'utiliser en correlation avec des métriques plus adaptées (temps de réponse du service) ou comme dernière chance. Et un load average de 10 sur une machine à 16 core n'est pas une valeur si problèmatique que ça par exemple.
http://www.brendangregg.com/blog/2017-08-08/linux-load-averages.html
# Hein ???
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message résolution dns google mystère. Évalué à 2.
Je suis désolé mais je ne crois pas avoir déjà lu un tel gloubi-glouba incompréhensible …
Relis toi, fait un schema, essaye de comprendre ta configuration avant de poser la question parce que la c'est un mashup de termes réseaux sans aucun sens
[^] # Re: inséré dans le fichier !?.
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au journal Le taguage des fichiers commence à être pris en compte dans Nautilus . Évalué à 2.
Hum chez moi thunderbird utilise les fonctions imap pour tagger les mails.
Je peut même pre-tagger sur le serveur via des règles sieve
[^] # Re: Pfff
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au journal Firefox Photon: comment l'interface va redevenir ce qu'elle était. Évalué à 1.
perso j'ai toujours la barre de menu "historique" dans mon firefox ^ et pareil chrome me soule vite
[^] # Re: systeme de la passoire
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message htaccess bloquer une plage mais ouvrir une ip. Évalué à 1.
Tu as deux options:
On commence par ouvrir au maximum, et ensuite on referme un peu, cas d'usage typique: blacklister une ou plusieurs ip/network
Dans ton exemple il faudrait donc faire un truc comme ça:
La on part en général d'une porte fermée pour laquelle on veut entre-ouvrir quelques adresses.
Dans ton exemple:
c'est un peu plus simple :D
[^] # Re: systeme de la passoire
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message htaccess bloquer une plage mais ouvrir une ip. Évalué à 2.
Le order allow,deny n'est pas le problème ici, c'est la compréhension du fonctionnement.
Cette solution ne marchera pas mieux:
Donc en gros le deny,allow avec un "allow all" est l'équivalent d'une porte grande ouverte.
Meme motif, punition inverse:
=> du coup la c'est une porte fermée pour tout le monde
# sftp vs ftps ?
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Problème avec lftp. Évalué à 3.
est-tu sûr de ne pas intervertir sftp et ftps quelque part ?
sftp c'est un protocole au dessus de ssh, tu peut tester le client "de base" sftp peut-être
il faudrait activer les logs et regarder en détail pour pouvoir t'aider
# Mes yeux saignent ...
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Appel a contribution pour mk-project un T.D.E.. Évalué à 10.
Je sais bien que ce n'est pas le sujet mais entre les fautes d'orthographes et les constructions de phrases il est très difficile de te lire et de comprendre ton message …
# manque d'information
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message evolution ne mémorise pas mes mots de passe. Évalué à 1.
Il manque beaucoup d'information dans ton message, notamment les détails sur ta distribution linux et les versions des logiciels en question.
NB: "keyring" n'est pas un logiciel dans ce contexte, c'est un terme générique signifiant "trousseau de clef", normalement en effet gnome-keyring est le demon en charge de la fourniture d'un trousseau sécurisé sous gnome.
Il y a plusieurs pistes ici, il semble probable que ton trousseau ne se déverouille pas/plus a la connection, empechant l'enregistrement des mots de passes
https://bugs.launchpad.net/ubuntu/+source/evolution/+bug/1299604
[^] # Re: Et pas d'éditeur de configuration
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Thunderbird - envoi de mail hors carnet d'adresses. Évalué à 1.
Que ce passe t'il exactement quand tu tente d'envoyer un email a une adresse "inconnue" ?
pour la configuration, firefox et thunderbird utilisent une configuration en texte brute, sous forme d'un fichier javascript, "locate prefs.js" devrait te donner l'emplacement du fichier de configuration sur ta machine, attention c'est le meme nom pour firefox.
Sinon l'editeur est dans Edition > Préférences > Avancé > Général
[^] # Re: Oui, c'est possible
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Debian Wheezy 7.11 possible d'upgrader?. Évalué à 3.
mais qui marche très très mal
Et encore moins bien si tu mixe les syntaxes nouvelles/anciennes
[^] # Re: recipient_canonical_map + sender_dependent_relayhost_maps
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Postfix header_checks ne fonctionne pas. Évalué à 1. Dernière modification le 14 juin 2017 à 12:41.
postmap ne fait que tester une map, il ne permet pas de determiner si postfix comprendra son resultat au moment ou cette map sera utilisée.
Il y a quelques warnings sur (smtp_)header_checks et REDIRECT qui parlent de l'impossibilité d'utiliser REDIRECT lors des checks smtp:
mais dans le même temps de nombreux exemples existent de REDIRECT basé sur des sujets, from,…
c'est possible dans l'exemple, mais pour postfix la reception ou l'emission c'est peut ou prou la même chose à ce niveau.
Hum trivial faut pas exagerer non plus ;)
Et il y a max d'exemple sur le net d'ailleurs de header_checks+REDIRECT
D'ailleurs, n'aurait tu pas un "receive_override_options=no_header_body_checks" qui trainerait quelque part dans ta configuration (main/master) ? Il est dangereux de ne fournir qu'un extrait de config, surtout avec postfix
[^] # Re: recipient_canonical_map + sender_dependent_relayhost_maps
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Postfix header_checks ne fonctionne pas. Évalué à 1.
En théorie ta solution devrait marcher d'ailleurs,
Il existe une autre methode moins bourine que la mienne avec les restrictions classes, et autre trouvable ici:
https://serverfault.com/questions/284702/redirect-specific-e-mail-address-sent-to-a-user-to-another-user
# recipient_canonical_map + sender_dependent_relayhost_maps
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Postfix header_checks ne fonctionne pas. Évalué à 1.
A priori je verrais ça comme ça:
mise en place d'un process smtp supplementaire avec une recipient_canonical_map qui re-ecrit les destinataires vers redirect@mondomaine.fr
dans le main, ajout d'un sender_dependent_relayhost_maps qui gère l'exception du projets@mondomaine.fr
Quelque chose dans ce gout la:
master.cf
main.cf
/etc/postfix/sender_dependent_relayhost_maps
/etc/postfix/recipient_canonical_map
[^] # Re: Relais ?
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Web serveur derrière un modem 4G. Évalué à 1.
Effectivement pas trop le choix dans ce cas.
Vu l'usage le reverse d'apache suffira effectivement, après tu peut aussi vu le cas d'usage utiliser/monter un service de vpn pour le serveur mais aussi pour les clients configuré pour former un vrai reseau virtuel entre tout ce monde et pas un fonctionnement en isolation.
ça t'éviterai le proxy, rajoute une sécurité pour l'accès au service (vu qu'il y a une notion d'embarqué c'est rarement un truc qu'on laisse ouvert a tout les vent) et peut-être même te permet
trait d'utiliser un service VPN générique, bien que pour ça je ne fasse que suposer.
# Relais ?
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Web serveur derrière un modem 4G. Évalué à 1.
Hum, si tu as moyen d'avoir un serveur dédié 'en relais', pk ne pas mettre le site web en question diretement sur le dédié ?
(je sais que ça ne répond pas à la question, mais les avantages en terme de débit, stabilité et latence sont quand même non négligeable…)
Sinon oui, il va te falloir un vpn, initié par le serveur derrière le modem 4G, et un haproxy ou équivalent (apache, nginx) sur le dédié pour proxifier les flux.
Tu peut aussi jouer avec du nat mais vu l'interco je passerais plus par un proxy.
# lmgty ...
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message XMPP : partager des photos et vidéos ?. Évalué à 0.
http://lmgtfy.com/?q=xmpp+clients+features
# Euh
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au message Informations et conseils . Évalué à 2.
Tu voudrais pas 100 balles et un mars aussi par hasard ?
.
.
.
[^] # Re: Et les disques avec un disque dedans ?
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au journal Endurance des SSD. Évalué à 6.
Sur notre ancien SAN/NAS a 56 HDD (Fiber Channel, 15k) on changeait 3 a 4 disques par ans, sur le nouveau avec ses 20 SSD (800Go) aucune erreur détecté pour le moment après 1 an de service donc tout les experiences existent.
Je ne sais pas combien de serveurs tu as mais pour avis un avis "fiable" il va falloir des études sur des grands nombres (dizaines de milliers de disques) sur les deux types medias je pense. Un truc que google, amazon ou autre nous sortira un de ces quatres.
[^] # Re: une expérience
Posté par -=[ silmaril ]=- (site web personnel) . En réponse au journal Endurance des SSD. Évalué à 6.
Euh, d'experience le HDD en partiellement vrac avec secteurs defectueux ça réagissait pas mieux que ce que tu raconte. C'est un problème qui à toujours existé, avec tout les stockages.
J'ai des mauvais souvenirs des disques "raptors" qui une fois utilisés ne supportent pas un arrêt de trop longue durée (6 mois dans une armoire, sans bouger => secteurs illisibles aleatoires sur tout le disque)