La base sur laquelle je travaille est en majeure partie reconstruite chaque nuit par des fichiers externes. C'est la somme de travail à effectuer sur chaque enregistrement qui me faisait un peu peur. Pour le moment, tout avait été fait par un prédesseur sous Sql Server (procédures stockées) qui gère ça bien, mais l'évolution de la plateforme qui nous pousse à se tyourner vers Php + Mysql.
Pour chaque enregistrement de chaque fichier, il faut successivement :
extraire, comparer et sauvegarder les modifications des données, dézipper un fichier lié, y récupérer 5 photos (parfois de plusieurs Mo chacune), en faire différentes mignatures, coller tout ça dans la base, et passer au suivant en repérant les doublons et les incohérences.
Quand on sait que ces étapes vont à terme être répétées plusieurs dizaines de milliers de fois par nuit, il y a de quoi se mettre sérieusement à réfléchir avant de se lancer à corps perdu dans le code.
Je crois que je vais continuer à faire les traitements en Php5 comme auparavant. Je vais juste m'essayer aux précédures stockées Mysql5 qui peuvent me faire gagner du temps sur les étapes de contrôle.
Pour le reste, je vais commencer des tests de performance, et envisager l'achat de serveurs suplémentaires si nécessaire.
Je pense juste utiliser l'idée de Cron de Gérald qui a l'air pratique, ou utiliser un batch si ça facilite la gestion des alertes en cas de problème.
[^] # Re: ext2 ?
Posté par El_Riiico . En réponse au message Erreur sur mkdir : limite sur le nb de dossier au même niveau ?. Évalué à 1.
[^] # Re: Dotdeb
Posté par El_Riiico . En réponse au message Installation serveur Mysql5 sur Ubuntu Breezy. Évalué à 1.
Le problème vient de ce que je n'arrive pas à installer Mysql5 seul, le paquet libmysqlclient14 finit toujours par s'installer avec.
Et au final, c'est Mysql 4 qui se lance, quand je voudrais du 5 (j'ai besoin des procédures stockées).
[^] # Re: Apache mod_vhost_alias
Posté par El_Riiico . En réponse au message Création automatique de sous-domaines. Évalué à 1.
# Ok, merci à tous
Posté par El_Riiico . En réponse au message Cron Apache, gros traitements Php et stabilité. Évalué à 2.
Pour chaque enregistrement de chaque fichier, il faut successivement :
extraire, comparer et sauvegarder les modifications des données, dézipper un fichier lié, y récupérer 5 photos (parfois de plusieurs Mo chacune), en faire différentes mignatures, coller tout ça dans la base, et passer au suivant en repérant les doublons et les incohérences.
Quand on sait que ces étapes vont à terme être répétées plusieurs dizaines de milliers de fois par nuit, il y a de quoi se mettre sérieusement à réfléchir avant de se lancer à corps perdu dans le code.
Je crois que je vais continuer à faire les traitements en Php5 comme auparavant. Je vais juste m'essayer aux précédures stockées Mysql5 qui peuvent me faire gagner du temps sur les étapes de contrôle.
Pour le reste, je vais commencer des tests de performance, et envisager l'achat de serveurs suplémentaires si nécessaire.
Je pense juste utiliser l'idée de Cron de Gérald qui a l'air pratique, ou utiliser un batch si ça facilite la gestion des alertes en cas de problème.
Merci pour vos réponses.
[^] # Re: Mon avis sur la question.
Posté par El_Riiico . En réponse au message Cron Apache, gros traitements Php et stabilité. Évalué à 1.
Merci pour ces quelque pistes, je vais creuser un peu tout ça , je sens que la cafetière va tourner jusque tard dans la nuit.
Ah, déjà une question : à part les sites de référence de type Lea linux, t'aurais une ou deux adresses ou je pourrais trouver des infos pratiques ?
Sinon je ferai chauffer google...