Forum Programmation.shell automatisation pour soumission de job sur slurm

Posté par  . Licence CC By‑SA.
Étiquettes :
2
3
juil.
2023

bonjour,

j'effectue en ce moment (stage) des calculs sur un cluster, et je souhaite automatiser ma soumissions de job:

Pour ce faire, je dispose d'une base de donnée de la forme :

delta Re ub F maxUs xUs yUs maxUip maxPsi xPsi yPsi circulation
1.000000000000000056e-01 1.000000000000000000e+02 9.999999880255133755e-01 1.847046745021032388e+00 1.875822000151966096e+00 1.451459197325943992e-03 5.195067241032987226e+00 1.800956170626870634e-01 1.358132924334415625e-01 2.283607643238189100e-01 5.053583403732131885e+00 3.356563318232111959e-01
...

j'aimerai faire un test if sur les deux premières colonnes de chaque ligne et assigner la valeur de F lorsque le test est (…)

Journal RPCDataloader: chargement et pré-traitement de données distribué pour l'IA

11
22
avr.
2023

Introduction

On continue la lignée des utilitaires pour une grappe de calcul IA (cluster en bon franglais).
Cette fois-ci, l'objectif est de déplacer le chargement et le pré-traitement des données sur des serveurs différents de ceux qui gèrent le modèle en lui-même.

On s'intéresse plus précisément à un algorithme d’entraînement de réseau de neurones avec le framework PyTorch. Bien que la librairie que je présente (RPCDataloader) n'ait pas une très forte dépendance à PyTorch, son API est (…)

Journal Écrire un livre à deux : Haute Disponibilité sous Linux, des prémices à la sortie

34
6
sept.
2021

En juillet 2020, LinuxFR m’avait fait un grand honneur en m’interviewant dans le contexte de la sortie de la sixième édition de mon livre sur l’administration Linux. Une question concernait la coécriture, (l’écriture à plusieurs auteurs) et j’avais indiqué que j’avais proposé ce projet à un ami, sur une sujet devenu compliqué. Un an après, le résultat de cette collaboration a été publié !
L'interview initial
Charles Sabourdin et moi avons donc la joie de vous annoncer le résultat de (…)

Wiki Haproxy - redirection de domaine

0
9
août
2019

Introduction

Quand HaProxy fait une redirection, il n'y a pas de communication avec les serveurs derrière le backend. Tout est entièrement géré par le frontend.

Si le client requière via https, le certificat https doit être signé. S'il ne l'est pas le navigateur web va stopper et émettre une alerte de sécurité et ce avant d'avoir reçu le code http signalant la redirection. Pas très fun pour vos utilisateurs.

Exemple

Peut être inséré dans les section backend ou (…)

Wiki Afficher dans un conky sur votre bureau les infos CPU de vos serveurs.

0
7
août
2019

Ce tutoriel fonctionne sur : Ubuntu et Debian.
(Si vous l'avez testé sur d'autres systèmes avec succès, n'hésitez pas à rajouter la compatibilité.)

Introduction.

Nous allons voir ici comment récupérer sur un conky sur notre bureau Ubuntu ou Debian les températures (et le % d'utilisation) d'autres machines (serveurs, routeurs, etc) sur lesquels nous aurons installé un serveur Web avec PHP.

Vous pouvez bien entendu utiliser Apache2 ou Nginx selon vos préférences. Par contre le moteur PHP doit être fonctionnel et (…)

Forum Linux.debian/ubuntu [Résolu] HaProxy - Probleme de transfert de cookies session entre backends (crsf token)

Posté par  . Licence CC By‑SA.
Étiquettes :
0
14
juin
2019

Bien le bonjour les troublions du net !

Avec HaProxy j'essaye de dispatcher les requêtes WEBDAV vers 2 backends différents en fonction du type de requêtes.

Ainsi les requêtes de lecture doivent aller vers les serveurs backends cloud_read et les requêtes d'écriture vers les serveurs backends cloud_write.

Voici la config (simplifiée) qui renvoie toutes les requêtes PUT vers cloud_write et tout le reste vers cloud_read :

frontend my_frontend
        bind *:80 v4v6
        bind *:443 v4v6 ssl crt /etc/haproxy/certs/cloud.belgium.com.pem
        http-response set-header
(…)

Wiki [PHP] Tester si le serveur cache Memcached fonctionne

0
17
avr.
2019

Voici une méthode en PHP permettant de tester si le serveur cache Memcached est bien joingnable.
Vous pouvez voir un exemple type de son fonctionnement dans ce script de HealthCheck pour nextcloud.

Tester la disponibilité (connexion) d'un unique serveur

<?php
if(memcache_connect("www.my_server_memcached.com", 11211)){
    echo "work";
}else{
    echo "not work";
}
?>

Tester la disponibilité (connexion) de plusieurs serveurs

<?php

$CONFIG['memcached_servers'] => array(
     array('localhost'
(…)

Wiki [PHP] Tester si le serveur cache (redis) fonctionne

0
16
avr.
2019

Voici un exemple de code testant si le serveur cache redis est bien fonctionnel.
Vous pouvez voir un exemple type de son fonctionnement dans ce script de HealthCheck pour nextcloud.

Tester la disponibilité (connexion) d'un unique serveur

<?php
$CONFIG['redis']['host'] = "127.0.0.1";
$CONFIG['redis']['port'] = 6379;

echo checkCacheRedis($CONFIG);

function checkCacheRedis($CONFIG){
                    /* on definit le port par défaut si l'utilisateur ne l'a pas défini
(…)

Proxmox VE 5.4

Posté par  . Édité par Davy Defaud, Benoît Sibaud et palm123. Modéré par ZeroHeure. Licence CC By‑SA.
42
11
avr.
2019
Virtualisation

Proxmox est une plate‐forme de gestion de virtualisation libre (AGPLv3) permettant de gérer des machines virtuelles KVM et des conteneurs LXC.

Proxmox VE 5.4 introduit un nouvel assistant pour l’installation d’une grappe de serveurs (cluster) Ceph dans l’interface Web, plus de flexibilité avec la haute disponibilité, la prise en charge de l’hibernation pour les machines virtuelles, et la prise en charge de l’authentification universelle à deux facteurs (U2F). La plate‐forme Proxmox VE 5.4 est basée sur Debian 9 Stretch et un noyau Linux 4.15.

Forum général.cherche-logiciel Remplacement pour tentakel (commandes distribuées)

Posté par  . Licence CC By‑SA.
Étiquettes :
3
15
jan.
2019

Salut,

Je cherche un remplaçant pour tentakel qui n'est plus du tout maintenu depuis trop longtemps et qui pose maintenant des problèmes sur tous les systèmes récents.
Pour mémoire tentakel permet de lancer facilement des commandes en simultané sur plusieurs systèmes en utilisant ssh; donc sans agent.
Il permet aussi de créer des groupes de serveurs et de traiter jusqu'à un certain point les retours des commandes.
Par exemple tentakel -g centos7 'uname -r' pour la version du kernel running (…)

Wiki [Tuto/HowTo] Automatiser simplement les mises à jours de configurations sur cluster via script bash

0
15
nov.
2018

Introduction

Nous allons voir ici comment automatiser simplement la mise à jours de configurations depuis un stockage distant (webdav, sshfs, etc). Pour ce job, nous allons utiliser un script bash dédié.

Ce dernier vous permet de ranger vos fichiers de configurations sur votre cloud (montage distant) puis de les ré-injecter via une tâche planifiée (cron).

Le script est capable d'auto-éditer les fichiers de configuration (une fois enregistrés localement) afin d'indiquer l'hostname de la machine ainsi (…)

Wiki [Tuto/HowTo] Partager le dossier /var/www/ entre vos différents serveur web apache2 via syncthing

0
13
sept.
2018

Mise en place

  1. Installez Syncthing en suivant ce lien

  2. Créez un user dédié avec un mot de passe super solide (pas besoin de s'en rappeler)

adduser syncthing
  1. Réglez les droits du nouvel utilisateur.
  • Placez l'utilisateur syncthing dans le groupe www-data.
adduser syncthing www-data
adduser www-data syncthing

Prochaine commande à supprimer ?

usermod -a -G www-data syncthing
  • Accordez les permissions sur le dossier.
( chown www-data:www-data -R /var/www/html/ ; chmod 2770 -R /var/www/html/ ; setfacl --default --modify group::rwx /var/www/html/)

Wiki [Tuto/HowTo] [Debian/Ubuntu] Créer manuellement un Cluster Web

1
12
sept.
2018

Difficulté de ce tutoriel : Bidouilleur confirmé n'ayant pas peur de la ligne de commande.

Introduction

Un cluster est un ensemble d'ordinateurs physique travaillant pour une tâche commune, augmentant ainsi la puissance de calcul et évitant la fin de service lorsque l'une d'elles tombe en panne.
Le désavantage est un coûts en énergie, en consommation réseau et en ressources machines. Ainsi dans le cas présent, par exemple, syncthing devra vérifier très régulièrement les modifications des fichiers du serveur web, et (…)

Forum Linux.debian/ubuntu MariaDB/Galera cluster - Mysql is gone away | Got an error reading communication packets

Posté par  . Licence CC By‑SA.
1
5
mar.
2018

Depuis hier j'essaye de régler un problème récalcitrant qui revient jour après jours et qui s’aggrave.
Avec Nextcloud ce problème apparaît de temps en temps (tout les jours), mais là depuis une heure il n'est plus possible de faire fonctionner ZoneMinder plus de trente seconde avant qu'il crash (alors qu'il fonctionnait tranquillement depuis des mois).

voila le type d'erreur dans service mysql status :

févr. 25 17:55:23 0rionBDDServerOne mysqld[2497]: 2018-02-25 17:55:23 139928900781824 [Warning] Aborted connection 170242 to db: 'nextcloud' user:
(…)