Forum Programmation.shell automatisation pour soumission de job sur slurm

Posté par  . Licence CC By‑SA.
Étiquettes :
2
3
juil.
2023

bonjour,

j'effectue en ce moment (stage) des calculs sur un cluster, et je souhaite automatiser ma soumissions de job:

Pour ce faire, je dispose d'une base de donnée de la forme :

delta Re ub F maxUs xUs yUs maxUip maxPsi xPsi yPsi circulation
1.000000000000000056e-01 1.000000000000000000e+02 9.999999880255133755e-01 1.847046745021032388e+00 1.875822000151966096e+00 1.451459197325943992e-03 5.195067241032987226e+00 1.800956170626870634e-01 1.358132924334415625e-01 2.283607643238189100e-01 5.053583403732131885e+00 3.356563318232111959e-01
...

j'aimerai faire un test if sur les deux premières colonnes de chaque ligne et assigner la valeur de F lorsque le test est (…)

Journal RPCDataloader: chargement et pré-traitement de données distribué pour l'IA

11
22
avr.
2023

Introduction

On continue la lignée des utilitaires pour une grappe de calcul IA (cluster en bon franglais).
Cette fois-ci, l'objectif est de déplacer le chargement et le pré-traitement des données sur des serveurs différents de ceux qui gèrent le modèle en lui-même.

On s'intéresse plus précisément à un algorithme d’entraînement de réseau de neurones avec le framework PyTorch. Bien que la librairie que je présente (RPCDataloader) n'ait pas une très forte dépendance à PyTorch, son API est (…)

Wiki [Tuto/HowTo] [Debian/Ubuntu] Créer manuellement un Cluster Web

1
12
sept.
2018

Difficulté de ce tutoriel : Bidouilleur confirmé n'ayant pas peur de la ligne de commande.

Introduction

Un cluster est un ensemble d'ordinateurs physique travaillant pour une tâche commune, augmentant ainsi la puissance de calcul et évitant la fin de service lorsque l'une d'elles tombe en panne.
Le désavantage est un coûts en énergie, en consommation réseau et en ressources machines. Ainsi dans le cas présent, par exemple, syncthing devra vérifier très régulièrement les modifications des fichiers du serveur web, et (…)

Forum Linux.debian/ubuntu [Résolu] HaProxy - Probleme de transfert de cookies session entre backends (crsf token)

Posté par  . Licence CC By‑SA.
Étiquettes :
0
14
juin
2019

Bien le bonjour les troublions du net !

Avec HaProxy j'essaye de dispatcher les requêtes WEBDAV vers 2 backends différents en fonction du type de requêtes.

Ainsi les requêtes de lecture doivent aller vers les serveurs backends cloud_read et les requêtes d'écriture vers les serveurs backends cloud_write.

Voici la config (simplifiée) qui renvoie toutes les requêtes PUT vers cloud_write et tout le reste vers cloud_read :

frontend my_frontend
        bind *:80 v4v6
        bind *:443 v4v6 ssl crt /etc/haproxy/certs/cloud.belgium.com.pem
        http-response set-header
(…)

Proxmox VE 5.4

Posté par  . Édité par Davy Defaud, Benoît Sibaud et palm123. Modéré par ZeroHeure. Licence CC By‑SA.
42
11
avr.
2019
Virtualisation

Proxmox est une plate‐forme de gestion de virtualisation libre (AGPLv3) permettant de gérer des machines virtuelles KVM et des conteneurs LXC.

Proxmox VE 5.4 introduit un nouvel assistant pour l’installation d’une grappe de serveurs (cluster) Ceph dans l’interface Web, plus de flexibilité avec la haute disponibilité, la prise en charge de l’hibernation pour les machines virtuelles, et la prise en charge de l’authentification universelle à deux facteurs (U2F). La plate‐forme Proxmox VE 5.4 est basée sur Debian 9 Stretch et un noyau Linux 4.15.

Forum général.cherche-logiciel Remplacement pour tentakel (commandes distribuées)

Posté par  . Licence CC By‑SA.
Étiquettes :
3
15
jan.
2019

Salut,

Je cherche un remplaçant pour tentakel qui n'est plus du tout maintenu depuis trop longtemps et qui pose maintenant des problèmes sur tous les systèmes récents.
Pour mémoire tentakel permet de lancer facilement des commandes en simultané sur plusieurs systèmes en utilisant ssh; donc sans agent.
Il permet aussi de créer des groupes de serveurs et de traiter jusqu'à un certain point les retours des commandes.
Par exemple tentakel -g centos7 'uname -r' pour la version du kernel running (…)

Wiki GlusterFS sur Ubuntu/Debian

0
26
juin
2017

Ce wiki traite de la partie serveur de GlusterFS pour la partie client voyez ce wiki : Monter un volume/répertoire GlusterFS sur Ubuntu/Debian

Qu'est-ce que GlusterFS ?

GlusterFS permet de créer des volumes/répertoires virtuels agrégeant un nombre X de serveurs. Pour cela GlusterFS crée des volumes (sorte de partition JBOD) à cheval sur les serveurs que vous stipulez lors de la création du volume et dispose d'un mode de redondance (replication) afin de lutter contre les pannes de stockage (…)

Forum Linux.debian/ubuntu MariaDB/Galera cluster - Mysql is gone away | Got an error reading communication packets

Posté par  . Licence CC By‑SA.
1
5
mar.
2018

Depuis hier j'essaye de régler un problème récalcitrant qui revient jour après jours et qui s’aggrave.
Avec Nextcloud ce problème apparaît de temps en temps (tout les jours), mais là depuis une heure il n'est plus possible de faire fonctionner ZoneMinder plus de trente seconde avant qu'il crash (alors qu'il fonctionnait tranquillement depuis des mois).

voila le type d'erreur dans service mysql status :

févr. 25 17:55:23 0rionBDDServerOne mysqld[2497]: 2018-02-25 17:55:23 139928900781824 [Warning] Aborted connection 170242 to db: 'nextcloud' user:
(…)

CatchChallenger en 2017

22
8
nov.
2017
Jeu

CatchChallenger est un jeu de rôle indépendant en ligne massivement multijoueur (MMORPG) à l’ancienne entièrement libre : licence GPL v3 pour le code, comme les données (artwork), ou le site.

La base du jeu est un mélange de différent styles : combat, farming, exploration, fabrication, commerce, gestion, compétition. Le travail est concentré sur la jouabilité, les performances et la créativité.

Cette version totalise plus de 10 Mio de code, plus de 3 000 commits avec 400 000 lignes sur cinq ans de vie (sur les différentes parties du projet). Le client et le serveur sont développés sous GNU/Linux, puis automatiquement empaquetés pour macOS et Windows.

Forum Linux.debian/ubuntu [Discutions] Le clustering de base de données en 2017

Posté par  . Licence CC By‑SA.
Étiquettes :
3
12
mai
2017

J'aimerais créer un cluster de base de données avec des mini pc ARM (type Raspberry Pi et Odroid-XU4) tournant avec Debian/Raspbian et souhaiterais vos avis avant de me relancer dans ce sujet complexe.

Quels sont les logiciels que vous avez choisi et pourquoi?

Permettent-ils de stocker les bases de données des CMS utilisant MySQL/MariaDB? (dans mon cas Nextcloud, phpBB, ZoneMinder)

En effet lorsque j'avais commencé la rédaction de mes tuto sur MySQL Cluster et le tuto sur (…)

Forum Linux.général Une plateforme iaas simple

Posté par  . Licence CC By‑SA.
Étiquettes :
2
2
mai
2017

Bonjour à tous,
je vous contacte aujourd'hui pour avoir vos retours et peut être une solution pour moi.

Actuellement je suis à la recherche d'une solution d'iaas relativement simple à mettre en place.

Mon matériel est 6 node de 64Gb de ram et 2 cpu E5-2640 avec un san en iSCSI.

Mon besoin est de pouvoir auto provisionner des vm via salt et auto distribuer celons la charge du node.

J'avais regardé du côté Proxmox beaucoup d’espoir mais le point (…)

CatchChallenger version 2

Posté par  (site web personnel) . Édité par ZeroHeure, Benoît Sibaud, Xavier Teyssier, palm123 et tuiu pol. Modéré par claudex. Licence CC By‑SA.
27
23
sept.
2016
Jeu

CatchChallenger est un MMORPG, un jeu de rôle massivement multijoueur. Particularité ? il est indépendant, en ligne et entièrement libre : licence GPLv3 pour le code, les données (artwork) et le site.

La base du jeu est un mélange de différent styles : combat, agriculture, exploration, fabrication, commerce, gestion, compétition. Le travail est concentré sur la jouabilité, les performances et la créativité.

Une partie de Catch Challenger

Cette version totalise plus de 8Mo de code, plus de 2500 commits avec 400k de lignes sur cinq ans de vie (sur les différentes parties du projet). Le client et le serveur sont développés sous GNU/Linux, puis empaquetés automatiquement pour MacOSX et Windows.

Forum Linux.général Comment est sélectionné le noeud d'un cluster HAPROXY ?

Posté par  . Licence CC By‑SA.
0
9
août
2016

Bonjour,

Je m'interesse à HAPROXY et malgré la lecture de plusieurs article à ce sujet y a toujours une question (au moins) à laquelle je ne trouve pas de réponse.

Lorsque par exemple on a un cluster HAPROXY composé de 4 serveurs si j'ai bien tout compris chaque noeud du cluster porte l'adresse IP virtuelle du cluster en plus de sa propre IP.
Mais comment s'effectue la selection du noeud haproxy qui va recevoir la requette client et la transférer  (…)

Journal Monter un cluster mémoire avec un raspberry pi

Posté par  . Licence CC By‑SA.
14
23
mai
2016

Avant-Propos :
Il est fortement conseillé d'utiliser un raspberry pi 2 au minimum (privilégiez le modèle 3). JBOD via mddfs n'est pas totalement stable, mais ZFS semble actuellement non utilisable sur Raspberry Pi. Si vous suivez ce tuto sur une machine dotée d'autre chose qu'un processeur ARM, privilégiez l'utilisation de ZFS.
Gluster vous permet en fonction du nombre de peers/nodes et du nombre de réplication de faire :

  • un JBOD réseau (addition de l'espace de toute vos machines Peer1 (…)