electro575 a écrit 832 commentaires

Pour le moment je n'ai toujours pas trouvé de cours pour trouver un failregex qui match avec mon fichier log.

Les expressions régulières font partie de Linux OS ?

Maintenant je n'ai plus de crash mais une action de scan sur X, la barre de progression ne redémarre pas à zéro !

En théorie avec les qDebug(), ça devrait le faire pour le debug !

Je ne sais pas si je peux faire du pas à pas car je lance un scan, le scan étant lancé, je ne peux pas mettre des points d'arrêt une fois la process lancé.

Avec des points d'arrêts, qu'est-ce que je peux voir d'avantage ?

Il faut pointer vers ce que je scrute non ?

D'accord, je te remercie pour ton explication.

Voici le log que j'ai découpé mais qui se remet sur une ligne :

{
"reqId":"nkUHMTIR238pHO8fZ4E3",
"level":2,
"time":"January 29, 2018 21:25:30",
"remoteAddr":"192.168.1.1",
"user":"--",
"app":"core",
"method":"POST",
"url":"\/login?user=arthur575",
"message":"Login failed: 'arthur575' (Remote IP: '192.168.1.1')",
"userAgent":"Mozilla\/5.0 (X11; Linux x86_64; rv:52.0) Gecko\/20100101 Firefox\/52.0",
"version":"12.0.5.3"
}

{
"reqId":"nkUHMTIR238pHO8fZ4E3","level":2,"time":"January 29, 2018 21:25:30","remoteAddr":"192.168.1.1","user":"--","app":"core","method":"POST","url":"\/login?user=arthur575","message":"Login failed: 'arthur575' (Remote IP: '192.168.1.1')","userAgent":"Mozilla\/5.0 (X11; Linux x86_64; rv:52.0) Gecko\/20100101 Firefox\/52.0","version":"12.0.5.3"}

Après j'ai vu des .conf mais syntaxiquement je ne sais aps ce que ça fait, je ne connais que le .* pour dire qu'importe l'adresse IP par exemple comme je l'ai fait ci-dessous. Je l'ai découpé comme au dessus.

[Definition] 
failregex = {
"reqId":".*",
"level":2,
"time":".*",
"remoteAddr":".*",
"user":".*",
"app":"core",
"method":".*",
"url":".*",
"message":"Login failed: '.*' \(Remote IP: '<HOST>'\)",
"userAgent":".*",
"version":".*"
}

sur une seule ligne :

[Definition] 
failregex = {"reqId":".*","level":2,"time":".*","remoteAddr":".*","user":".*","app":"core","method":".*","url":".*","message":"Login failed: '.*' \(Remote IP: '<HOST>'\)","userAgent":".*","version":".*"}

Je te remercie.

J'ai essayé de faire un essai de correspondance de mon premier failregex du premier poste mais sans réussite.

Je ne vois pas comment faire ma règle par rapport à mon log.

J'avais fait un test dont voici le résultat :

root@raspberrypi:/home/pi# fail2ban-regex /var/tmp/nextcloud.log /etc/fail2ban/filter.d/nextcloud.conf

Running tests
=============

Use   failregex filter file : nextcloud, basedir: /etc/fail2ban
Use         log file : /var/tmp/nextcloud.log
Use         encoding : UTF-8


Results
=======

Failregex: 0 total

Ignoreregex: 0 total

Date template hits:

Lines: 24 lines, 0 ignored, 0 matched, 24 missed
[processed in 0.11 sec]

Missed line(s): too many to print.  Use --print-all-missed to print all 24 lines

Si vous avez des iées pour le failregex, merci par avance

Je prend l'exemple de /etc/fail2ban/filter.d/sshd.conf ,

Le failregex est le suivant :

failregex = ^%(__prefix_line)sFailed \S+ for (?P<cond_inv>invalid user )?(?P<user>(?P<cond_user>\S+)|(?(cond_inv)(?:(?! from ).)*?|[^:]+)) from <HOST>(?: port $

Il y a bien le user dedans en plus du HOST !

Syntaxe utilisable ?

<user>
<HOST>

Avec le fail2ban de base on bannit une IP lorsque le max retry est atteint pour :
-1 seul user
-pour tous les user même non existant ?
=> en gros quand est-ce qu'on est banni ?

C'est juste que je ne connais pas la syntaxe, je sais qu'il y a la syntaxe 'HOST' mais je n'ai pas de doc la dessus.

Est-ce que pour prendre en compte un user particulier pour appliquer la règle on peut mettre 'user' ?

D'accord, je te remercie.

Je me posais également la question.

Que faut-il appliquer comme stratégie de ban d'IP :

1-compter le nombre de max retry quelque soit le user demandé  ?
-> si le user n'existe pas, que ce passe t-il, est-ce que l'essai est tout de même pris en compte ?

2-compter le nombre de max retry pour un user existant dans la base de données ?
-> c'est mieux car si l'on se trompe de user, on peut être embêté

Pour le moment je suis sur le cas 1- mais j'aimerais appliquer le cas 2- si tu as une idée.

Merci

A priori, QStandardPaths::HomeLocation par exemple marche bien avec plusieurs OS

Merci pour vos précisions.

Dans un premier temps je vais peut être adopter le cas linux puis windows au cas par cas avec des ifdef.

Bonne journée

Après reflexion, je pense partir sur la solution suivante

php7
mariaDB
nginx
nextcloud

Avez-vous déjà appliqué un tuto pour mettre ceci en oeuvre sans trop de souci ?

Si je résume, d'après un tuto nextcloud.

Il faut un lamp : web cache, web server (apache), cgi scripting (php), database (mariaDB, mySQL ?)

Je tire cela de cette présentation : https://fr.wikipedia.org/wiki/LAMP

Ensuite vient se gréffer nextcloud : https://fr.wikipedia.org/wiki/Nextcloud

Utile :
->Synchronisation de fichiers entre différents ordinateurs
->Partage de fichiers entre utilisateurs ou publiquement
->Serveur de fichiers WebDAV

Non utile :
//Calendrier (permettant la synchronisation CalDAV)
//Gestion des tâches (synchronisé avec CalDAV)
//Gestionnaire de contacts (CardDAV)
//Éditeur de texte en ligne (proposant la coloration syntaxique)
//Visionneuse de documents en ligne (PDF, OpenDocument)
//Galerie d'images
//Gestionnaire de marque-pages
//Prise de notes prenant en charge le Markdown
//Messagerie web expérimentale
//Antivirus ClamAV

En fait NextCloud permet d'avoir directement une interface web prête à l'emploi en fin de compte !

Le reste c'est du lamp qui travail derrière si j'ai bien saisi ?

---

Pydio serait ? Identique en fonctionnalité à Nextcloud ?

C'est à dire que la pi ne pouvait à priori pas gérer sur ses anciennes versions des HDD de 2 To.

Oui c'est ça, bon ben du coup j'ai commandé un Hub USB en plus pour ma seconde pi.

(C'est quand même énorme des HDD de 2To géré par une pi ⁾

Merci pour votre aide.

Bonne journée.

Est-ce que du coup ça justifie l'erreur que j'ai eu avant que ça ne marche sans le Hub USB ! ?

Voici le montage d'avant et d'après.

Avant ça ne fonctionnait pas malgré l'alimentation des disques dur. Alors peut être que l'alimentation des disques dur n'alimentait pas le bus USB allant vers la Pi. Ca c'est possible.

Conf_pi

Je reviens vers vous pour vous spécifier que mon problème est résolu.

Avec un Hub USB le boot sur HDD1 et rsync sur HDD2 de clonage fonctionne, lentement mais fonctionne sans erreur dans journalctl.

Était-ce un problème d'alimentation (ce serait étrange car mes HDD ont une alimentation externe) ?

Était-ce un problème d'interface USB de la raspberry-pi ? En tout les cas je me demande quel chemin prend le flux géré par rsync, seulement le Hub USB ou un chemin classique HDD -> pi -> HDD ?

Je reviens vers vous pour vous spécifier que mon problème est résolu.

Avec un Hub USB alimenté en externe, le boot sur HDD1 et rsync sur HDD2 de clonage fonctionne, lentement mais fonctionne sans erreur dans journalctl.

Était-ce un problème d'alimentation (ce serait étrange car mes HDD ont une alimentation externe) ?

Était-ce un problème d'interface USB de la raspberry-pi ? En tout les cas je me demande quel chemin prend le flux géré par rsync, seulement le Hub USB ou un chemin classique HDD -> pi -> HDD ?

Voici typiquement les erreurs après les rsync :

sharing@raspberrypi:/home/pi$ rsync -pavz --partial --progress --delete /mnt/my_data/Archives_D/ /mnt/my_data_clone/Archives_D/ > /tmp/log_rsync.txt
rsync: send_files failed to open "/mnt/my_data/Archives_D/.~lock.journal_2.txt#": Permission denied (13)
rsync: write failed on "/mnt/my_data_clone/Archives_D/Autres/Cd rom au fil de l'histoire/F1500.Dxr": Read-only file system (30)
rsync: failed to set times on "/mnt/my_data_clone/Archives_D/Autres/Cd rom au fil de l'histoire/.F1500.Dxr.V9sfuz": Read-only file system (30)
rsync: rename "/mnt/my_data_clone/Archives_D/Autres/Cd rom au fil de l'histoire/.F1500.Dxr.V9sfuz" -> "Autres/Cd rom au fil de l'histoire/F1500.Dxr": Read-only file system (30)
rsync error: error in file IO (code 11) at receiver.c(393) [receiver=3.1.2]

sharing@raspberrypi:/mnt$ rsync -pavz --partial --progress --delete /mnt/my_data/Archives_D/Electronique /mnt/my_data_clone/Archives_D/Electronique > /tmp/log_rsync_electronique.txt
rsync: recv_generator: mkdir "/mnt/my_data_clone/Archives_D/Electronique/Electronique" failed: Read-only file system (30)
*** Skipping any contents from this failed directory ***
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]

=> 2ème conclusion : avec des HDD et non des SSD, c'est encore plus mal barré pour faire des sauvegardes je pense à cause des latances !

=> comment reformater lentement mes deux disques dur qui ont subi le coup du rsync ?

Oui, les SSD sont peut être plus approprié, je ne sais pas, …

Mes deux disques dur sont branchés sur chacun un port USB de ma raspberry pi de 2To chacun.

J'ai effectué un rsync entre mes deux disques dur.

Je me retrouve avec cette erreur :

rsync: mkstemp "/mnt/my_data_clone/Archives_D/" failed:Read-only file system (30)

puis après me voici avec un disque dur démonté et avec ces erreurs lors d'un fsck :

j@jpcportable:~$ sudo fsck /dev/sdb
fsck de util-linux 2.29.2
e2fsck 1.43.4 (31-Jan-2017)
ext2fs_open2: Numéro magique invalide dans le super-bloc fsck.ext2 : Superbloc invalide, tentons d'utiliser les blocs de sauvetage... fsck.ext2: Numéro magique invalide dans le super-bloc lors de la tentative d'ouverture de /dev/sdb

Le superbloc n'a pu être lu ou ne contient pas un système de fichiers ext2/ext3/ext4 correct. 
Si le périphérique est valide et qu'il contient réellement un système de fichiers ext2/ext3/ext4 (et non pas de type swap, ufs ou autre), alors le superbloc est corrompu, et vous pourriez tenter d'exécuter e2fsck avec un autre superbloc :
    e2fsck -b 8193 <périphérique>
 ou
    e2fsck -b 32768 <périphérique>

Trouvé une table de partitions gpt dans /dev/sdb

=> Conclusion :
1-trouver un autre schéma de boot
2-mettre les deux disques dans mon PC fixe et réveiller le PC fixe à chaque sauvegarde.
3-soit mettre le hub USB en plus mais les disques durs sont alimentés -> Possibilité d'obtenir les même erreurs
4-booter sur la carte SD et monter les 2 HDD dans le /mnt sachant que la carte microSD sera utilisé ! Possibilité d'obtenir les même erreurs

J'obtiens ceci lors de la communication avec 2ème disque dur externe et la pi :

    pi@raspberrypi:~ $ journalctl -r -p err
    -- Logs begin at Thu 2016-11-03 17:16:43 UTC, end at Mon 2018-01-08 17:46:28 UTC. --
    Jan 08 17:46:28 raspberrypi kernel: Buffer I/O error on dev sdb2, logical block 486281216, async page read
    Jan 08 17:46:28 raspberrypi kernel: blk_update_request: critical medium error, dev sdb, sector 3907028992
    Jan 08 17:46:28 raspberrypi kernel: Buffer I/O error on dev sdb1, logical block 2097136, async page read
    Jan 08 17:46:28 raspberrypi kernel: blk_update_request: critical medium error, dev sdb, sector 16779136
    Jan 08 17:46:16 raspberrypi kernel: Buffer I/O error on dev sdb2, logical block 486281216, async page read
    Jan 08 17:46:16 raspberrypi kernel: blk_update_request: critical medium error, dev sdb, sector 3907028992
    Jan 08 17:46:16 raspberrypi kernel: blk_update_request: critical medium error, dev sdb, sector 3907028992
    Jan 08 17:46:16 raspberrypi kernel: Buffer I/O error on dev sdb1, logical block 2097136, async page read
    Jan 08 17:46:16 raspberrypi kernel: blk_update_request: critical medium error, dev sdb, sector 16779136
    Jan 08 17:46:16 raspberrypi kernel: blk_update_request: critical medium error, dev sdb, sector 16779136
    Jan 08 17:37:51 raspberrypi kernel: JBD2: Error -5 detected when updating journal superblock for sdb2-8.
    Jan 08 17:37:51 raspberrypi kernel: Buffer I/O error on dev sdb2, logical block 242778112, lost sync page write
    Jan 08 17:37:51 raspberrypi kernel: Aborting journal on device sdb2-8.
    Jan 08 17:37:51 raspberrypi kernel: JBD2: Error -5 detected when updating journal superblock for sdb2-8.
    Jan 08 17:37:51 raspberrypi kernel: Buffer I/O error on dev sdb2, logical block 242778112, lost sync page write
    Jan 08 17:37:51 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 1959004160
    Jan 08 17:37:51 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50337920
    Jan 08 17:37:51 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50337680
    Jan 08 17:37:50 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50337440
    Jan 08 17:37:50 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50337200
    Jan 08 17:37:50 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50336960
    Jan 08 17:37:50 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50336720
    Jan 08 17:37:50 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50336480
    Jan 08 17:37:49 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50336240
    Jan 08 17:37:49 raspberrypi kernel: blk_update_request: I/O error, dev sdb, sector 50336000

J'ai pu modifier l'UUID avec Gparted mais comme j'ai fait un coup de clonezilla je me retrouve avec le même PARTUUID.

A priori ce n'est pas ça qui pause problème.

Il m'a été dit ceci :

Ta config est différente de la mienne, je n'ai jamais essayé de bouter depuis USB avec 2 disques branchés.
Ici: https://github.com/raspberrypi/firmware/issues/647 il est indiqué de rajouter un fichier (vide, on dirait) nommé "timeout" à côté de bootcode.bin dans la SD.

Je regarde ce qui bloque ce soir et revient vers vous.

Oui je peux mettre ceci.

Par contre dans le fichier cmdline.txt qui sera mis en cmdline.usb, j'ai cette commande :

dwc_otg.lpm_enable=0 console=serial0,115200 console=tty1 root=/dev/sda1 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait rootdelay=5

Je n'arrive pas à remplacer root=/dev/sda1 par UUID, ça ne fonctionne pas.

Je ne lance pas le système de fichier de la carte microSD donc je boot sur un disque dur externe de la pi.

Dans l'ordre branché des disques dur je suis sur de booter sur le bon disque dur mais si jamais je change l'ordre, je suis bon pour un tour.

Il n'y a pas d'autres moyens de se baser sur l'UUID depuis la carte microSD ? Même le LABEL ne fonctionne pas. J'avais essayé.