Forum général.cherche-matériel Retours d'expériences Hardware pour homelab LLM

Posté par  . Licence CC By‑SA.
Étiquettes :
3
21
mai
2026

Bonjour,

Je cherche à comprendre si l'achat d'un matériel dédié serait adapté/exploitable pour faire tourner correctement des LLM en local.

Mon objectif serait d'utiliser ce matériel pour faire tourner des agents LLM, de type assistants.
J'aimerais piloter un ordinateur via un service MCP. Il faut un modèle qui gère aussi la vision (par exemple : qwen3.6:35b, ou mistral-medium-3.5:128b qui est beaucoup plus lourd).

Idéalement, il faudrait prévoir beaucoup de RAM et de vRAM.

Je serais tenté vers des machines qui disposent de 128 Go de RAM unifiées, peut-être est-ce le meilleur compromis.

J'ai un budget autour de 3 000 € / 3 500 €.

  • Quelqu'un a-t-il un retour d'expérience à ce sujet ?
  • Quel matériel serait le plus adapté pour ce genre de projet ?
  • Que me conseillez-vous ? (chipset M3/M4, ou AMD Ryzen AI Max+ 395, ou chipset Nvidia GB10)
  • Où est-ce mieux de miser sur une carte graphique Nvidia et un CPU plus classique ?

Merci beaucoup !

  • # du matos dédié

    Posté par  . Évalué à 4 (+1/-0).

    vu ton budget, j'irai vers du matos dédié

    Que me conseillez-vous ? (chipset M3/M4, ou AMD Ryzen AI Max+ 395, ou chipset Nvidia GB10)
    Où est-ce mieux de miser sur une carte graphique Nvidia et un CPU plus classique ?

    le matos CPU/GPU classique si c'est pas pour jouer, tu va depenser un bras pour "rien"

    on trouve maintenant des cartes nvidia H100 et des adaptateurs vers PCIe pour environ 300euros, ca reste plus performant pour du LLM qu'une 4090 et y a plus de vRAM dédiée

    y a aussi des modules NVMe à mettre dans une machine plus classique, mais ensuite ca va quand meme etre la "vRAM" qui va jouer, il te faut regarder les performances en Tflops en FP16/FP8/FP4 suivant les modeles que tu vises.

    • [^] # Re: du matos dédié

      Posté par  (Mastodon) . Évalué à 5 (+2/-0).

      des cartes nvidia H100 et des adaptateurs vers PCIe pour environ 300euros

      où ? moi j'en trouve plutôt autour de 15k€

      En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.

  • # Framework Desktop

    Posté par  . Évalué à 3 (+2/-0).

    Salut,
    Je travaille depuis quelques mois avec une machine équipée d’un AMD Ryzen AI Max + 395 (https://frame.work/fr/en/products/desktop-diy-amd-aimax300/configuration/new)

    • 16 cœurs / 32 threads, jusqu’à 5,1 GHz
    • 40 cœurs graphiques, jusqu’à 2,9 GHz
    • 128 Go de RAM LPDDR5x non extensible

    Sous Fedora 44, Framework, contribue au projet pour garantir la compatibilité du matériel. Même si tout n’est pas encore parfait, il est très appréciable de pouvoir faire tourner des modèles en local avec une consommation d’énergie bien moindre que celle d’un GPU.

    J’utilise quotidiennement Qwen‑3.6 : 35 B et 27 B (en quantification Q8). GPT‑OSS‑120 fonctionne aussi parfaitement.
    Ce compromis est intéressant, il permet d’exécuter un LLM local tout en conservant la capacité de virtualiser grâce aux 128 Go de RAM unifiée.

    Je le recommande sincèrement aujourd’hui.

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.