# Transformer un vieux PC de 2019 en monstre d'IA gratuite (une seule carte 16 Go)

**Channel:** Build & Mind
**Source:** https://www.youtube.com/watch?v=9IRXDZpU1mQ
**Transcript page:** https://www.withtranscript.ai/video/9IRXDZpU1mQ

## Chapters

- 0:00 — Introduction : la question de la RAM
- 1:40 — Montage du PC et budget d'occasion
- 4:49 — Modèles testés et astuce de Strata
- 11:21 — Créations locales : images, 3D et son
- 14:25 — Bilan, prévisions et teaser de la suite

## Transcript

**[0:00]:** Mais du point de vue de la répartition mondiale, c'est assez terrible que tout le monde ait une partie de l'offre limitée de DRAM chez soi utiliser seulement 5 % du temps.

**[0:14]:** Vous venez d'entendre Sam Altman, le patron d'OpenAI. Et pourtant, ce n'est pas lui qui parle français. Sa voix vient d'être traduite, doublée et sous-titrée gratuitement chez moi par une intelligence artificielle qui tourne en local sur une simple carte graphique de 16 Go. Alors attention, dans ce podcast de fin octobre, Sam Altman ne demande pas d'interdire l'IA locale. Et son chiffre de 5 % ne repose d'ailleurs sur aucune source. Mais son message lui est limpide. En pleine pénurie de mémoire, laissons la mémoire aux géants du cloud plutôt que dans nos ordinateurs. Et cette pénurie, je la vois aussi dans vos commentaires. Une partie d'entre vous me disent qu'ils ne peuvent tout simplement plus suivre parce que les composants de la mémoire vive ont complètement flambé. Ça pose donc une vraie question à laquelle on va répondre dans cette première vidéo d'une série de deux. Est-ce que la mémoire qu'on garde chez soi sert vraiment à quelque ?

**[1:05]:** Et surtout, quel est le prix le plus bas aujourd'hui pour avoir à la maison une IA digne de ce nom en partant d'un PC de ? Pour le vérifier concrètement, j'ai repris mon ancien PC d'il y a 5 ou 6 ans. Je lui ai ajouté une seule carte graphique de 16 Go. Et on va voir ensemble ce que ça coûte vraiment d'occasion, comment y faire tourner jusqu'à un géant de 180 milliards de paramètres total et tout ce qu'on arrive à fabriquer dessus selon qu'on est 16, 32 ou 64 Go de mémoire vive.

**[1:40]:** Bienvenue sur Build and Mind, la chaîne qui simplifie l'IA et la tech pour vous. Pour faire le test, je n'ai pas commandé une machine neuve hors de prix. J'ai repris mon PC d'il y a 5 ou 6 ans comme je vous le disais. À l'époque, c'était une belle machine plutôt haut du panier. Mais aujourd'hui, c'est typiquement le genre de tour qu'on croise sur le marché d'occasion ou qui dort au fond d'un placard chez quelqu'un. Vous me voyez à l'écran la démonter entièrement pour la remonter au propre dans un boîtier tout neuf. Je vous le précise tout de suite, ce nouveau boîtier, je l'ai choisi pour son look peu commun et pour son flux d'air bien pensé. Donc je ne le compte pas dans le budget. Ce qui nous intéresse, c'est ce qu'il y a à l'intérieur. On retrouve un processeur Ryzen 9 3950X avec ses 16 cœurs, 64 Go de mémoire vive et deux SSD de 1 To chacun.

**[2:25]:** Tout ça d'époque. J'ai seulement retiré ma vieille carte graphique, une petite GTX 1650 que je ne garde pas, pour la remplacer par une seule pièce récente, une RTX 3060Ti équipée de 16 Go de mémoire graphique. Combien est-ce que ma configuration coûterait si vous deviez racheter exactement les mêmes composants aujourd'hui sur le marché de ? J'ai épluché les annonces début novembre pour en avoir le carnet pièce par pièce, en sachant évidemment que les tarifs bougent tout le temps. En achetant chaque composant séparément, la base de mon vieux PC tourne autour de 1100 euros sans la carte graphique. Dont près d'un tiers rien que pour les 64 Go de mémoire vive. Même si la mémoire d'occasion revient à environ deux fois moins cher que la mémoire neuve cet automne, la flambée actuelle fait qu'elle pèse déjà très lourd dans l'addition. Et si j'ajoute la carte graphique d'occasion au prix courant, ma machine complète achetée pièce par pièce monte autour de 1750 euros.

**[3:22]:** Mais en réalité, vous n'avez pas besoin d'un vieux processeur à 16 cœurs ni d'acheter chaque pièce au détail. La seule pièce maîtresse qui dicte tout le reste, c'est la carte graphique de 16 Go. Neuve en magasin, cette RTX 3060Ti démarre autour de 770 euros et dépasse facilement les 1000 euros. En occasion, je l'ai vu passer entre 500 et 730 euros. Et vous pouvez faire baisser la facture encore davantage si vous partez sur de l'AMD avec par exemple une RX 7600 XT de 16 Go qu'on peut trouver à 355 euros d'occasion. Enfin, si vous partez de zéro, le plus malin c'est d'acheter une tour d'occasion déjà assemblée dès 345 euros environ. Un peu plus simple que la mienne et d'y glisser la carte graphique de 16 Go achetée d'occasion autour de 500 euros. Avec cette méthode, j'ai composé trois paniers complets que vous voyez à l'écran.

**[4:14]:** Qui démarre à environ 845 euros avec 16 Go de mémoire vive et passe ensuite à 980 euros en 32 Go et monte à 1260 euros pour la version 64 Go de RAM. Rien qu'en partant sur une tour déjà montée plutôt que d'acheter chaque pièce au détail, on fait tomber l'addition de plusieurs centaines d'euros. Si ce genre de pistes concrètes pour vous équiper malin sans vous ruiner vous parle, pensez à mettre un like, à vous abonner et à envoyer la vidéo à un proche qui a un vieux PC au fond d'un placard. Maintenant qu'on a les ordres de grandeur en tête, entrons dans le vif du sujet.

**[4:49]:** Qu'est-ce qu'on fait réellement tourner avec une carte graphique de 16 Go épaulée par 64 Go de ? Vous connaissez la règle de base sur cette chaîne. Un modèle répond plus vite quand il loge directement dans la mémoire de la carte graphique. Tout ce qui dépasse doit attendre son tour dans la mémoire vive de l'ordinateur qui offre plus d'espace mais qui est nettement plus lente. Pour voir comment on contourne ce mur de 16 Go, j'ai testé deux approches radicalement différentes avec deux modèles bien précis. Le premier modèle s'appelle Bonzai. À la base, c'est le modèle Koen 3.8 de 27 milliards de paramètres que la jeune société Prism ML a réussi à compresser à l'extrême. Si on fait le calcul rapidement, en temps normal, chaque paramètre d'un modèle occupe 16 bits. Pour 27 milliards de paramètres, ça représente environ 54 Go. C'est plus de trois fois la capacité de ma carte graphique.

**[5:36]:** Donc, ça ne rentre pas. Le tour de force de Prism ML, c'est de lisser d'abord les valeurs extrêmes du modèle en les répartissant mathématiquement, puis de n'autoriser que trois valeurs possibles pour chaque paramètre. Moins 1, 0 ou 1. Grâce à ça, on range cinq paramètres dans un seul octet. Et en comptant l'étalonnage, on reste sous la barre des deux bits par paramètre. Résultat, le modèle entier ne pèse plus qu'un peu plus de 6 Go. Une fois lancé, même avec une grande mémoire de conversation de plus de 130000 jetons, il n'occupe qu'un peu plus de 9 Go sur la carte graphique. Ce qui laisse encore de la marge pour faire tourner un autre outil à côté. Comme il s'agit d'un modèle dense et pas un modèle découpé en petit expert, Bonsai mobilise tous ses paramètres à chaque nouveau mot qu'il écrit. Sauf que relire 6 Go au lieu de 54, ça change tout.

**[6:26]:** Le modèle file à environ 47 jetons par seconde, ce qui est très confortable et permet de réaliser diverses tâches. Bien sûr, une telle cure d'amincissement a un prix. D'après son éditeur, Bonsai garde plus de 98 % du score d'origine en mathématiques, en écriture de code et pour suivre une consigne précise. Parce que la logique compense la compression. Mais il perd quelques points sur l'analyse d'images et sur le comme des dates historiques, des faits rares ou des citations exactes qu'on ne peut pas deviner par le raisonnement. Le second modèle change complètement d'échelle. Il s'appelle Flash Next et il appartient aussi à la famille Coher 3.8. Sur sa fiche officielle, il affiche près de 180 milliards de paramètres au total, dont 125 milliards pour le cœur du modèle et ses experts et plus de 50 milliards pour une table d'expressions fréquentes stockées à part. En 16 bits, l'ensemble pèserait environ 360 Go.

**[7:21]:** Une fois compressé, le cœur du modèle descend à environ 39 Go. Auxquels s'ajoutent près de 29 Go pour cette grande table. Autant vous dire qu'un colosse pareil ne tiendrait jamais dans une carte de 16 Go. Sauf que lui n'est pas construit d'un seul bloc. C'est ce qu'on appelle un mélange d'experts. Imaginez 48 couches successives qui contiennent chacune 512 petits experts spécialisés. Quand on lui demande d'écrire un mot, dans chaque couche, seuls 10 experts sur les 512 se mettent au travail. Autrement dit, à chaque mot généré, la machine ne relit qu'une toute petite fraction du modèle. Et c'est exactement pour cette raison que Flash Next tourne aussi vite que Bonsai sur ma machine, alors qu'il est près de cinq fois plus gros. Mais comment est-ce qu'on fait tenir un géant pareil sans qu'il ? Le secret vient du programme qui le fait tourner, qui s'appelle Strata.

**[8:08]:** Et de sa manière très maligne de ranger le modèle en étage. C'est vraiment l'astuce centrale à retenir. Au 1er étage, tout en haut, dans la mémoire rapide de la carte graphique, Strata place la partie du modèle qui sert systématiquement à chaque mot, ainsi qu'un stock composé d'experts les plus souvent sollicités. Ce stock représente à peine 1/4 de tous les experts du modèle. Mais il suffit pourtant à assurer 85 % des appels. ? Parce que dans la pratique, c'est toujours une petite minorité d'experts qui abat l'essentiel du travail. Quand vous regardez l'occupation de la carte graphique, elle paraît saturée à ras bord, mais c'est voulu. Strata l'a remplie exprès pour maximiser le stock. Au 2e étage, dans la mémoire vive du PC, Strata range tous les autres experts. Et qu'est-ce qui se passe quand un mot réclame quelques experts qui ne sont pas dans la carte ?

**[8:54]:** C'est là que Strata devient redoutable. Au lieu de tout envoyer vers la carte graphique, il fait travailler la carte graphique et le processeur en même temps. Pendant qu'il copie certains experts vers la carte graphique, à la place d'autres qui sont moins utiles, le processeur du PC calcule les autres directement sur place, dans la mémoire vive. Sur ma machine, parmi les experts qui manquent dans la carte, mon processeur en calcule lui-même environ 6/10. Enfin, au 3e étage, sur le disque SSD, Strata laisse cette fameuse table de 29 Go qui fonctionne comme un immense dictionnaire dans lequel on ne vient lire que quelques lignes à chaque mot. Pour bien mesurer le bond en avant, comparez ça avec le programme qu'on utilise d'habitude. Par défaut, la masse CPP découpe le modèle en tranches horizontales et range des couches entières dans la carte graphique. Avec les mêmes 16 Go de place, ce découpage classique ne permettrait de servir, depuis la carte, qu'environ un appel d'experts sur quatre, contre plus de 8/10 avec Strata.

**[9:50]:** Je vous le précise quand même, pour être complet, la masse CPP sait aujourd'hui garder lui aussi un stock d'experts sur la carte. Mais ce n'est pas son réglage par défaut. Il faut l'activer à la main et choisir soi-même chaque réglage. Ça reste très statique. Strata, lui, fait tout ça d'office. Il fait ça de manière dynamique et sait dès le départ quels experts garder sur la carte. Il règle aussi tout seul le partage entre la carte et le processeur selon votre machine. Et c'est précisément dans cette mécanique à étages que mes 64 Go de RAM prennent tout leur sens. Les experts qui restent en attente dans la RAM pèsent à eux seuls 28 Go. Si vous ajoutez la place prise par Windows et la réserve de fonctionnement réclamée par Strata, une machine à 32 Go déborderait. L'ordinateur serait alors forcé d'aller chercher ses experts sur le SSD en permanence, ce qui ferait chuter la vitesse de manière dramatique.

**[10:42]:** D'ailleurs, puisque le processeur calcule une bonne partie des experts directement dans la RAM, la rapidité de ses barrettes de RAM compte énormément. En faisant mes essais, je me suis rendu compte d'un détail tout bête. Je suis allé dans le BIOS, au niveau de l'écran de réglage de la carte mère, et j'ai simplement activé le profil prévu par le fabricant pour mes barrettes de RAM. Elles tournaient au ralenti à 2133 MHz et elles sont passées à leur vitesse normale de 3200 MHz. Rien qu'avec ce clic, sans dépenser un centime, Flash Next est passé d'environ 48 à environ 52 tokens par seconde. C'est un gain d'environ 8 % obtenu gratuitement, juste en vérifiant ses réglages.

**[11:21]:** Faire parler du texte à toute vitesse, c'est très bien, mais qu'est-ce qu'on arrive à fabriquer de concret et de visuel en local avec ce niveau ? Regardez ce plateau de jeu en trois dimensions qui s'affiche à l'écran, avec son décor, ses objets et ce petit personnage au milieu. Tout ce que vous voyez là a été généré en local. Et le plateau que vous voyez maintenant, c'est Flash Next lui-même qui l'a monté dans Blender, le logiciel 3D, avec un petit coup de main sur la fin. Ce petit personnage, vous l'avez reconnu. C'est mon double miniature, fait à mon image et masqué comme moi. D'ailleurs, toutes les démonstrations que vous avez vues dans cette vidéo ont été produites en local chez moi. Et même presque tous les plans d'illustration que vous voyez défiler depuis le début. Pour que vous puissiez vous situer selon votre budget, j'ai mesuré pour chaque atelier la quantité de mémoire réclamée au plus fort du calcul.

**[12:09]:** Et je vous indique à chaque fois s'il vous faut 16, 32 ou 64 Go de RAM sur votre PC. Tout a commencé en deux dimensions pour créer les images de départ de mon double masqué. J'ai utilisé le modèle de génération d'images Z Image. Il sort chaque visuel en quelques secondes à peine. Et un PC de 16 Go de RAM suffit largement. Ensuite, j'ai voulu donner vie à cette image fixe. Là, vous voyez le petit personnage qui s'anime et qui vous fait coucou de la main. C'est le modèle vidéo Minimax H3 qui s'en charge. Sur ce calibre de machine, il lui faut environ 7 minutes de calcul pour sortir 5 secondes de vidéo. Côté création visuelle, c'est l'atelier le plus gourmand en mémoire vive. Et comme pour Flash Next tout à l'heure, il réclame aussi 64 Go de RAM sur le PC pour travailler à l'aise sans que la machine ne suffoque.

**[12:56]:** Pour aller plus loin et l'intégrer au plateau de jeu, j'ai transformé l'image du personnage en un véritable objet en trois dimensions grâce au modèle Hunyuan 3D. Puis, un deuxième modèle lui a glissé automatiquement un squelette articulé à l'intérieur. Et un troisième modèle HY Motion l'a mis en mouvement à partir d'une simple phrase. On lui demande de marcher et il marche. On lui demande de saluer ou de danser et il s'exécute. Pour toute cette chaîne de fabrication en trois dimensions, une machine équipée de 32 Go de RAM fait le travail. Et puis, il y a le son. Rappelez-vous la voix française de Sam Altman au début de la vidéo. Elle est passée par quatre étapes entièrement locales. Le modèle Whisper a d'abord transcrit ses paroles de l'anglais vers le français par écrit. Ensuite, un modèle de langage a adapté le texte en bon français. Et pour continuer, une voix de synthèse l'a lue à haute voix.

**[13:48]:** Et finalement, un dernier outil a ramené cet enregistrement au timbre exact de la voix originale. Tout cet atelier de doublage tourne tranquillement sur un PC équipé de 16 Go de RAM. Alors attention, tout n'est pas magique quand même et je me suis aussi cogné à de vraies limites en chemin. J'ai par exemple testé un petit modèle de 4 milliards de paramètres dont le rôle est de dessiner des objets en trois dimensions en écrivant directement des lignes de code. Honnêtement, le résultat était assez laid. Ça a dépanné peut-être pour poser un cube ou une table grossière, mais soyons clairs, ça ne remplace absolument pas encore le coup d'œil et le savoir-faire d'un vrai graphiste.

**[14:25]:** Il est temps de faire le bilan et de répondre franchement à la question du départ. Quel est le ticket d'entrée réel ? Si vous avez déjà un PC qui tient encore la route à la maison, la dépense indispensable, c'est la carte graphique de 16 Go. En occasion, ça démarre autour de 500 euros. Le reste dépend de ce que vous visez et de la RAM que votre PC a déjà. À condition bien sûr de vérifier que votre bloc d'alimentation est assez costaud et que la carte rentre physiquement dans votre boîtier. Si en revanche, vous partez d'une feuille blanche en achetant tout d'occasion, mes trois paniers résument exactement ce à quoi vous avez accès d'après mes essais. Autour de 845 euros avec 16 Go de RAM, vous faites déjà tourner des modèles très propres. Vous générez des images en quelques secondes et vous doublez des voix. Autour de 980 euros avec 32 Go de RAM, vous débloquez en plus la création et l'animation d'objets en trois dimensions.

**[15:18]:** Et autour de 1260 euros avec 64 Go de RAM, vous ouvrez grand les portes aux modèles géants de 180 milliards de paramètres grâce à Strata, ainsi qu'à la génération de vidéo. Gardez simplement en tête que les prix de ces trois configurations sont des estimations basées sur les annonces d'occasion du moment. Si je devais faire une prévision pour la suite et prenez-la bien comme une simple prévision de ma part, je pense que les cartes de 16 Go sont en train de devenir la porte d'entrée de l'IA à domicile et que tout ce qu'on réussit à faire tourner chez soi suit désormais ce que proposent les grands services en ligne avec environ 12 mois de décalage. D'ailleurs, à l'heure où je vous parle, Flash Next est le plus gros modèle que j'ai réussi à faire tourner avec une carte de 16 Go, mais ça peut changer très vite.

**[16:01]:** C'est un domaine qui bouge énormément. Alors, n'en déplaise à Sam Altman, personnellement, je garde ma RAM et désormais, je la verrai d'un tout autre œil et je la valoriserai comme jamais auparavant. Si vous avez du matériel et de la RAM chez vous, vous disposez déjà d'une vraie autonomie et vous pouvez faire des trucs vraiment sympa. Mais je ne me suis pas arrêté là avec cette machine. Pour la prochaine vidéo, j'ai repris ce même PC tout juste remonté et je l'ai confié entièrement à une des IA qui tournent dessus en local. Avec une feuille de route de 45 tâches pour qu'elle l'administre toute seule de A à Z. Je ne vous raconte pas comment ça a tourné, mais croyez-moi, vous allez vouloir voir la suite. Et ce n'est pas tout. Je prépare aussi des vidéos tutoriels pas à pas sur certains des ateliers que vous avez vu aujourd'hui pour vous montrer comment les reproduire chez vous.

**[16:49]:** Dites-moi dans les commentaires quel atelier vous voulez que je vous montre en détail en premier et mettez-moi la configuration de votre PC ou du vieux PC qui dort encore chez vous. Je vous dirai en réponse ce que vous pouvez faire tourner dessus. Et bien sûr, abonnez-vous pour ne pas rater la suite de l'expérience et les prochains tutoriels. Mettez un like si la vidéo vous a plu et partagez-la autour de vous, surtout à vos connaissances qui auraient encore un vieux PC qui prend la poussière. Bon build et prenez soin de votre mind.
