Как я собрал LLM-печку на 4 GPU, и на что она способнаВсем привет, недавно я собрал и сейчас активно использую ПК для локального запуска хоть сколько-то серьезных LLM, и захотелось поделиться этим опытом с сообществом. На статью меня сподвигло то, что в рунете до обидного мало информации на тему, как собрать ПК на несколько GPU не на майнерском, не на серверном или не на HEDT, а именно на пользовательском железе. Поговорим, про сложности, про возможности домашнего инференса и про опыт использования локальной LLMhttps://habr.com/ru/articles/1041422/#железо #llm #opencode #агент #сборка #nvidia #multigpu_workstation #homelab #homeserver #ai
Related
🤖 The Aesthetic Boom Is Coming. It Won't Look Like AI.submitted by /u/Independent-Key-1621 [link] [comments]📰 Source: Ar...
🤖 The Aesthetic Boom Is Coming. It Won't Look Like AI.submitted by /u/Independent-Key-1621 [link] [comments]📰 Source: Artificial Intelligence (AI)🔗 Link: https://www.reddit.com/r/a...
🎮 After months of surprising stability in graphics card prices, apparently Nvidia is now raising the cost of its GPU kit...
🎮 After months of surprising stability in graphics card prices, apparently Nvidia is now raising the cost of its GPU kits for AIB partnersAnd that's both for GDDR6 and GDDR7 cards....
📰 Terrific castle-building sim Cataclismo is being transformed into a chunky strategy boardgame, care of a paid Old King...
📰 Terrific castle-building sim Cataclismo is being transformed into a chunky strategy boardgame, care of a paid Old Kingdom expansionExcellent real-time castle defender Cataclismo ...