Как я обучил GPT с нуля на русском языке — и что из этого получилосьВсё началось с наивной мысли: зачем платить за API или тащить 7B-модель, если мне нужна маленькая модель для простых разговоров на одном языке? Логика казалась железной — большие модели умеют всё и на всех языках сразу, но это же избыточно. 0.7B, заточенная под один язык и один стиль общения, должна справляться не хуже. Спойлер: это было наивно. Но путь оказался ценнее результата.https://habr.com/ru/articles/1037532/#GPT #LLM #pretraining #распределённое_обучение #Google_Colab #RoPE #GQA #SwiGLU #NLP #русский_язык
Related
not a fan of the 100% AI generated presentation slides (especially when every single slide in the deck was generated…) w...
not a fan of the 100% AI generated presentation slides (especially when every single slide in the deck was generated…) would rather see raw plots, real images, & even typos! it see...
🕹️ ModRetro Finally Reveals M64 AV Adapter, Now Available🤝Don't want to see ads? Become a premium member for $3 a month ...
🕹️ ModRetro Finally Reveals M64 AV Adapter, Now Available🤝Don't want to see ads? Become a premium member for $3 a month and support an independent publication today!One of the M64 ...
Looks like Flatpak discovery will move from one mostly generally accepted hub to a gazillion of repos since the performa...
Looks like Flatpak discovery will move from one mostly generally accepted hub to a gazillion of repos since the performative LLM complaints have befallen the possible single hub. (...