#ai #stem #STEMedu Interesting, with the current training set (Moby Dick) the model hits a Brickwall at validation loss ...

#ai #stem #STEMedu Interesting, with the current training set (Moby Dick) the model hits a Brickwall at validation loss 1.5. It learns to form English words and Sentence - like phrases, and that's it. Turning up Model size makes the response better but the 1.5 remain a hard limit till now.

Read Original

Related

Mastodon discussion 25m ago

Как мы выбирали планировщик GPU-задач для Nova AI: Volcano, Kueue и KAI Scheduler. Часть 1Всем привет! Меня зовут Дима М...

Как мы выбирали планировщик GPU-задач для Nova AI: Volcano, Kueue и KAI Scheduler. Часть 1Всем привет! Меня зовут Дима Матушкин, я инженер в команде Nova и занимаюсь развитием Nova...