#llmПришел к выводу, что с 16Gb ram без gpu малютки 8-9b не способны выполнять задачи в агентных средах более чем 3 шага. Они просто забавют поставленную задачу. Испытаны были qwen3.5, ministral, lfm2.5, ornith1.0, gemma4. На фоне остальных хорошо выглядит гемма4:12b, но все равно и её использовать нельзя, упирается в ограниченность ресурсов. Неплохо себя показал дебютант ornith, скорость общения ~4.5т.сек. поговаривают, что он произошел от скрещивания qwen и gemma. К слову модель 35b работает быстро замечательно на соответствующем железа с gpu. Вывод: малыши пока ещё не умеют творить чудеса, но их вполне можно использовать как локальную википедию, советника или на не сложную задачу в 1-2 действия.
Related
040. Квантизация моделей: как уменьшить требования к оборудованиюКвантизация моделей: как уменьшить требования к оборудо...
040. Квантизация моделей: как уменьшить требования к оборудованиюКвантизация моделей: как уменьшить требования к оборудованиюГлавное здесь — не сама технология, а то, какую проблем...
036. Как обращаться к Ollama через APIКак обращаться к Ollama через APIГлавное здесь — не сама технология, а то, какую п...
036. Как обращаться к Ollama через APIКак обращаться к Ollama через APIГлавное здесь — не сама технология, а то, какую проблему человека или бизнеса она решает. API позволяет прило...
032. Как запускать нейросети без передачи данных во внешнее облакоКак запускать нейросети без передачи данных во внешнее...
032. Как запускать нейросети без передачи данных во внешнее облакоКак запускать нейросети без передачи данных во внешнее облакоГлавное здесь — не сама технология, а то, какую пробл...