LLM-wiki против RAG: Оцениваем и сравниваемПро LLM-wiki здесь уже было несколько хороших статей ( 1 , 2 и 3 ), поэтому п...

LLM-wiki против RAG: Оцениваем и сравниваемПро LLM-wiki здесь уже было несколько хороших статей ( 1 , 2 и 3 ), поэтому подробно останавливаться на идее Andrej Karpathy не буду. В двух словах: вместо RAG-ретривера - wiki-агент, вместо чанков из сырых документов - связанные концепт-страницы, вместо обновления - перекомпиляция и поиск «битых» ссылок. Насколько LLM-wiki лучше, или может быть хуже чем RAG, пусть даже простейший, с обычным векторным поиском? И как их можно сравнивать? Кажется, общепринятой методики оценки ещё не сложилось. Тем не менее я попробовал, и получил неожиданные результаты. Об этом и расскажу, а ещё о методике оценки, о wiki-агенте для тестов, о том что получилось, что - нет, и даже сколько это стоило.https://habr.com/ru/articles/1058252/#llm #llmагенты #wiki #rag #оценка_качества #claudecode #langchain #rag_система #wilcoxon_scores