Как устроены современные LLMs - подробный разбор🚩 Текст для нейросети — это не слова, а токены. Правильная токенизация — основа архитектуры: компрессия текста через подслова и байтовые токены позволяет модели обрабатывать любые слова, сленг и опечатки.🚩 Каждый токен — точка в многомерном пространстве, а модель «думает» статистически, выбирая вероятное направление следующего токена. Логика и рассуждение возникают не как у человека, а как устойчивые статистические структуры больших данных.🚩 Внимание — не биологическая аналогия, а расчетный механизм: каждый токен анализирует важность остальных, пересобирая контекст под задачу.🚩 Модели с авторегрессией (GPT и др.) учатся продолжать последовательности. Масштабирование параметров приводит к появлению новых, «магических» свойств — но всё благодаря статистике.🚩 Выборка токенов (температура, top-k/p) определяет, будет модель строгой или творческой.🚩 Контекстное окно — физический предел: чем длиннее ввод, тем дороже вычисления и выше риск потери важной информации.🚩 Для актуальности знаний всё больше моделей работают по принципу RAG: ищут информацию вне себя (обращаясь к базе встраиваний).🚩 RLHF обучает модель быть социальной и безопасной, а квантование и адаптеры (PEFT, LoRA) делают крупные модели дешевле, доступнее и кастомизируемыми.Подробнее#llms #transformer #neuralnetworks
