Что такое LLM (Large Language Model)

Коротко: LLM — это глубокая нейросеть, обученная на огромных объёмах текстовых данных, которая может генерировать текст, отвечать на вопросы, переводить, кодировать и решать другие языковые задачи.

Основные характеристики

Масштаб:

• Миллиарды или триллионы параметров (весов сети)
• Обучена на текстах размером в сотни миллиардов токенов
• Примеры: GPT-4 (~1.7T параметров), Claude 3, Llama 2 (70B), Yandex GigaChat

Архитектура:

• Transformer (самовнимание, позиционное кодирование)
• Авторегрессивная генерация: предсказывает следующий токен на основе предыдущих

Обучение:

• Pre-training: общее обучение на интернет-текстах
• Fine-tuning: специализация (инструкции, safety, определённые домены)

Что может LLM

• Текст-генерация: написание статей, кода, писем, стихов
• Классификация / анализ: определение тональности, категоризация, извлечение информации
• Вопрос-ответ: Q&A на основе текста или знаний
• Перевод, резюмирование, переписывание
• Рассуждение: решение логических задач, планирование, chain-of-thought
• API / интеграция: встраивание в приложения через API (OpenAI, Anthropic, Yandex Cloud и т.д.)

Основные примеры

Ограничения LLM

• Галлюцинации: может выдумывать факты, которых нет в данных
• Знания до даты обучения: требуется RAG или дообучение для свежих данных
• Дорого: обучение и инференс требуют серьёзных вычислительных ресурсов
• Непредсказуемость: иногда даёт неправильные ответы на простые вопросы
• Контекст ограничен: даже длинные модели имеют потолок (100K-200K токенов)

Применение в enterprise

• Поиск и аналитика (RAG-системы)
• Автоматизация: классификация писем, извлечение данных из 1С документов
• Чат-боты: support, внутренние консультанты
• Генерация контента: отчёты, документация, SEO-описания
• Кодирование: GitHub Copilot, assistants в IDE