Ассистент без облака: локальные языковые модели вышли на обычные ноутбуки
Новые компактные модели работают офлайн и помещаются в память смартфона. Что они умеют и где пределы.
Денис Кравец
15 октября в 09:00 · 2 мин чтения
Ещё два года назад запустить языковую модель на ноутбуке было развлечением для энтузиастов. Сегодня компактные модели отвечают на вопросы, пересказывают документы и пишут код без подключения к сети.
Что изменилось
- модели научились сжимать без заметной потери качества;
- в процессорах появились блоки для матричных вычислений;
- оперативной памяти в базовых ноутбуках стало больше.
Главный аргумент в пользу локальных моделей — приватность. Документы не покидают устройство, а значит, их можно использовать для работы с конфиденциальными данными.
Локальная модель — как калькулятор: не самая умная, зато всегда под рукой и никому ничего не рассказывает.
Пределы
Компактные модели чаще ошибаются в фактах и хуже справляются с длинными рассуждениями. Для сложных задач облачные системы пока вне конкуренции, но разрыв сокращается каждые несколько месяцев.
Материал вымышлен и опубликован в демонстрационных целях. Персонажи и цитаты не относятся к реальным людям.
