Хотите собрать свою собственную большую языковую модель (LLM) с самого начала? Курс CS336 «Language Modeling from Scratch» как раз об этом! Вы пройдёте весь путь: от поиска и подготовки данных до обучения и запуска готовой модели.

А самое классное — все материалы (лекции, код, блокноты) выкладывают в открытый доступ. Так что вы сможете сами всё попробовать и поэкспериментировать, даже если у вас всего пара видеокарт или вы пользуетесь Google Colab.

Курс очень практический, так что готовьтесь много кодить! В домашних работах вам предстоит написать с нуля Трансформер, реализовать свой FlashAttention 2 на Triton, настроить распределённое обучение и разобраться в таких темах, как законы масштабирования, фильтрация данных и обучение с подкреплением. Главное — хорошо владеть Python и PyTorch, и всё получится