Transcript

Всем привет Добро пожаловать на первый модуль мини курса с названием полная история семейства gpt Меня зовут котенков Игорь и в ближайшие несколько часов я постараюсь вам рассказать про историю развития семейства gpt возможно по нумерации на слайде у вас появился вопрос А почему она такая странная что ж я надеюсь что описание нашего четырёх модульного плана поможет ответить на этот вопрос Сначала мы постараемся понять как появилась gpt 1 какие мысли какие идеи привели к созданию этой модели и почему она делали те а не иные выборы по ходу создания этой модели После этого мы сделаем Квантовый скачок и постараемся ответить на вопрос как ж опы пришли к гпт 3 Возможно вы задумались где же здесь пт-2 Почему мы её пропустили но уверяю ничего пропущено не будет далее я расскажу чем же Open занимались до выпуска гпт 4 почему появился такой двух с половинный гэп между третьей версии и анонсом Chat gpt четки Ну и собственно четвёртый модуль будет посвящён самым передовым моделям по крайней мере на момент записи этого блока лекций и мы разберём чат gpt gp4 и несколько предшествующих работ и сегодня так как мы занимаемся в первом модуле Мы будем обсуждать вопрос как появилась gpt 1 всего у нас будет три части и сейчас вы смотрите первую часть в этой части в плане У нас есть четыре пункта Мы постараемся вспомнить как обучается трансформер Какие ключевые идеи лежат в основании этой модели далее поговорим про разницу обучения с учителем и без учителя перейдём к очень Возможно не сразу понятной но опосля очевидной идеи которая заключается в том что трансформер - на самом деле компрессор по аналогии с Zip и затем когда мы сделаем такое отступление Я постараюсь ответить на вопрос как же компрессия и сжатия связана с миром НЛП и машинного обучения Итак давайте приступать трансформер архитектура придуманная в 2017 году учёными из Гугла для того чтобы решать задачу машинного перевода Потому что раньше эта задача решалась с помощью рекуррентных нейронных сетей у них есть некоторый набор скажем так недостатков которые мешают использовать их эффективно и произошло чудо Когда в середине 2017 года была опубликована статья Attention asol Unit архитектура Трансформера состоит из двух частей encoder декодер И как вы видите у нас есть некоторая частичка например на французском языке она попадает в модель происходит какая-то магия и на выходе мы получаем перевод на английском языке эта модель является представителем класса задач обучение с учителем или supervised Learning по-английски причина в том что для того чтобы обучить такую модель нам нужно собрать огромное количество пар текст на английском текст на французском Ну или наоборот если мы хотим решать задачу в обратном направлении перевод с французского на английский как показано на слайде и для того чтобы такую выборку подготовить понятно что недостаточно просто щёлкнуть пальцами необходимо собрать большой количество людей дать им задачу оплатить им их работу и так далее и всё всё-таки Несмотря на то что если мы вспомним что трансформер обучается с помощью предсказания тех слов которые мы должны сгенерировать последовательно тем не менее это является примером задачи обучение с учителем что я имею в виду когда говорю что мы обучаемся предсказывать слова в нашем переводе пусть у нас есть то же самое предложение на французском языке и мы должны перевести его на английский язык Мы точно знаем что перевод для него - это фраза I am a Student тогда для первого для первой позиции в предсказываю в целевом предложении мы должны предсказать токен или слово I далее мы должны предсказать M на третью позиции мы должны предсказать A и так далее и так далее но непосредственно соотносить целевой перевод с позициями нам не нужно мы просто пишем одну длинное предложение которое является хорошим и правильным переводом и затем уже алгоритм под капотом работы Трансформера с помощью механизма токенизация разбивает это уже На позиции но сам перевод оригинальный Нам нужен и походу того когда модель обучается или лучше даже сказать когда она уже обучила она будет делать набор предсказаний или распределений вероятности по словарю которую мы можем видеть справа если мы считаем что первым токеном должно быть I то хорошо обученная модель вероятно будет также предсказывать с уверенностью 93 что это должен быть первый токен I затем Мы спрашиваем модель Какой токен должен быть на втором месте в данном случае это будет м модель предсказывает 80% вероятностей и все довольны Это пример того как Мы производим обучение с учителем Несмотря на то что Мы производим по сути предсказание одного слова за другим сначала первое слово потом второе слово потом третье слово это всё ещё обучение с учителем и штука с обучением с учителем в том что вы можете найти математические доказательства того почему оно будет работать математическое обоснование здесь есть две фразы которые вы можете загуглить если вам очень интересно и вы найдёте прямо математический апарат который показывает что если у вас есть некоторая выборка из распределения и вы будете минимизировать ошибку на этом распределении на этой выборке то на новой выборке из того же распределения у вас будет ошибка также уменьшаться со временем по ходу обучения и достигнет некоторого на период заданного значения точнее может достигнуть Если вы конечно же нигде не ошиблись и собрали необходимое количество данных это всё математически доказуемо Но что произойдёт с антиподом обучения с учителем с uns supervised Learning Когда у нас нет заранее заготовленных наборов и здесь ли есть ли какой-то математический аппарат который нам позволит ответить на этот вопрос Ну на самом деле насколько мне известно его нет Есть некоторый набор интуиции возможно вестик но прямо чёткого доказательства того что supervise должен работать в общем случае у нас не имеется это очень интересно потому что если мы посмотрим на самые передовые модели не только в области NLP но также в компьютерном зрении то мы заметим что большинство моделей утилизируют Этот способ а математического обоснования его работы нет и я дальше в презентации постараюсь вам дать понимание того почему это вообще может работать как это как я уже анонсировал в плане связано с компрессией и какая интуиция за этим лежит но Давайте перед этим постараемся ответить на вопрос А чем для нас вообще так интересно обучение без учителя Почему мы хотим его использовать первое конечно что бросается в глаза это то что нам не нужна разметка для данных и при этом если мы умеем каким-либо образом эксплуатировать все доступные нам данные по крайней мере собирать их и после этого предоставлять модели во время обучения то данных будет много Я бы даже сказал очень много на порядке больше чем вручную собранных данных если у вас скажем датасет в 300 млн примеров для изображений как внут один из внутренних датасет Гугла то это кажется что это очень-очень много Но на самом деле если вы начнёте считать количество текстов в интернете или просто изображений не размеченный то цифра будет просто колоссально большая не в сравнение 300 млн и это было бы очень хорошо Если бы мы умели модель на этом обучать каким-то полезным навыкам второе поскольку модель посмотрит огромное количество данных никакие из которых нам не нужно предварительно при процеси то возможно она станет более робастность ofri Ну кажется мы практически все примеры того что только можно было увидеть уже проверили во время обучения и на самом деле Super Le это вещь не новая про неё говорили ещё в Восьмидесятых годах даже описывали в целом подходы которые во многом связаны с тем что мы делаем сейчас но UN практически не работал на моделях маленького размера очень сложно было заметить это этот эффект и поэтому большую часть времени машины обучени развивалось По стопам сбора Татаев и последующего обучения с учителем Однако сейчас 202 в четвёртом году можно сказать что давняя мечта давний не знаю секретный граль машинного обучения виден сува ленга он наконец-то сбылся или осуществился и мы теперь обучаем модели с применением огромного корпуса не размеченный данных с целью Улучшение качества на некоторой выборке но это тоже очень интересно мы наблюдаем по сути это эмпирически что обучение на одной выборке без разметке улучшает качество на нашей целевой выборке но абсолютно непонятно как я уже сказал не существует математического аппарата который бы показывал Почему обучение на одной целевой функции на одном наборе данных влияет на качество на потенциально другом наборе данных с другой целевой функцией кажется Тут даже Связи нет на уровне формулировки не говоря уж на уровне того что может происходить в модели именно на эти вопросы Я постараюсь ответить дальше очень неочевидный но при этом доказуемо факт приготовьтесь любой предиктор может быть обращён в Los компресор и при этом обратное тоже верно что означает lossless компресор это означает что мы умеем некоторый набор данных без потерь То есть вы можете его распаковать на другом компьютере и получить тот же самый полностью работающий набор данных без единого искажения и это как я сказал не очень очевидный факт но при этом он математически доказу если у вас появится вопрос как это вообще в теории может работать Я рекомендую загуглить понятие арифметическое кодирование или Artic encoding decoding и вы сможете уверенно в этом разобраться При этом если мы вспомним как обучают большие языковые модели Если вдруг у вас это знание уже есть то вы можете вспомнить что качество работы вашего алгоритма можно измерить параметрам энтропии и как ни странно понятие энтропии пришло к нам из теории информации на слайде Вы можете видеть определение информационная энтропия - это некоторая мера неопределённости системы в частности непредсказуемость появления какого-либо символа первичного алфавита в нашем случае первичный Алфавит - это что-то над чем работает языковая модель как её входы так и выходы и мы пытаемся оценить Насколько вероятно или невероятно что модель предскажет правильно некоторую последовательность слов и если для вас не очевидна связь того что написано на слайде с ЛП или с языковыми моделями которые мы будем проходить ТО вспомните что вообще-то мы во время обучения оптимизируем энтропию то есть мы оптимизируем неопределённость которая у нас есть и чем меньше неопределённость тем лучше результат нашего предсказания что в целом Вполне логично чем лучше модель понимает наши данные чем лучше она предсказывает тем меньше неопределённость возникающая в этой связи и тем можно сказать более правильная модель у нас находится на руках давайте продемонстрирую это ре пусть у нас есть два примера распределения вероятностей они неполные здесь на самом деле больше двух классов но Давайте посмотрим только на эти два У нас есть левая картинка где вероятности предсказывает и есть картинка где у нас вероятности соотносится как 2 к8 или 20% на 80 в какой из этих ситуаций у нас больше неопределённости интуитивно кажется что на левой потому что у нас непонятно то ли первый класс выпадет то ли второй класс выпадет и ходимо прилагать какие-то дополнительные усилия для того чтобы эту информацию извлечь если мы посмотрим на вторую ситуацию выделенную розовым то мы почти уверены что случится ситуация описываемая классом вторым в 80% случаев по крайней мере Согласно нашей модели это должно происходить модель более уверена у нас меньше неопределённости если модель достаточно хорошая и хорошо угадывает и поэтому если модель угадывает вероятности хорошо и даёт очень высокие вероятности то у нас энтропия меньше неопределённость меньше и Согласно определению того что любой предиктор или предсказательная модель может быть обращена в компрессор получается что вторая модель будет являться лучшим компрессор Давайте в контексте обучения без учителя рассмотрим следующую ситуацию для того чтобы связать компрессию и обучение без учителя А значит и предсказание ива пусть у вас есть два тасе x и y и Оракул вам сказал что у вас есть некоторый компрессор который объективно хорошо сжимает данные как думаете как должен работать этот компрессор на задаче совместного и y то есть когда мы можем эти даты схлопнуть и попытаться их сжать одна из интуиции которая приходит в голову это то что компрессор должен использовать паттерны из X для того чтобы лучше сжать Y То есть если у нас есть какая-то дополнительная информация из X которая актуальна для Y мы можем Это переиспользовать для того чтобы лучше сжать Y И на самом деле для предсказания Это тоже верно если мы берм выборку кото на которой можем изле какие-то полезные паттерны то использование предсказательной модели которая выявляет эти паттерны также должна снижать перплексус формулой то что я только что сказал мы берём и объединяем или контини д X и Y применяем к ним объективно хороший компрессор C и длина дескрипшн которую нам выдаёт этот компрессор она должна быть меньше чем сжатый По отдельности X и Y плюс некоторый overhead о от единицы это Например может быть указание длины размера этого датасета X Ну потому что если мы хотим их сжать вместе нам необходимо запомнить где кончается датасет X и начинается датасет Y иначе эта информация потеряется как минимум такой охд можно обсуждать и на самом деле вы можете убедиться в верности этого выражения даже на своём компьютере я например сделал следующий эксперимент я взял датасет nvk 7 это датасет хранящий первые 10 в седьмой степени байт англоязычной Википедия по крайней мере какого-то дампа и распилил его на два куска первый хранит 3 у 10/6 второй хранит 7х на 10/6 байт в сумме эти два датасета полностью являются аналогий нашего исходного датасета nvx 7 и затем я их пожал утилитой Zip что получилось Давайте посмотрим на размеры файлов опять же вы можете все эти эксперименты проделать у себя в консоли для того чтобы понять что я не вру Если вы просуммировать размеры датасета X И игх сжатых по отдельности даже без добавления какого-то лишнего оверхед то вы видите что размер этих архивов в сумме больше чем размер архива который зажимает одновременно X и Y То есть это подтверждает нас тезис о том что если у вас есть объективно хороший компрессор который умеет находить паттерны в данных и переиспользовать их эффективно то сжимая одновременно СТ X и Y Вы будете использовать какую-то часть знаний из одного датасета для того чтобы лучше пожать другой датасет Ну и обратно на самом деле тоже верно здесь разница конечно незначительна чем будет больше ваш датасет и чем лучше ваша Модель которая находит паттерны и выявляет зависимости тем ше эта разница будет становиться со временем Давайте отвлечся и посмотрим на ситуацию под новым углом пусть у вас есть следующее изображение в нём синий большой эллипс - это то что называется the Universe of Data к сожалению не нашёл хорошего русскоязычного перевода Поэтому будем использовать формулировку либо Вселенная данных либо The univers of Data это всё множество данных которое потенциально может быть валидный в нашей Вселенной Просто большинство из этих данных на самом деле мы не наблюдаем или они ещё не были порождены самый лучший пример который можно привести это либо новое состояние доски в го либо в шахматах либо порядок карт в вашей колоде игровых карт Потому что если Вы хорошо их перемешайте с большой вероятностью вы получите комбинацию которая ни разу до этого в мире не встречалась но при этом эта комбинация Понятно Будет валидно и все данные которые нам доступны которые мы наблюдаем и в идеале наверно Даже записываем сохраняем это лишь очень-очень маленький Островок на этом the Universe ofa это доступные нам данные и на этих доступных данных мы можем либо тренировать наши арит Либо мы можем их сжимать нашим суперум офигенным компрессором Давайте подумаем В чём вообще Наша задача когда мы говорим про этот оранжевый эллипс во-первых если мы говорим что мы хотим обучиться на этом оранжевом эллипсе то мы бы очень сильно хотели чтобы знания которые мы извлекаем при обучении э они были максимально возможны приближены к пониманию природы этих данных то есть мы не просто запоминаем эту выборку и очень хорошо работаем на ней но и также умеем понимать что породило эту выборку и это очень хорошо обобщается или генерализованных то же самое опять же применимо к например к шахматам или го Вы можете натренировать свою модель на одном наборе валидный ходов и ситуация на доске и после этого встречая новую ситуацию модель должна из-за того что она хорошо обобщается она должна предсказывать в среднем достаточно хорошие шаги Возможно даже этого должно хватать для того чтобы победить человека в этих играх и есть очень интересная высказывани рея Соломонова из середины XX века Вот если the Universe of Data создана посредством некоторого алгоритма то выборка наблюдений порождённая им это как раз таки наш оранжевый эллипс лучше всего предсказывает самым маленьким исполняемым архивом этих данных Что такое самый маленький исполняемый архив это в некотором смысле программа которая будучи запущенной или алгоритм который будучи запущенными воспроизведён Ну вы можете сказать Ну так можно же просто запомнить все эти данные но как мы обсудили очень важно уметь находить паттерны в этих наблюдениях которые нам доступны и чем больше паттернов вы найдёте осмысленных тем меньше будет ваш архив потому что вам не придётся записывать большое количество лишней информации вы знаете как эту информацию порождать и тут опять же очень большая связь с компрессией и с моделированием языка большими языковыми моделями или даже обычными языковыми моделями не обязательно большими если вам интереснее углубиться в тему того что ещё подразумевается под самым маленьким исполняемым архивом Вы можете загуглить следующую формулировку Minimum description length или mdl сокращённо это на самом деле один из основных принципов машинного обучения который достаточно хорошо объясняет Почему что-то вообще должно работать возможно вас смущает формулировка Есть ли The univers of Data создана посредством алгоритма является ли наша Вселенная результатом некоторого алгоритма Ну тут понятно что алгоритм имеется в более широком смысле это не обязательно какая-то компьютерная программа которую мы можем запустить это в том числе просто некоторый набор грубо говоря природных вещей которые нам даны свыше такие как законы физики или принцип того как думают люди или как устроен наш язык они все имеют в некотором смысле свою систему Да эти системы имеют исключения но так или иначе есть некоторые закономерности которые лежат в основе всех данных которые мы можем наблюдать и мы можем очень хорошо научиться предсказывать эти вещи а то что мы не умеем предсказывать мы будем называть шумом или просто энтропией которую мы не можем хорошо предсказать и как раз эту энтропию Обычно нужно будет записывать как дополнение грубо говоря к нашим предсказаниям Мы про это мы чуть позже ещё поговорим самое интересное что всё это предложение оно математически доказуемо и оно работает в нашей жизни собственно самый маленький исполняемый архив - это и есть mdl это понятие неразрывно связано со следующим понятием колмогоровская сложность это мера вычислительных ресурсов необходимых для точного определения какого-то объекта колмогоровская сложность указывает на лучший из возможных компрессоров понятно что лучший из возможных компрессоров это тот который даёт архив самого маленького размера но можно что это определение оно для нас бессмысленно и практически неприменимо почему же потому что колмогоровская сложность или колмогоровский компрессор - это не Вычисли вещи это не алгоритмы не существует эффективного способа вычисления то есть колмогоровская сложности и глядя на какие-то данные или на любую на самом деле сущность мы не можем оценить какая у неё колмогоровская сложность мы можем посчитать коровку сложность для какого-то обекта и сравнить е например с реализацией другого компрессора и сказать вроде бы лучше другого потому что он более эффективно сжимает Но насколько от этого Лайна можно улучшить мы не можем определить даже наверное для самых простых программ которые там чуть-чуть сложнее чем игрушечные примеры это невозможно И тут я бросаю вас очень интересное утверждение по ходу тренировки нейросети обучаются сжимать данные Ну почему это правильно давайте рассмотрим языковые модели мы обучаем их на Крос энтропию по ходу улучшения Крос энтропии по ходу обучения нашей модели также уменьшается и энтропия А как мы уже выяснили Чем ниже энтропия тем лучше происходит компрессия очень легко об этом рассуждать в терминах компрессия тогда можно сказать что процесс обучения стохастическим градиентным спуском любой глубокой нейросети - это в некотором смысле поиск оптимальной программы моделирующий зависимости в данных и воспроизводящих эти данные Тут ещё есть очень интересное слово cqu обязательно запомните его Мы про него поговорим ближе к концу нашего модуля итак по ходу обучения мы тренируем нашу модель лучше сжимать данные или сжимать их наилучшим образом это как мы верим улучшает генерализации и обобщающую способность Почему Потому что мы приближаемся к некоторой колмогоровский сложности наших данных и если мы не переусердствуй с выучиваем каких-то лишних паттернов то мы обеспечиваем лучшее сжатие которое приводит к меньше энтропий собственно когда мы обучаем нашу модель мы смотрим на график энтропии и говорим Ну да вроде стало лучше очень важно понимать что Несмотря на то что мы обучаемся на нашем оранжевом эллипсе Мы очень сильно переживаем за качество работы нашего алгоритма на тех данных которые мы ещё не видели или которые потенциально ещ даже не существуют но не могут появиться в нашем мире например новое состояние доски или в шахматах для этого нужно тренировать нети И на самом деле любой другой алгоритм так чтобы они не запоминали тренировочную выборку а находили некоторые паттер есть уме запоминания влом что ничего я вам нового не сказал с точки зрения теории машинного обучения Однако Как вы видите это всё имеет прямую связь с компрессией то есть сжатием данных с более эффективно Давайте подумаем как вообще это вписывается в практическую картинку Сначала я дам верхни уровневое описание а затем мы пошагово разберём что вообще происходит перед вами график обучения большой языковой модели семейства Лама Лама 1 из оригинальной статьи 2023 года если вы не знаете что такое Лама ничего страшного Это просто большой Трансформер который очень долго обучается на задаче предсказания следующего слова или следующего токена На огромном корпусе данных здесь показана одна Эпоха то есть нени одни данные здесь не повторяются и глядя на этот график что мы можем сказать У нас здесь изображена энтропия которая у нас получается при обучении модели в этом датасете всего представлено порядка 5,6 терабайт сырого текста если мы посмотрим на этот график то это график функции потерь обучения нашей модели поскольку мы обычно обучаем то мы можем посчитать сколько перплексус модели Для этого нам нужно взять интеграл по всей площади обучения нашей модели просуммировать все индивидуальные энтропии которые у нас возникают и Если вы это сделаете у вас получится примерно 400 ГБ энтропия Почему я говорю 400 ГБ энтропии потому что энтропия как я говорил - это мера неопределённости и существует эффективный способ её выразить в машиночитаемом виде Поэтому если у вас есть три бита энтропии то вы можете потратить 3 бита в вашем компьютере для того чтобы эту энтропию закодировать если вам интереснее углубиться в эту тему Или вы не хотите верить мне на слово что в целом правильно вы можете загуглить арифметическое кодирование которое я уже упоминал раньше Но самое главное Во что вам нужно поверить или проверить Если вы любознательность есть к бит энтропии то вы можете её сжать примерно к битами реальной информации и Чуть позже я покажу почему это важно и почему это работает и к этим 400 гбм энтропии мы добавляем некоторый код который собственно производит обучение этой модели На некотором датасете а чуть позже станет понятно какие требования к этому коду мы предъявляем и почему я здесь пишу примерно 1 Мб если мы верим в эту ситуацию в эту картину то получается что мы оригинальный датасет 5,6 ТБ сжимаем до 400 ГБ для примера Существует такой конкурс называется The hatter Price он существует Больше 15 лет и его задача - это эффективно сжать 1 ГБ Википедии раньше было чуть меньше Но сейчас это 1 Гб и люди много-много лет бьются над тем чтобы по чуть-чуть улучшать сжатие и вот там достигают сжатия менее чем в дев раз а тут мы нажимаем языковую моделью по ходу её обучения более 5 ТБ текста в 14 раз то есть мы получаем гораздо более эффективное сжатие и от исследований из de майда есть очень интересная статья называется Language modeling is compression очень рекомендую с ней ознакомиться и в целом там как раз происходит сравнение традиционных способов сжатия изображений звуков и других модальностей и того что делает обычный трансформер спойлер трансформер оказывается наиболее эффективным компрессором лучше чем специально заточные алгоритмы просто потому что он находит гораздо больше паттернов в Информации но Давайте постараемся вообще понять вот я только что говорил про то что мы возьмём 400 гиб энтропии как это вообще связано с компрессией и почему компрессия - это на самом деле достаточно честный бенчмарк того как ваша модель сжимает Почему в нём нельзя читерить давайте мы очень обыденную ситуацию У вас есть суперкомпьютер оди и суперкомпьютер д между ними есть канал с низкой пропускной способностью такой кабель протянут по которому вы можете передавать информацию достаточно ограниченно поэтому вам хочется сжать эффективно все ваши данные несколько документов несколько десятков тысяч документов потенциально и передать их на второй сервер напомню что мы говорим про суперкомпьютеры у вас огромное количество вычислительных мощностей поэтому обучение и применение моделей не станет проблемой что мы делаем первое мы пишем скрипт который умеет инициализировать детерминировано трансформер То есть если вы этот скрипт запустите несколько раз он инициализирует один и тот же Случайный трансформер при этом понятно что весь скрипт Сам он не хранит весов он лишь хранит например сит генерации Ну и также в этот скрипт в окружение можно сложить все бинари для парча Куда докеры В общем всё необходимое по для того чтобы на другом компьютере можно было воспроизвести точно такой же трансформер Затем вы делаете очень логич вещь вы этот файл Обратите внимание что мы говорим только про файл передаёте на другой сервер поскольку мы говорим про то что этот файл умеет при запуске инициализировать детерминированный трансформер на другом суперкомпьютеров такая же модель и обе эти модели не будут обученными то есть они очень плохо предсказывают текст буквально случайно выбрасывая те или иные токены и никакого качественного предсказания ждать не нужно Что мы делаем далее мы начинаем обучать наш трансформер локальный на Супер компьютере подавая в него документы которые нам необходимо передать тренировке мы кодируем всю энтропию То есть все ошибки предсказания которые возникают у первого Трансформера и передаём их Через наш канал с низкой пропускной способностью и утверждается опять же из арифметического кодирования и теории информации что суммарно у вас здесь будет Вот сколько написано на Формуле бит информации необходимо передать и на прошлом слайде мы выяснили что Для датасета текста объёмом 5,6 тба при обучении модели Lama 2 вам необходимо будет передать порядка 400 ГБ вот этих вот кодов Z который используется для того чтобы на удалённой машине производить декодирование чуть позже мы этого коснёшься разница между тем что модель предсказала и тем что у нас появилось в реальной ситуации и ровно эту разницу мы и будем кодировать напомню что энтропию принято оценивать в байтах или в битах то есть В некоторой мере объёма информации и это не зря потому что у нас существуют алгоритмы которые позволяют кодировать напрямую эту энтропию не идеальность наших предсказаний и ровно столько сколько мы говорим Нам необходимо бит энтропии ровно столько нам и нужно для компьютера для того чтобы эти информацию сохранить Ну и в нашем случае передать Если я говорю у нас получается 6 бит энтропии Значит нам потребуется порядка 6 бит для того чтобы сохранить эту информацию Ну и глядя на формулу легко проверить что это правда Давайте предположим что наша модель предсказывает идеально То есть она правильному токену X с индексом т даёт вероятность единица тогда логарифм по основанию двух от единицы будет нулём и для того чтобы нам закодировать информацию которую модель предсказывает идеально нам потребуется но бит невероятно А если предсказанная вероятность Очень низкая то получается что выражение значения логарифма по основанию 2 от какого-то очень маленького числа это будет очень большое число и ровно столько бит нам потребуется для того чтобы эту информацию закодировать Так мы приходим к ситуации что чем лучше предсказывает модель тем меньше у нас бит энтропии тем меньше нам приходится кодировать но Ключевое что здесь важно понять как я уже обратил Ваше внимание если мы говорим что у нас существует пя бит энтропии тогда для того чтобы закодировать эти 5 бит энтропии 5 бит неопределённости относительно предсказаний Трансформера Вам необходимо потратить практически 5 бит информации и ровно эти пять бит вы передаёте что происходит на втором суперкомпьютер вы берёте ваш трансформер и подаёт в него например служебный токен beginning of sentence начало предложения этот токен всегда одинаковый и получаете некоторое предсказание для первого токена P1 но это не определённое предсказание это распределение вероятности по всем токенам из вашего словаря из него непонятно как получить какой-то конкретный токен потому что у нас модель инициализирована случайно она никак вообще абсолютно не предсказывает Наш текст и это может быть и первый токен и сотый токен и тысячный токен абсолютно мы не понимаем и тут как раз нам приходит на помощь та самая закодированная энтропия те коды Z которые мы также передаём через канал с низкой пропускной способностью мы добавляем эти коды к нашим вероятностям и применение этих кодов позволяет нам воссоздавать оригинальный датасет в данном случае мы воссоздали первый токен из датасета X пер я не буду вдаваться в подробности и объяснять как работает корректирование распределение вероятностей с помощью арифметического козирок сиров Z но опять же вам просто нужно либо проверить самостоятельно либо поверить мне на слово что если я говорю У вас есть 5 бит энтропии Вы передаёте по вашему каналу с низкой пропускной способностью 5 бит эти 5 бит каким-либо специальным алгоритмом применяются к распределению вероятности P1 Мы в таком случае складываем P1 и Z1 и получаем токен X1 и эту же операцию можем повторить снова мы берём наш токен X1 подойдём в начало нашего Трансформера и таким образом генерируем вероятно для второго токена понятно что ровно это же мы делаем и на Супер компьютере о слева на суперкомпьютер о слева мы это сделали получили нашу ошибку закодировали энтропию то есть невязку нашего предсказания насколько наша модель сильно ошибается отправили е в канал с низкой пропускной способностью получили этот код справа у нас уже есть распределение вероятностей для того второго токена мы добавляем к нему корректирующий код и получаем второй токен ирав повтор этот процесс мы таким образом сказания для первого Бача и потом одновременно когда мы например получили А по 2.000 токенов на каждом из суперкомпьютеров мы делаем шаг градиентного спуска для обучения модели и наша модель становится чуть-чуть лучше в предсказании токенов по ходу тренировки по ходу обучение получается на нашем большом большом датасете у нас падает перплексус меньше и меньше и меньше бит для того чтобы передать по нашему каналу с низкой пропускной способностью коды кодировки то есть Чем точнее наша модель предсказывает тем меньше нам нужно будет передавать в самом начале мы будем передавать очень много лишних бит Ну они не являются лишними В ремом смысле но это не очень эффективная репрезентация текста Однако с какого-то момента вам потребуется например меньше 8 бит на оди байт информации То есть если у вас есть Например мегабайт текста для того чтобы воспроизвести его на втором суперкомпьютер с помощью Трансформера который потихонечку обучается вам потребуется скажем пол мегабайта и отсюда возникает выигрыш если мы повторим это на на огромной выборке то мы получим суммарно сжатие как я уже говорил на прошлом слайде примерно в 14 раз это работает сильно лучше компрессия самый главный Аспект Обратите внимание мы не передаём веса Трансформера мы передаём лишь скрипт который случайным образом инициализирует Но каждый раз одинаково одну и ту же модель поэтому обучая её одновременно на двух суперкомпьютера мы имеем возможность получать одни и те же наборы вероятностей P1 P2 P3 и так далее для того чтобы с одной стороны кодировать датасет а с другой стороны воспроизводить его и когда мы закончим эту процедуру у нас на суперкомпьютер 2 появится полноценно весь абсолютны датасет при том что мы передали сильно-сильно меньше данных чем необходимо было Ну и как я уже сказал на практике это работает гораздо лучше традиционных компрессоров но тут у вас возникает вопрос А зачем почему тогда так не делают Зачем используют какие-то другие способы компрессии ответ очевиден для того чтобы прогонять трансформер много-много раз Особенно если это трансформер большой вам требуется большое количество вычислительных мощностей Поэтому с точки зрения энергозатрат это не очень эффективно но Напоминаю что мы ВС ещё находимся в контексте компрессии для нахождения паттернов и если наш трансформер очень хорош в нахождение паттернов а Глядя на график функции потерь или энтропии которая остаётся в предсказаниях модели это подтверждается мы получаем улучшение относительно лайно по компрессии интерес фак взто языковые модели были предложены ном в честь которого названа тропи Нона в 1948 году именно с такой постановкой задачи У вас есть два абонента и между ними есть канал с низкой пропускной способностью и каким-то образом нужно эффективно научиться передавать данные так чтобы на это уходило как можно меньше времени Ну и собственно Шен пришёл к идее того что можно использовать изы ковы модели для того чтобы иметь некоторую базовую Модель которая строит предсказание а затем использовать коды корректировки Z чтобы корректировать энтропию и передавать её это собственно вся абсолютно схема которую мы только что с вами проговорили Если вам непонятно как работает корректировочный код з как я говорил уже дважды загуглите пожалуйста объяснение арифметического кодирования и надеюсь вам всё станет Понятно Ключевое Я уже повторил кажется трижды Если у вас есть Шесть бит энтропии п бит энтропии вам нужно столько же бит для того чтобы передать их по каналу связи и применяя эту энтропию поверх предсказаний вы получаете оригинальные токены X1 X2 и таким образом и если это не очевидно мы сейчас говорим полностью про компрессию без потерь то есть на суперкомпьютер номер д на картинке справа у нас появится ровно тот же самый датасет он ни один вид информации в нём не будет искажённом какие-то космические лучи которые мешают нам передавать информацию тем не менее всё это будет считаться очень эффективно Ну что ж получилась достаточно объёмная лекция Давайте подводить итоги первое к чему Мы пришли это то что пред обучени без учителя в теории помогает выявлять полезные паттерны потому что с точки зрения теории информации если мы говорим про компрессию а предсказание равно компрессия в нашем контексте мы по сути изма взаимную информацию из двух наборов данных и используем её для того чтобы лучше работать с одним из этих наборов или на самом деле можно и с двумя и чем лучше наша модель улавливает паттерны тем она по сути эффективнее сжимает то есть тем ниже у неё кронт тем ниже у неё плекси А значит эта модель и лучше сказывает кажется что это ситуация winwin где мы и лучше сжимаем и лучше предсказываем при этом качество компрессии можно улучшать огромным количеством разных трюков самый простой - это увеличение вашей модели потому что она сможет находить больше паттернов возможно часть необходимой информации которая часто мелькает в данных ей придётся запомнить но можно и улучшать архитектуру и обшивать вашу модель Или не обязательно модели какой-то алгоритм дополнительными приёмами и в конечном итоге мы больше всего переживаем за генерализации а не энтропию во время нашей тренировки то есть мы должны удостовериться что наша модель не переобуться на тех данных которые мы даём И что она очень хорошо обобщается на The univers of D и очень важно что мы здесь когда говорим про языковые модели Почему важно что мы работаем с языком Потому что люди стараются в тексте делать очень последовательное изложение информации и это наша лучшая попытка нашего Это в смысле всего человеческого вида максимально эффективно закодировать ВС что касается мира вся физика вся математика вся теория которая у нас есть Она обычно написана на бумаге её можно прочитать с ней можно ознакомиться И самое главное - это очень удобный интерфейс если у нас будет модель которая умеет естественным языком описывать паттерны которые Она находит в данных и мы можем на основе этого как-то учиться и утилизировать то это будет тоже очень круто а на этом первая часть заканчивается буду ждать вас в следующей части

Seek backward 5s ←
Longer seek (10s) Shift ←
Play Space Seek forward 5s →
Longer seek (10s) Shift →
0:00 Auto-scroll A Copy link at current time S

Лекция. GPT-модели - 1. Обучение без учителя и даныне в трансформере