Markov Chains: From Feud to Google — Full Breakdown & Transcript

[00:02] колоду карт, чтобы она стала по-настоящему случайной? Сколько урана необходимо для создания ядерной бомбы? Как можно предсказать следующее слово в предложении? А как Google узнает, какую именно страницу вы ищете?

[00:16] Ответы на все эти вопросы нам известны благодаря странному математическому спору в России, произошедшему более ста лет назад. В 1905 году социалистические группы по всей России восстали против Фесара, правителя

[00:31] империи. Они требовали полной политической реформы или, в случае невозможности ее проведения, его полной отставки. Это разделило страну на две части. Итак, с одной стороны у нас царисты, верно? Они хотели защитить существующее положение вещей и

[00:46] сохранить царя у власти. Но с другой стороны были социалисты, которые хотели провести всеобъемлющую политическую реформу. И это разделение было настолько сильным, что проникло во все сферы общества, до такой степени, что даже математики начали

[00:59] занимать чью-либо сторону. На стороне зара был Павел Некросов, неофициально прозванный был Павел Некросов, неофициально прозванный заром вероятности. Некрасов был глубоко религиозным и влиятельным человеком, и он использовал свой статус, чтобы доказать, что математика может

[01:12] быть использована для объяснения свободы воли и воли Бога. Его интеллектуальным противником на стороне социалистов был Андрей Маров, также известный как Андрей Яростный.

[01:24] Маров был атеистом и не терпел людей, которые не были достаточно строги в своих суждениях, к чему он относился, считая компанию Necrosoft, поскольку, по его мнению, математика не имела ничего общего со свободой воли или религией. Поэтому он публично раскритиковал

[01:36] работу Necrosoft, включив её в список злоупотреблений в математике. Их вражда была сосредоточена на главной идее, которую люди использовали для построения вероятностных уравнений на протяжении последних 200 лет. И мы можем проиллюстрировать это простым подбрасыванием монеты. Когда я подбрасываю монету

[01:51] 10 раз, шесть раз выпадает орел, а четыре раза решка, что, очевидно, не соответствует ожидаемому соотношению 50/50. Но если я буду продолжать подбрасывать монету, то поначалу соотношение будет сильно колебаться. Но после большого количества переворотов мы видим,

[02:04] что ситуация постепенно стабилизируется и приближается к соотношению 50/50. В этом случае после 100 подбрасываний мы получаем 51 орёл и 49 решек, что почти точно соответствует ожидаемому результату. Поведение, при котором средний результат всё больше

[02:19] приближается к ожидаемому значению по мере проведения всё большего числа независимых испытаний, известно как закон больших чисел. Впервые это доказал Якоб Берноли в 1713 году, и это была ключевая концепция, лежащая в основе

[02:33] теории вероятностей вплоть до Марова Некросова. Но Берни доказал, что это работает только для независимых событий, таких как честное подбрасывание монеты или когда людей просят угадать, сколько, по их мнению, стоит тот или иной предмет, где одно событие не влияет на другие. А

[02:49] теперь представьте, что вместо того, чтобы просить каждого человека высказать свою догадку индивидуально, вы просите людей публично выкрикнуть свой ответ. В этом случае первый человек может посчитать эту вещь чрезвычайно ценной

[03:02] и сказать, что она стоит около 2000 долларов. Но теперь все остальные люди в комнате находятся под влиянием этой ценности, и поэтому их предположения стали зависимыми друг от друга. И теперь среднее значение не сходится к истинному значению, а вместо этого группируется

[03:17] вокруг более высокой величины. Таким образом, на протяжении 200 лет теория вероятности основывалась на ключевом предположении, что для соблюдения закона больших чисел необходима независимость. Именно эта идея послужила толчком к вражде между Некросовым и Маровым. Видите ли, Некросов согласился

[03:34] с Берноли в том, что для получения закона больших чисел необходима независимость. Но он пошел еще дальше. Он сказал: «Если вы посмотрите на закон больших чисел, вы сможете сделать вывод, что лежащие в его основе события должны быть независимыми». Возьмите эту таблицу

[03:48] должны быть независимыми». Возьмите эту таблицу бельгийских браков с 1841 по 1845 год. Теперь вы видите, что каждый год в среднем приходится около 29 000 браков. Таким образом, похоже, что значения сходятся и, следовательно, подчиняются закону больших чисел.

[04:01] социальные статистические данные, такие как уровень преступности и рождаемость, он заметил схожую закономерность. А теперь подумайте, откуда берутся все эти данные. Это происходит из-за решений вступить в брак, решений совершать преступления и решений заводить

[04:15] детей, по крайней мере, в большинстве случаев. Поэтому компания Necrosoft рассудила, что, поскольку эти статистические данные подчиняются закону больших чисел, решения, которые их приводят, должны быть независимыми. Иными словами, он утверждал, что это должны быть акты свободной

[04:27] воли. Поэтому для него свобода воли была не просто чем-то философским. Это было нечто, что можно было измерить. Это было научно обосновано. научно обосновано. Но Марову казалось, что Некросов страдал от бреда.

[04:40] Он считал абсурдным связывать математическую независимость со свободой воли. Поэтому Маров поставил перед собой задачу доказать, что зависимые события также могут подчиняться закону больших чисел и что с зависимыми событиями можно проводить вероятностные расчеты.

[04:56] Для этого ему нужно было нечто такое, где одно событие явно зависело бы от того, что было до него. И ему пришло в голову, что именно это и происходит в тексте. Будет ли ваша следующая буква согласной или клятвой, во многом зависит от того, какая буква стоит перед вами сейчас.

[05:10] Чтобы проверить это, Маров обратился к стихотворению, занимающему центральное место в русской литературе. « Юджин Аниган» Александра Пушкина. Он взял первые 20 000 букв стихотворения, убрал все знаки препинания и пробелы и сложил их в

[05:25] одну длинную последовательность символов. Он подсчитал буквы и обнаружил, что 43% из них были гласными, а 57% — согласными. Затем Маров разделил цепочку на перекрывающиеся пары. Это дало ему четыре возможных комбинации. Vow, vowel,

[05:40] consonant, consonant, vow, consonant, or consonant vowel. Если бы буквы были независимыми, вероятность образования пары «клятва/клятва» была бы равна вероятности образования одной и той же клятвы дважды, что составляет примерно 0,18 или 18% вероятности.

[05:56] Но когда Маров провел подсчет, он обнаружил, что клапанные пары встречаются лишь в 6% случаев, что намного реже, чем если бы они были независимыми. А когда он проверил остальные пары, то

[06:08] обнаружил, что все фактические значения сильно отличались от того, что предсказывал бы независимый случай. Таким образом, Маров доказал, что буквы взаимозависимы. А чтобы победить Некросова, ему оставалось лишь показать, что эти буквы по-прежнему

[06:22] подчиняются закону больших чисел. Таким образом, он создал своего рода машину прогнозирования. Он начал с того, что нарисовал два круга: один для гласной, другой для согласной. Это были его штаты. Допустим, вы находитесь на гласной букве, тогда следующая буква может

[06:37] быть либо гласной, либо согласной. Поэтому он нарисовал две стрелки, чтобы обозначить эти переходы. Но что же представляют собой эти вероятности перехода? Маров знал, что если выбрать случайную начальную точку, то с

[06:49] вероятностью 43% это будет гласная буква. Он также знал, что пары валентных последовательностей встречаются примерно в 6% случаев. Чтобы найти вероятность перехода от одной гласной к вероятность перехода от одной гласной к другой, он разделил 06 на 43,

[07:03] получив вероятность перехода около 13%. А поскольку существует 100% вероятность того, что следом будет другая буква, суммарное число стрелок, идущих из одного и того же штата, должно равняться единице. Таким образом, вероятность перехода к согласной составляет 1 минус 0,13, или 87%.

[07:21] Он повторил этот процесс для согласных звуков, чтобы завершить создание своей машины предсказаний. Давайте посмотрим, как это работает. Начнём с гласной буквы. Далее мы генерируем случайное число от 0 до 1. Если оно меньше 0,13, мы получаем еще одну

[07:36] гласную букву. Если это написано выше, мы получим согласную. У нас получилось 78, значит, это согласная. Затем мы генерируем еще одно число и проверяем, больше оно или меньше 67,21, в результате чего получаем гласную букву. Теперь мы можем продолжать

[07:50] это делать и отслеживать соотношение гласных и согласных. Поначалу соотношение сильно колеблется, но через некоторое время оно через некоторое время оно стабилизируется. 43% гласных и 57% согласных.

[08:04] Точное количество участников, которое Маров насчитал вручную. Таким образом, Маров создал взаимозависимую систему, буквальную цепочку событий. И он показал, что это по-прежнему подчиняется закону больших чисел, а это означало, что наблюдение за

[08:18] конвергенцией в социальной статистике не доказывает независимость лежащих в её основе решений . Иными словами, эти статистические данные никоим образом не доказывают существование свободы воли. Маров разгромил аргументы Некросова, и он это знал. И в заключение он добавил

[08:32] последний выпад в адрес своего соперника. Таким образом, свобода воли не является необходимым условием для применения теории свобода воли не является необходимым условием для применения теории вероятности. На самом деле, независимость даже не является необходимым условием для работы с теорией вероятности с использованием этой цепи Марова, как она стала известна.

[08:45] Он нашёл способ применять теорию вероятности к зависимым событиям. Это должно было стать огромным прорывом, потому что в реальном мире почти всё зависит от чего-то другого. То есть, погода завтра будет зависеть от

[08:59] сегодняшних условий. Способ распространения болезни зависит от того, кто заражен в данный момент. Поведение частиц зависит от поведения частиц, окружающих их. Многие из этих процессов можно смоделировать с помощью цепей Марова.

[09:13] Думают ли люди, что это был момент, когда все бросили в глаза, мол, Некросов выбыл, Маров — настоящий мужчина, или же люди этого не заметили, или это было малозаметно, или мне кажется, что люди не обратили на это особого внимания,

[09:31] особо волновало, как это может быть применено на практике? Он писал: «Меня интересуют только вопросы чистого анализа». Я безразлично отношусь к вопросу о применимости. Он и представить себе не мог, что эта новая форма

[09:46] теории вероятностей вскоре сыграет важную роль в одном из важнейших важную роль в одном из важнейших событий XX века. событий XX века. Утром 16 июля 1945 года

[09:58] Соединенные Штаты взорвали устройство — первую в мире ядерную бомбу. Взрыв плутониевой бомбы массой 6 кг был эквивалентен взрыву почти был эквивалентен взрыву почти 25 000 тонн тротила. Это стало

[10:13] кульминацией сверхсекретного проекта «Манхэттен». Это результат трехлетней работы одних из самых умных людей современности, включая таких, как Дж. Роберт Оппенгеймер, Джон Вонойман и малоизвестного математика Станислава Улама.

[10:29] Даже после окончания войны Улам продолжал попытки выяснить, как ведут себя нейтроны внутри ядерной бомбы. А вот как работает ядерная бомба. Допустим, у вас есть ядро ​​из урана-235. Когда нейтрон сталкивается с ядром U235, ядро

[10:45] расщепляется, высвобождая энергию и, что очень важно, еще два или три нейтрона. Если в среднем эти новые нейтроны столкнутся и расщепят более одного другого ядра U235, возникнет неуправляемая цепная реакция. Итак, у вас есть ядерная бомба,

[11:00] но уран-235, шипучее топливо, необходимое для бомб, было очень трудно достать. Поэтому один из ключевых вопросов заключался в том, сколько именно этого вещества нужно для создания бомбы? Именно поэтому Улам хотел понять, как ведут себя нейтроны.

[11:15] Но затем в январе 1946 года всё остановилось. Улам внезапно и тяжело заболел энцефалитом — воспалением головного мозга, которое едва не стоило ему жизни. Восстановление длилось долго и медленно, Улам

[11:31] большую часть времени проводил в постели. Чтобы скоротать время, он играл в простую карточную игру — пасьянс. Но, сыграв бесчисленное количество партий, в одних выиграв, в других проиграв, он не переставал задаваться одним вопросом . Каковы шансы на

[11:46] . Каковы шансы на Это была обманчиво сложная задача . Улан играл всеми 52 картами, и каждая комбинация создавала уникальную игру. Таким образом, общее количество возможных

[12:00] игр составило 52 факториала, или примерно 8 * 10^ 67. Поэтому аналитическое решение было безнадежным. Но тут Улама осенило. А

[12:12] что, если я просто сыграю сотни игр и посчитаю, сколько из них можно выиграть? Это позволило бы ему получить приблизительное статистическое представление ответа. В Лос-Аламосе оставшиеся ученые взялись за гораздо более сложные

[12:25] задачи, чем те, с которыми они сталкивались в одиночку, например, за выяснение того, как ведут себя нейтроны внутри ядерного ядра. В ядерном ядре находятся триллионы и триллионы нейтронов, взаимодействующих с окружающей средой. Таким образом, число

[12:37] возможных исходов огромно, и прямое вычисление этого числа представлялось невозможным. Но когда Улам вернулся к работе, его внезапно осенило. А что если бы мы могли моделировать эти системы, генерируя множество случайных результатов, как я это делал с

[12:51] пасьянсом? Он поделился этой идеей с Вонойманом, который сразу же оценил её Вонойманом, который сразу же оценил её потенциал, но также выявил ключевую проблему. Дело в том, что в пасьянсе каждая игра независима от другой. То, как раздаются карты в

[13:04] одной игре, не влияет на следующую. Но нейтроны не такие. Поведение нейтрона зависит от его местоположения и предыдущих действий. Поэтому нельзя было просто выбирать случайные исходы, как в пасьянсе. Вместо этого вам

[13:19] нужно было смоделировать целую цепочку событий, где каждый шаг влиял на следующий. Веноман понял, что необходима маркировка в виде цепи. Поэтому они создали одну, и её значительно упрощённая версия работает примерно так.

[13:34] Исходное состояние — это просто нейтрон, движущийся через ядро, и оттуда могут произойти три вещи. Оно может отщепляться от атома и продолжать движение. Таким образом, получается стрелка, направленная обратно к самой себе. Оно может покинуть систему или быть

[13:47] поглощено невидимым материалом, в этом случае оно больше не участвует в цепной реакции и, таким образом, прекращает свой цепной след. Или же он может столкнуться с другим атомом урана-235, вызвав событие деления и высвободив еще два или три

[14:01] нейтрона, которые затем запустят свои собственные цепочки. Но в этой цепочке вероятности переходов не фиксированы. Они зависят от таких факторов, как положение, скорость и энергия нейтрона, а также от

[14:13] урана. Таким образом, быстро движущийся нейтрон может иметь 30% шанс рассеяться, 50% шанс быть поглощенным или покинуть пространство и 20% шанс нейтрона вероятность будет иной .

[14:29] Затем они запустили эту цепочку на первом в мире электронном компьютере — ENIAC. Компьютер начинал с генерации случайных начальных условий для нейтронов отслеживая, сколько нейтронов в среднем образуется за один цикл, что известно как

[14:44] коэффициент размножения K. Таким образом, если в среднем один нейтрон производит два других нейтрона, то K равно двум, если в среднем каждые два нейтрона производят три нейтрона, то K равно 3/2 и так далее. Затем, пройдя

[15:00] всю цепочку в течение заданного количества шагов, мы вычисляем среднее значение K и записываем это число в гистограмму. Этот процесс затем повторялся сотни раз, и результаты это подтверждают, предоставляя

[15:12] статистическое распределение полученных результатов. Если вы обнаружите, что в большинстве случаев K меньше единицы, реакция затухает. Если оно равно единице, возникает самоподдерживающаяся цепная реакция, но она не распространяется дальше. А если K больше

[15:26] единицы, реакция растёт экспоненциально, и в результате получается бомба . Вонойман и Улам разработали статистический метод, позволяющий определить количество образовавшихся нейтронов без необходимости проведения каких-либо точных вычислений. Иными

[15:40] дифференциальные уравнения, которые было слишком сложно решить аналитически. Оставалось лишь придумать название для нового метода. Дядя Улама был азартным игроком, и случайный отбор и высокие ставки напомнили Уламу о

[15:55] казино Монте-Карло в Монако, поэтому название и прижилось. Так родился метод Монте-Карло. Метод оказался настолько успешным, что долго оставаться в секрете не удалось. К концу 1948 года ученые другой лаборатории, « Аргон» в Чикаго, использовали его для изучения

[16:11] конструкций ядерных реакторов, и с тех пор эта идея быстро распространилась. Улам позже заметил: « Меня до сих пор поражает, как несколько каракулей на доске могут изменить ход человеческих дел,

[16:27] метод, основанный на цепях Маркова, изменил ход человеческих дел. публике, и вскоре он стремительно развивался. К середине 1990-х годов тысячи новых страниц появлялись

[16:44] каждый день, и это число только росло. Это создало новую проблему. Я имею в виду, как найти что-либо в этом постоянно расширяющемся море информации? В 1994 году два аспиранта Стэнфорда,

[16:58] Джерри Янг и Дэвид Фо, основали поисковую систему Yahoo, чтобы решить эту проблему. Но им нужны были деньги. Поэтому год спустя они договорились о встрече с японским миллиардером Масаёси Суном, также известным как

[17:12] японский Билл Гейтс. Они хотели привлечь 5 миллионов долларов для своего нового стартапа. Но у Суна были другие планы. Он предложил инвестировать целых 100 миллионов долларов . Это в 20 раз больше, чем то, что...»

[17:28] Основатели просили об этом. Джерри Янг отказывается, говоря: «Нам столько не нужно отказывается, говоря: «Нам столько не нужно ». Но Сан не согласен. Джерри, ». Но Сан не согласен. Джерри, всем нужно 100 миллионов долларов.

[17:40] Прежде чем основатели успевают ответить, Сан снова вмешивается и спрашивает: «Кто ваши главные конкуренты?» « Excite» и «LOS», — отвечают они. Сан приказывает своему помощнику записать эти имена. А затем говорит: «Если вы

[17:53] не позволите мне инвестировать в Yahoo, я инвестирую в одну из них и убью вас». Видите ли, Сан кое-что понял. Ни одна из ведущих поисковых систем того времени не обладала превосходящими технологиями. У них не

[18:06] было технологического преимущества перед другими. Все они просто ранжировали страницы по частоте появления поискового запроса на данной странице. Таким образом, борьба за решаться тем, кто сможет привлечь больше пользователей, кто сможет потратить больше всего на

[18:21] Likos, иди и возьми это. Зарабатывай или убирайся. Это Revolution. [Музыка] Yahoo.

[18:33] А маркетинг требовал много денег. Денег, которые были у Сана, поэтому он мог Решать, кто выиграет войну. Основатели Yahoo поняли, что у них не осталось другого выбора, кроме как принять инвестиции Sun. Так мы оказались в самом центре событий, связанных с

[18:47] Yahoo. И за 4 года Yahoo стал самым популярным сайтом на планете. За время, пока вы произносите это предложение, Yahoo ответит на 79 000 запросов информации по всему миру. Состояние каждого из двух мужчин сейчас составляет 120 миллионов долларов.

[19:04] Yahoo. Но у Yahoo была критическая слабость. Дело в том, что поиск по ключевым словам в Yahoo было легко обмануть. Чтобы ваша страница занимала высокие позиции в поисковой выдаче, вы могли просто повторять ключевые слова сотни раз, скрывая их белым текстом на

[19:20] В те ранние дни у них не было понимания качества результата. У них было понятие релевантности, спрашивая: «Содержит ли этот документ информацию, которая вас

[19:34] интересует?» Но не было понимания того, какие из них лучше. Им действительно нужен был способ ранжировать страницы как по релевантности, так и по качеству. Но как измерить качество веб-страницы? Чтобы

[19:47] это понять, нам нужно Позаимствуем идею из библиотек. Я достаточно стар, чтобы помнить, что в библиотечных книгах раньше была бумажная карточка с печатью, на которой были указаны все брали книгу, и если на ней было много таких печатей, вы говорили: «О, это, наверное,

[20:01] вы говорили: «Ну, может быть, это не самая лучшая книга». Печать действовала как лучше книга. И ту же идею можно применить к интернету. В

[20:13] Стэнфорде два аспиранта, Сергей Брин и Ларри Пейдж, работали над этой же проблемой. Брин и Пейдж поняли, что каждая ссылка на страницу может быть воспринята как одобрение, и чем больше ссылок отправляет страница, тем менее ценным

[20:28] становится каждый голос. Таким образом, они поняли, что мы можем смоделировать интернет как цепочку оценок. Чтобы понять, как это работает, представьте себе игрушечный интернет всего с четырьмя веб-страницами. Назовем их Эми, Бен, Крис и Дэн. Это

[20:43] наши состояния. Обычно одна веб-страница Это ссылки на другие страницы, позволяющие перемещаться между ними. Это наши переходы. В этой конфигурации Эми ссылается только на Бена, поэтому вероятность перехода с Эми на Бена составляет 100% . Бен ссылается на Эми, Криса и

[20:58] Дэна, поэтому вероятность перехода на любую из этих страниц составляет 33%. И мы можем заполнить вероятности других переходов таким же образом. Теперь мы можем запустить эту цепочку Маркоффа и посмотреть, что произойдет. Представьте, что вы — пользователь интернета. Вы

[21:13] начинаете со случайной страницы, скажем, Эми, и продолжаете запускать систему, отслеживая процент времени, проведенного на каждой странице. Со временем соотношение стабилизируется, и оценки дают нам некоторую меру относительной важности этих страниц.

[21:28] Вы проводите больше всего времени на Бене, поэтому Бен занимает первое место, за ним следует Эми, затем Дэн и, наконец, Крис. Может показаться, что есть простой способ обмануть систему. Просто создайте 100 страниц, каждая из которых ссылается на ваш сайт. Теперь вы получаете

[21:41] 100 полных голосов, и вы всегда будете Ранжирование вверху, но это не так. Хотя на первых этапах они могут создавать впечатление важности вашей страницы, ни один другой веб-сайт не ссылается на них. Поэтому на протяжении многих этапов их вклад не имеет

[21:55] значения. У вас может быть много ссылок, но они некачественные, поэтому не влияют на алгоритм. Но есть еще одна проблема. Не все страницы связаны между собой. В таких сетях случайный сервер может

[22:10] застрять в цикле, никогда не достигая остальной части сети. Чтобы это исправить, мы можем установить правило, согласно которому в 85% случаев наш случайный сервер просто переходит по ссылке как обычно. Но затем примерно в 15% случаев он просто перескакивает на страницу случайным образом. Этот

[22:26] исследуем все возможные части сети, не застревая ни на одной из них. Используя «метку цепей», Пейдж и Брин создали более совершенную поисковую систему и назвали ее PageRank, потому что она описывает, как

[22:41] страницы взаимодействуют друг с другом, а также потому что основателя зовут Ларри Пейдж, поэтому он это придумал. Благодаря PageRank они получали гораздо лучшие результаты поиска, часто позволяя сразу перейти на нужный сайт.

[22:54] Хотя некоторым это казалось ужасной идеей. Другие говорили: «Ну, вы хотите сказать, что поиск выдаст правильный результат с первого раза? » Я этого не хочу, потому что если им потребуется три или четыре попытки

[23:08] поиска, чтобы получить правильный ответ, то у меня будет три или четыре возможности показать рекламу. А если вы дадите им ответ сразу, я просто потеряю их. Так что, поиск лучше. Но Питч и Брин не согласились. Они были

[23:22] убеждены, что если их продукт будет намного лучше, то люди будут к нему стекаться. Я бы сказал, что это действительно работающая демократия. Если бы все страницы были равны, любой мог бы создать столько страниц, сколько захочет. Я могу завтра же создать миллиард страниц

[23:36] на своем сервере. Мы не должны относиться ко всем страницам одинаково. Просто из любопытства, изучив данные, мы обнаружили, что у нас есть технология, которая... Благодаря улучшенной работе поиска мы поняли, насколько важен качественный поиск.

[23:49] И поэтому в 1998 году они запустили свою новую поисковую систему, чтобы конкурировать с Yahoo. Первоначально они назвали её Backup, по аналогии с анализируемыми ею обратными ссылками. Но потом они поняли, что, возможно, это не самое привлекательное название. Их амбиции

[24:03] были велики — проиндексировать практически все страницы в интернете, и им нужно было название, столь же масштабное. Поэтому они придумали самое большое число, которое только могли придумать, — 10 в степени 100, Google. Но затем, пытаясь зарегистрировать свой домен,

[24:17] они случайно написали его с ошибкой. Так родился Google. родился Google. В течение системой. Каждый, кто знаком с интернетом, почти

[24:33] наверняка знает Google. Поиск в Google для подростков — как кислород. А сегодня Alphabet, материнская компания Google, стоит около 2 Даже малейшее изменение в алгоритмах Google может иметь

[24:47] изменение в алгоритмах Google может иметь огромные последствия. Google — это они круты, заключается в Потому что они сфокусированы. И они сфокусированы сильнее, чем сфокусированы сильнее, чем Microsoft, которая занимается поиском с помощью Bing. У Yahoo огромный трафик. Так было

[25:00] отличные ресурсы, но я не думаю, что Yahoo — это место, куда все обращаются в первую очередь. И в основе этого триллионного алгоритма лежит метка цепочки, которая учитывает только текущее состояние, чтобы предсказать, что произойдет дальше.

[25:15] что произойдет дальше. Но в 1940-х годах Клод Шеннон, отец теории информации, начал задавать другой вопрос. Он вернулся к первоначальной идее Марова о прогнозировании текста, но вместо того, чтобы

[25:27] использовать только гласные и согласные, он сосредоточился на отдельных буквах. И он задался вопросом: что, если вместо того, чтобы рассматривать только последнюю букву в качестве предсказателя, я буду смотреть на последние две? В результате он получил текст, который выглядел вот так. Сейчас это

[25:41] не имеет особого смысла, но есть несколько узнаваемых слов, таких как way of off и the but. Шеннон был убежден, что может сделать лучше. Поэтому следующим шагом вместо того, чтобы смотреть на буквы, Шеннон решил не рассматривать их. Он задавался вопросом, что если я буду использовать целые

[25:54] слова в качестве предсказателей, которые давали бы ему предложения вроде этого. Голова и фронтальная атака на английского писателя, что характер этой точки, следовательно, является еще одним методом для букв, что время того, кто сказал проблему, для

[26:07] неожиданного. Теперь, очевидно, это не имеет никакого смысла, но Шеннон заметил, что последовательности из четырех слов или около того, как правило, имели смысл. Например, атака на английского писателя в некотором роде имеет смысл.

[26:21] более и более точные предсказания о том, каким будет следующее слово, учитывая все больше и больше предыдущих слов. Это примерно как то, что делает Gmail, когда предсказывает, что вы собираетесь напечатать дальше. И это не

[26:36] совпадение. Алгоритмы, которые делают эти предсказания, основаны на знаках Они не обязательно используют буквы, знаете, они используют то, что они называют токенами, некоторые из которых являются буквами, некоторые из которых являются словами, знаками

[26:50] некоторые из которых являются словами, знаками препинания и так далее. Таким образом, это более широкий набор, чем просто алфавит. Игра заключается в Проще говоря, у нас есть цепочка Игра заключается в Проще говоря, у нас есть цепочка токенов, которая, например, может состоять из 30 символов,

[27:03] и мы спрашиваем, какова вероятность того, что следующий токен будет таким, таким или таким. Но современные большие языковые модели не обрабатывают все эти токены одинаково, потому что, в отличие от простых цепочек Маркоффа, они также используют так называемое внимание, которое

[27:17] указывает модели, на что следует обращать внимание . Так, во фразе «структура клетки» модель может использовать предыдущий контекст, например, кровь и митохондрии, чтобы понять, что клетка, скорее всего, относится к биологии, а не к тюремной камере, и

[27:30] биологии, а не к тюремной камере, и использует это для корректировки своего предсказания. Но по мере распространения больших языковых моделей возникает проблема: создаваемый ими текст оказывается в интернете и становится обучающими данными для будущих моделей.

[27:43] моделей. Когда вы начинаете это делать, настоящая игра очень скоро заканчивается. В этом случае вы приходите к очень скучному стабильному состоянию. Просто повторяется одно и то же снова и снова бесконечно. Языковые

[27:56] модели уязвимы для этого процесса. И любую подобную систему, где есть петля обратной связи, будет сложно моделировать с помощью цепочек Маркоффа. Возьмем, к примеру, глобальное потепление. По мере увеличения количества углерода При повышении концентрации диоксида углерода в воздухе

[28:10] увеличивается. Но по мере повышения температуры атмосфера может удерживать больше водяного пара, который является невероятно мощным парниковым газом. А с увеличением количества еще больше, что позволяет ему накапливаться еще больше . Таким образом, возникает положительная обратная

[28:25] дальнейших событий. Поэтому существуют системы, для которых цепочки Марова не работают. Но для многих других зависимых систем они предлагают способ расчета вероятности. Но что особенно интересно, так это то, что все эти

[28:38] системы имеют чрезвычайно долгую историю. Я имею в виду, вы можете проследить все буквы в тексте, проследить все взаимодействия нейтрона или проследить погоду на протяжении нескольких недель. Но замечательная вещь, которую обнаружили Маров и другие, заключается в том,

[28:51] что для многих из этих систем можно игнорировать почти все это. Можно просто посмотреть на текущее состояние и забыть обо всем остальном. Это делает эти системы без памяти. И именно это свойство памяти делает цепочку

[29:06] Марова такой мощной, потому что оно позволяет брать эти чрезвычайно сложные системы и значительно упрощать их, чтобы по-прежнему делать осмысленные прогнозы. часто сводится к составлению подходящей цепочки Марова.

[29:22] Мне кажется нелепым, что этот элементарный математический факт всплыл в результате такой ссоры, которая, как вы понимаете, на самом деле не имела к этому никакого отношения. Но все доказательства указывают на то, что именно стремление показать «

[29:38] кроссовер» заставило Марова проделать эту работу. Но есть один вопрос, на который мы до сих пор не ответили, играя в пасьянс. Откуда Улам знал, что его карты идеально перетасованы? То есть, сколько перетасовок нужно, чтобы получить

[29:52] перетасовок нужно, чтобы получить совершенно случайное расположение карт? её перетасовать, верно? Хорошо. Как часто, если вы перетасовываете, например, делаете... Как часто вам нужно перетасовывать её, чтобы

[30:07] Два. Два. Я думаю, 26. 52 раза. Хорошо . Хорошо. Неплохая догадка. Семь. Это семь. Правда?

[30:21] Да. Итак, вы можете подумать о карте Перетасовка карт — это цепочка перетасовки, где каждое расположение карт в колоде — это состояние, а каждое перетасовывание — это шаг. Так, если вы перетасовываете колоду из 52 карт семь раз, то каждое расположение карт

[30:33] в колоде примерно одинаково вероятно. По сути, это случайность. Но я могу перетасовывать карты таким образом. Я делаю это вот так. Как вы думаете, сколько раз нужно перетасовывать таким образом, чтобы получить случайный результат?

[30:48] Что вы думаете? И, что, возможно, более важно, как бы вы это вычислили? Вот тут-то и пригодится сегодняшний спонсор, Brilliant. Brilliant — это обучающее приложение, которое позволяет вам на практике решать подобные задачи

[31:00] . Будь то математика, физика, программирование или даже искусственный интеллект, интерактивные уроки и задания Brilliant позволяют вам развивать свой ум. Вы можете узнать, как на самом деле работают большие языковые модели. От базовых цепей Маркова

[31:14] до сложных нейронных сетей, или углубиться в математику, лежащую в основе этого вопроса о перетасовке. Это увлекательный способ получить знания и навыки. Поможем вам решить самые разные задачи. Что возвращает нас к нашей перетасовке. Итак, Каспер, какой же на самом деле

[31:28] ответ? На самом деле, это больше 2000. Просто невероятно, Так что в следующий раз, когда кто-то предложит перетасовать карты перед игрой, убедитесь, что он делает это правильно. Семь перетасовок, иначе это не считается. Но самое интересное не

[31:41] понимать, почему это так, и видеть, как простой вопрос может привести к удивительно сложной математике. И именно в этом суть Brilliant. Итак, чтобы попробовать все, что предлагает Brilliant, бесплатно в течение целых 30 дней, посетите

[31:56] brilliant.org/veritassium. Перейдите по этой ссылке в описании или отсканируйте этот удобный QR-код. А если вы зарегистрируетесь, вы также получите 20% скидку на годовую поблагодарить Brilliant за спонсорство этого видео. И я хочу поблагодарить вас за

[32:10] (upbeat music) (light music)