Кто такой Илья Суцкевер и что он создал кроме ChatGPT
Кто такой Илья Суцкевер и какой путь он прошел, прежде чем стать выдающейся фигурой в развитии AI. Это он в составе команды OpenAI создал ChatGPT, о котором сегодня все говорят
Илья Суцкевер — исследователь в области искусственного интеллекта и машинного обучения, сооснователь и главный научный сотрудник OpenAI. Он внес существенный вклад в развитие ИИ и был одним из первых, кто поверил в инновационный проект Илона Маска.
Как все начиналось
Илья Суцкевер родился в 1984 году в Нижнем Новгороде, вырос в Израиле. Когда он был подростком, семья эмигрировала в Канаду. Уже в семь лет он начал программировать. Из всех компьютерных возможностей искусственный интеллект казался ему самой захватывающей идеей. «Я был удивлен, когда узнал, что компьютеры могут в какой-то степени учиться, потому что, на мой взгляд, в то время компьютеры не могли учиться», — рассказал Илья Суцкевер в интервью Университету Торонто. В этом вузе он получил степень бакалавра в области математики, а потом степень магистра и доктора философии в области компьютерных наук. На втором курсе он спросил у заведующей бакалавриатом по математике, есть ли в университете исследовательские проекты в области машинного обучения. Ему рекомендовали поговорить с профессором Джеффри Хинтоном. Джеффри Хинтона называют крестным отцом искусственного интеллекта и пионером глубокого обучения (deep learning), одного из методов машинного обучения. Глубокое обучение предполагает, что система не только выполняет конкретные действия в рамках одного алгоритма, но и расширяет свои возможности с помощью внешних данных. Другими словами, Хинтон стремился разработать систему, которая могла бы обучаться так же, как человеческий мозг. На тот момент большинство ученых считали, что это нонсенс.
Работа с Джеффри Хинтоном
Знакомство с профессором можно считать судьбоносным для Ильи Суцкевера. Джеффри Хинтон рекомендовал ему прочесть несколько научных статей и предложил поработать над первым проектом. Суцкеверу нужно было улучшить алгоритм машинного обучения для визуализации данных SNE (Stochastic Neighbor Embedding), который разработал Хинтон. Молодой ученый успешно справился с задачей, что стало началом их сотрудничества. На тот момент, в 2003 году, самым большим достижением в области искусственного интеллекта был Deep Blue — шахматный движок, разработанный компанией IBM, который победил чемпиона мира Гарри Каспарова в 1997 году.
«Благодаря сотрудничеству с Джеффри у меня была возможность работать над некоторыми из самых важных научных проблем нашего времени и развивать идеи, которые были крайне недооценены большинством ученых, но оказались совершенно правильными», — рассказал Суцкевер в интервью Университету Торонто.
Премия Google
В 2010 году Илья Суцкевер стал единственным канадским лауреатом международной премии Google PhD Fellowship Program. Исследователи Google отбирают самых многообещающих молодых ученых в мире, которые занимаются инновационными исследованиями в области информационных технологий. Аспиранты получают ежегодную стипендию (в 2010 году она составляла $25 тыс.) и другие меры поддержки. В это время Суцкевер работал над текстовой программой, которая после ввода символов (букв и цифр) может точно предсказывать последующие символы. В обучающую выборку вошли 16 млн статей из «Википедии». Результаты исследования Илья Суцкевер, Джеймс Мартенс и Джеффри Хинтон изложили в статье «Генерация текста рекуррентными нейронными сетями (RNN)». Эта технология сейчас широко используется в чат-ботах.
Разработка AlexNet и создание стартапа
В 2012 году Хинтон и его студенты Суцкевер и Алекс Крижевский разработали систему, способную анализировать тысячи снимков и обучать саму себя распознавать в реальности похожие объекты с высочайшей точностью. Их разработка AlexNet выиграла ежегодный конкурс ImageNet и была признана новаторской. В то время лучшие алгоритмы ошибались в классификации изображения в 25% случаев. Алгоритм глубокого обучения снизил частоту ошибок чуть ли не в два раза. Это была первая работа, которая популяризировала сверточные нейронные сети в компьютерном зрении. С помощью них решаются задачи сегментации, классификации, детектирования, обработки изображений. AlexNet положила начало революции в области искусственного интеллекта. Втроем Хинтон, Суцкевер и Крижевский создали научно-исследовательский стартап DNNResearch (аббревиатура DNNResearch происходит от словосочетания «глубинные нейронные сети»). Здесь они продолжили заниматься разработками в области ИИ, связанными с компьютерным зрением, распознаванием речи и пониманием языка (Natural-language understanding — подраздел в искусственном интеллекте). Через несколько месяцев эту компанию приобрела Google.
Прорывы в команде Google
В 2013 году Илья Суцкевер перешел в Google, в подразделение по изучению искусственного интеллекта и машинному обучению Google Brain. Там он работал над моделированием последовательностей, которые можно применять к речи, тексту и видео.
Развитие Google Translate
В 2014 году команда исследователей Google (Илья Суцкевер, Ориол Виньялс и Куок Ле) опубликовала научную статью, посвященную методу последовательного обучения в нейросетях. Модель Seq2seq (Sequence-to-sequence, с англ. «последовательность к последовательности»), основанная на глубоком обучении, произвела революцию в машинном переводе.
Seq2seq — это модель, принимающая на вход последовательность элементов (слов, букв, признаков изображения и т.д.) и возвращающая другую последовательность элементов. Это значит, что при переводе учитывается не только текущее слово/ввод, но и окружающие его слова, то есть контекст.
Эта работа послужила основой для серьезного обновления Google Translate. По словам Суцкевера, «исследователи не верили, что нейронные сети могут переводить текст, поэтому, когда они все же смогли, это стало большим сюрпризом».
Победа в го
Кроме того, в Google Суцкевер работал с исследователями DeepMind над AlphaGo — программой на основе искусственного интеллекта, которая играет в го (логическая настольная игра с глубоким стратегическим содержанием, возникшая в Древнем Китае). Го долгое время считалась самой сложной из классических игр для искусственного интеллекта, так как там сложно оценить позиции и выбрать наиболее выгодные ходы на доске. В 2016 году AlphaGo победила чемпиона игры в го Ли Седоля. Это важное событие в развитии искусственного интеллекта: машина превзошла человека в самой сложной стратегической настольной игре. AlphaGo не просто рассчитывает вероятность, а умеет быть креативной и способна уловить интуитивный аспект игры. Эта система изменила взгляд людей на игру в го и произвела революцию в науке. Например, AlphaGo помогла изучить сворачивание белков, что имеет решающее значение для разработки лекарств и борьбы с болезнями.
Другие достижения в Google
В 2015 году MIT Technology Review (журнал Массачусетского технологического института) включил Суцкевера в рейтинг новаторов моложе 35 лет в номинации «Визионеры».
В команде Google Brain Суцкевер также занимался разработкой платформы TensorFlow для крупномасштабного машинного обучения.
Открытая библиотека TensorFlow — самая известная в мире система машинного обучения. Это относительно простой инструмент, который позволяет создавать нейросети.
Будущее в OpenAI
В конце 2015 года Илон Маск совместно с другими инвесторами заявил о создании исследовательского центра для разработки цифрового интеллекта, который принесет пользу человечеству. Так появилась некоммерческая компания OpenAI, в которой Илья Суцкевер стал главным научным сотрудником и сооснователем. Суцкеверу не хотелось покидать команду Google, но миссия OpenAI очень вдохновила его. Участники стартапа хотели демократизировать передовые технологии искусственного интеллекта и обещали публиковать все свои разработки и открыть исходный код новых технологий. Эта идея отражена в названии — OpenAI.
«Первая большая идея, которая у нас возникла и которая меня особенно воодушевляла, — это идея неконтролируемого обучения через сжатие. В 2016 году неконтролируемое обучение было нерешенной проблемой в машинном обучении и никто не имел ни малейшего представления о том, что делать. И я верил, что хорошее сжатие данных приведет к обучению без учителя. Из этой идеи выросло довольно большое количество работ в OpenAI», — отметил Илья Суцкевер в интервью Дженсену Хуангу из NVIDIA.
Фото: открытые Internet-источники
Уже в первые годы работы команда ученых OpenAI достигла впечатляющих результатов. Вот некоторые из них:
- создана платформа Gym, которая позволяет тренировать искусственный интеллект с помощью игр и алгоритмических задач;
- разработана платформа Universe, которая обучает системы искусственного интеллекта любой задаче, которую может выполнять человек с помощью компьютера;
- бот OpenAI Five, обученный за две недели, победил профессиональных киберспортсменов в Dota2.
В OpenAI Суцкевер возглавил работу над созданием языковой модели GPT, которая впоследствии выросла до GPT-2, GPT-3, GPT-3.5 и GPT-4. Кроме того, он участвовал в разработке DALL-E — нейросети для генерации изображений на основе описаний. В марте компания официально представила GPT-4, новую версию языковой модели с генеративным искусственным интеллектом. Ее возможности называют безграничными, непостижимыми, а иногда и пугающими. Так, с помощью чат-бота GPT-4 можно составлять планы и расчеты, писать электронные письма, создавать стихи и сценарии, искать ошибки в коде, получать ответы на сложные вопросы и многое другое. В интервью Крейгу С. Смиту, автору подкаста об искусственном интеллекте, Илья Суцкевер заявил, что искусственный интеллект может быть невероятно полезен практически в любой ситуации. Однако у него, как и многих других исследователей, есть опасения, что ИИ можно использовать во вред человечеству. Размышляя о будущем в другом интервью, исследователь отметил: «Я бы предпочел мир, в котором люди по-прежнему свободны совершать ошибки и страдать от их последствий, постепенно эволюционировать и самостоятельно двигаться вперед, а искусственный интеллект обеспечивает скорее базовую подстраховку».
Канадский инженер и программист, уроженец Нижнего Новгорода Илья Суцкевер стал героем 2023 года по версии журнала Nature. О том, кто он такой, за что он получил такое звание и почему его фамилия недавно появилась в заголовках крупнейших СМИ мира, читайте в материале «ФедералПресс».
Биография Ильи Суцкевера
Илья Суцкевер неохотно дает интервью и общается с прессой. Он не стремится к публичности, а потому в Сети нет даже точных сведений о его возрасте. По разным данным, мужчине сейчас от 36 до 38 лет.
Фото: открытые Internet-источники
Известно, что Суцкевер родился в Горьком в семье инженера и соавтора изобретений в области электроники (его отец Ефим Суцкевер окончил физический факультет ГГУ). Когда Илье было около пяти лет, семья переехала в Иерусалим (где Суцкевер учился в Открытом университете Израиля), а после – в Канаду. Там будущий ученый получил образование в университете Торонто, где в 2005 году получил степень бакалавра по математике и компьютерным наукам, в 2007 и 2012 годах – магистерскую и докторскую степень.
Достижения в области искусственного интеллекта
Научным руководителем мужчины стал Джеффри Хинтон, «крестный отец искусственного интеллекта», стремившийся разработать систему, которая могла бы обучаться так же, как и человеческий мозг. Благодаря его трудам появилась технология глубокого обучения (deep learning). В 2010 году Суцкевер работал над текстовой программой, способной предсказывать, что напишет пользователь в дальнейшем. На сегодняшний день эта технология используется в большинстве чат-ботов. В 2012 году Гинтон вместе с Суцкевером и еще одним студентом Алексом Крыжевским основал ИИ-стартап DNNresearch. Одним из изобретений компании стала нейронная сеть AlexNet, способная анализировать и сравнивать изображения, обучая саму себя. В 2013 году компанию приобрел Google, а Суцкевер стал трудиться в Google Brain, продолжая заниматься разработками в области ИИ. В 2013 году Суцкевер опубликовал в соавторстве с Ориолом Виньялсом и Коуком Ле научную статью о методе последовательного обучения в нейросетях, которая произвела революцию в машинном переводе. Метод сделал возможным перевод с учетом контекста, тем самым существенно повысив качество переводов в Google Translate.
Фото: открытые Internet-источники
Также Суцкевер занимался разработкой платформы TensorFlow для крупномасштабного машинного обучения и сыграл ключевую роль в разработке компьютерной программы AlphaGo, натренированной для игры в одну из самых сложных для ИИ настольных игр – го. В результате программа обыграла профессионального игрока в го Ли Седола, продемонстрировав не только умение просчитывать вероятность, но и способность уловить креативный аспект игры. В 2015 году Суцкевер по настоянию Илона Маска ушел из Google и стал работать в должности сооснователя и главного научного сотрудника в только что открывшейся некоммерческой лаборатории OpenAI, специализирующейся на выпуске программ с открытым исходным кодом. Лабораторию возглавили сам Маск и бывший президент Y Combinator Сэм Альтман. Результатом труда Суцкевера стало создание платформы Gym для тренировок искусственного интеллекта с помощью игр и алгоритмических задач, появление платформы Universe, призванной научить ИИ выполнению любой задачи, которую человек делает с помощью компьютера, а также бота OpenAI Five, одолевшего после двухнедельной тренировки профессиональных киберспортсменов в Dota2. Также компания OpenAI занималась разработкой сервиса Dalle, генерирующего изображения на основе текстового описания.
Фото: открытые Internet-источники
Кроме того, Суцкевер возглавлял работу над проектом ChatGPT, запущенном в ноябре 2022 года, который может отвечать на вопросы, создавать тексты и поддерживать диалог. В марте компания выпустила новую версию языковой модели GPT-4 с генеративным искусственным интеллектом, с помощью которой можно составлять планы и расчеты, писать электронные письма, сочинять стихи и сценарии, искать ошибки в коде.
Но главная цель лаборатории – создание универсального искусственного интеллекта, который превосходит интеллект человека.
Конфликт с Альтманом
Вместе с развитием искусственного интеллекта, способного к самостоятельному обучению, растут и опасения по поводу его влияния на дальнейшую жизнь человека, от страха лишиться работы до риска потери контроля над ситуацией.
Фото: открытые Internet-источники
Сам Суцкевер не раз обращался к этой теме во время немногочисленных интервью. Так, в беседе с американским журналистом Крейгом С. Смитом ученый заявил, что ИИ чрезвычайно полезен в разных сферах жизни, но существует страх, что искусственный интеллект может быть использован во вред человечеству.
В ноябре общественность всколыхнуло внезапное увольнение генерального директора и сооснователя OpenAI Сэма Альтмана.
Фото: открытые Internet-источники
Как сообщали СМИ, Альтман узнал о собственной отставке менее чем за час до официального опубликования информации. Новость ему сообщили во время видеочата, ссылку на который Альтману отправил Суцкевер. Официальной причиной стала «недостаточная откровенность Альтмана во взаимодействии с советом директоров». Пресса заявляла, что именно Суцкевер стал инициатором кадровых перестановок. По данным The New York Times, Суцкевер якобы считал, что Альтман не уделяет должного внимания опасности, которая может исходить от ИИ, и возражал против, на его взгляд, уменьшения собственной роли в организации. После отставки Альтмана о своем увольнении сообщил еще один сооснователь компании Грег Брокман. О готовности покинуть OpenAI в открытом письме заявили также 700 из 770 сотрудников организации. Подписал письмо и Суцкевер, который чуть позже выразил сожаление по поводу своего участия в действиях совета директоров и заверил, что «сделает все возможное для воссоединения компании».
Фото: открытые Internet-источники
В итоге Альтман, который после увольнения намеревался перейти в Microsoft, сообщил о готовности вернуться на пост гендиректора OpenAI при условии переформатирования совета.
Награды и признание
Британский научный журнал Nature назвал Илью Суцкевера героем 2023 года, а также отдельно выделил сферу его деятельности – искусственный интеллект – в качестве неодушевленного героя.
Фото: открытые Internet-источники
Суцкевер и его деятельность и до этого неоднократно удостаивались наград. Так, в 2010 году Илья получил престижную международную премию Google PhD Fellowship Program, которую присуждают молодым ученым за инновационные исследования в области информационных технологий. В 2013-м Суцкевер вместе с Алексом Крижевским одержал победу в конкурсе ILSVRC 2012. А в 2015 году журнал Массачусетского технологического института MIT Technology Review включил Суцкевера в рейтинг новаторов моложе 35 лет в номинации «Визионеры».
Источники: