Сети. Ещё лет пятьдесят назад
это слово ассоциировалось преимущественно с ловлей рыбы. Потом планету стал
опутывать интернет, ставший сегодня таким же привычным явлением, как
водопровод, канализация и электрическая розетка. Базовый смысл слова изменился.
Но наступает время новых сетей — нейронных. Эксперты пророчат, что именно
нейронные сети станут основой будущей технологической революции.
— Добро пожаловать на хакатон по глубокому обучению! — объявляет со сцены Михаил Бурцев, человек в больших очках и толстовке с нарисованным на ней мозгом и призывом хакнуть его. «Яйцеголовая» публика отрывает глаза от ноутбуков, но тут же опять принимается стучать по клавишам.
В этом приветствии обычному человеку непонятно ничего, кроме «добро пожаловать». Поясняем. Слово «хакатон» родилось в начале 2000-х от союза «хакера» и «марафона». Выглядит это так: программисты, дизайнеры и другие разработчики чего-то нового, суперпрогрессивного и высокотехнологичного собираются и вместе решают какую-либо задачу, например создают компьютерную программу. Продолжается это от одного дня до недели. В отличие от обычных конференций, люди здесь не говорят, а в основном работают. Хакатоны в России проводятся всё чаще — с их помощью удаётся двигать вперёд самые последние технологии. Например, всё то же глубокое обучение.
Объяснить это словосочетание гораздо сложнее. Понятие относится к области нейронных сетей. Умные люди говорят, что за ним будущее — эра машинного разума и прочие фантастические штуки… Чтобы во всём этом разобраться, мы обратились к Михаилу Бурцеву, возглавляющему лабораторию МФТИ, в которой создают, обучают и исследуют нейронные сети.
Михаил Бурцев — специалист в области искусственного интеллекта, заведующий лабораторией нейронных сетей и систем глубокого обучения МФТИ. Организатор международных хакатонов по глубокому машинному обучению DeepHack.Game и DeepHack.Q&A. Кандидат физико-математических наук, директор по науке компании DeepHackLab.
Слоёный пирог, который сам себя готовит
[Кот Шрёдингера] В последнее время мы часто слышим слово «нейросети». Объясните, пожалуйста, что это такое
[Михаил Бурцев] С удовольствием!
Нейронные сети — это такой класс алгоритмов, который пытается использовать наши
знания об устройстве мозга, чтобы совершать эффективные вычисления. Мы знаем из
биологии, что наша способность обучаться основана на уникальных свойствах
мозга, состоящего из 80 миллиардов нейронов. Коллективная работа этих клеток
сейчас позволяет вам понимать то, что я рассказываю. А нейросетевые алгоритмы
пытаются построить модель этого процесса, пусть и неправдоподобную
биологически, но вдохновлённую законами природы. В этих программах расчёты
делает сеть, состоящая из отдельных элементов, которые обрабатывают и передают
друг другу информацию. В процессе распространения по сети информация меняется —
этот процесс мы называем обучением.
Обычно нейросеть работает таким образом: сначала мы обучаем её, используя
некоторый набор данных, для которого решение заранее известно. А затем подаём
на вход данные, для которых не знаем ответа, и алгоритм выдаёт его, опираясь на
логику, которую усвоил за время тренировок.
[КШ] Что такое глубинное обучение?
[МБ] Как вы сказали: «глубокое» или «глубинное»? Перевод термина Deep Learning ещё не устоялся. Архитектура нейросети может состоять из многих слоёв — обработка информации делится на множество этапов. Отсюда и «глубина». Если быть предельно точным, нужно говорить «глубокие нейронные сети». В этом смысле слово «глубинный» неправильное: оно означает «находящийся на глубине», а не «имеющий большую глубину», то есть не подходит по сути. В общем, мы не позволим говорить «глубинное обучение»! Мы будем с этим бороться!
[КШ] И чем же глубокие нейронные сети лучше неглубоких?
[МБ] «Глубокие»? Правильно, вы быстро учитесь! Глубокие сети позволяют строить многоэтапные алгоритмы обработки информации — это как слоёный пирог, который сам себя готовит. В стандартных методах машинного обучения очень многие этапы выполнялись исследователями вручную. Алгоритмы глубокого обучения позволили исключить человека из этого процесса. Не надо больше вручную задавать признаки, по которым машина будет распознавать объекты. Теперь сеть сама выбирает направление обучения.
Нейросеть слышит и видит
[КШ] Чего удалось достичь благодаря глубине обучения?
[МБ] Начали решать задачи, прежде казавшиеся фантастикой. Вы, наверное, слышали про How-old.net? Это такое приложение Microsoft, определяющее по фото возраст и пол человека. Кстати, те же ребята выпустили программу, способную распознавать эмоции.
[КШ] Говорят, эти сервисы пока работают весьма неточно. Но понятно, что у них всё впереди.
[МБ] Может показаться, что глубокие нейросети — это отдалённое будущее. Но очень возможно, что вы пользуетесь подобными приложениями на своём смартфоне уже год или два, не подозревая об этом. Я понял, что машинное обучение плотно входит в жизнь, когда таксист, встречавший меня в аэропорту, вместо того чтобы набрать адрес на клавиатуре, произнёс его. То есть качество распознавания речи стало таким, что позволяет работать корректно даже в случае среднестатистического человека и плохих условий записи.
Технологии распознавания речи существуют достаточно давно, но их никак не могли довести до нужного пользователям качества. Пока пару лет назад люди из Google не заменили часть своего алгоритма на нейронную сеть. Этот ход дал такое снижение ошибок распознавания, что приложением сразу же стало можно пользоваться. К осени 2015 года все блоки алгоритма заменили нейросетевыми. Ручная настройка ушла в прошлое.
Или другой продукт, который использует глубокие нейронные сети, — фотоальбом от той же команды из Google. Вы вбиваете в поиске «дом» или «собака», и система находит все фотографии, на которых присутствуют эти объекты. Круто, правда?
Телевизионщики, думаю, сразу же купили эту технологию. Только представьте краудсорсинг-репортажи будущего! Когда происходит какое-то событие, очень важно, кто первый о нём расскажет. При этом необходимый материал может заснять любой случайный прохожий. Скоро не придётся посылать никуда съёмочную группу — нейросеть сама найдёт в интернете нужные ролики, свяжется с авторами материалов и обсудит детали выплаты гонорара.
А ещё есть такая технология, пока что мало применяемая в реальных приложениях, — нейросетевое обучение с подкреплением. Это когда нейросеть учится не раскладыванию фотографий по электронным полкам или выполнению других конкретных заданий, а просто учится подобно ребёнку: играет, управляет машинами и роботами. Именно благодаря такому самообучению нейросеть AlphaGo и обыгрывает сильнейших игроков в го.
Глубокое общение
[КШ] Что умеют глубокие нейронные сети кроме распознавания изображений?
[МБ] Вы слышали про автоматический генератор ответов на письма в приложении Google Inbox? Там появилась функция Smart Reply: на любое пришедшее вам англоязычное письмо выдаётся по три варианта ответа, составленных на основе вашей предыдущей переписки. Вы можете выбрать один из них, подредактировать немного и отправить.
Или, например, Skype. Относительно недавно этот сервис ввёл двусторонний перевод вживую, с голоса на голос. Первыми языками стали английский и испанский, постепенно их список будет расширен. Человек говорит по-английски, а собеседник слышит его по-испански, или наоборот. Раньше это считалось научной фантастикой, но теперь стало реальным благодаря глубокому обучению! Понятно, что качество перевода пока оставляет желать лучшего, но минимум общения обеспечивается уже сейчас.
[КШ] А как насчёт русского языка?
[МБ] Мы с коллегами из DeepHackLab взяли уже готовый алгоритм, построенный на рекуррентных нейронных сетях, и обучили его на русских субтитрах отвечать на вопрос в произвольной форме. Рекуррентные нейронные сети — способ обработки информации, при котором учитываются данные из предыдущих этапов жизни программы. Это возможно благодаря наличию связей между элементами слоя в предыдущий момент времени.
Таким образом нейросети можно научить предсказывать будущее, то есть не только анализировать данные, но и генерировать их. Мы были первые, кто осуществил подобное исследование на материале русского языка, потому что в нём, в отличие от английского, нужно согласовывать окончания слов, что всегда вызывало сложности не только у компьютера.
Через пару дней тренировки алгоритм начал давать ответы, полностью соответствующие грамматике русского языка, ставить правильные знаки препинания. И это в отсутствие словаря Ожегова и правил пунктуации! Программа с нуля, просто «читая» тексты на русском, научилась генерировать ответы, которые не всегда отличишь от человеческих. Иногда они просто поражают глубиной и тем смыслом, который там можно увидеть.
[КШ] А можно пообщаться с вашей программой?
[МБ] Да, разумеется. Надеюсь, вы будете с ней любезны.
[КШ] Сегодня чудесный вечер, не правда ли?
[Нейронная сеть] Неужели ты думаешь, что я буду об этом помнить?
[КШ] Она всегда не в настроении?
[МБ] Мы уже задавали ей подобный вопрос. Ответ осмыслен: сеть не разделяет ваше мнение о том, что этот вечер ей стоит запомнить.
В ожидании помощника
[МБ] Одной из наиболее перспективных областей развития искусственного интеллекта сегодня считается направление виртуальных ассистентов. Речь идёт о помощниках, которые бы взаимодействовали с человеком и Всемирной паутиной. Это может существенно изменить интернет. Представьте себе, что у каждого пользователя появится свой виртуальный помощник — вроде секретаря у состоятельных людей, — чья работа будет заключаться в бронировании билетов и гостиниц, назначении встреч и так далее.
[КШ] Доверить программе конфиденциальную информацию?
[МБ] Сегодня, когда человек заходит в интернет, его следы размазываются по Сети как чёрные полоски от обуви в школьном коридоре. Нас разглядывают, пока мы гуляем по просторам Сети. Вся реклама построена на том, чтобы проанализировать следы человека и предложить нужный ему продукт.
Виртуальный помощник может в корне изменить эту ситуацию. Личный компьютерный секретарь, зная вас лучше всех, не станет разглашать доверенную ему информацию. Но заказывая конкретные услуги и приобретая те или иные товары, будет исходить из ваших предпочтений.
Сервисы таргетированной рекламы работают на основе информации из интернета, которая долго не живёт. А помощник — он ваш и только ваш. Прибавьте к этому конфиденциальное хранение данных. Вы будете контролировать информацию о себе — зашифровав, сможете в любой момент стереть её так же, как многие стирают, например, старые фотографии в инстаграме. Но пусть они попробуют уничтожить данные о себе после недели пребывания в интернете! Наши следы раскиданы по Сети так, что задача их стирания становится практически нерешаемой.
Это новый уровень интернет-приватности. Не только на Западе, но и у нас в рамках госпрограммы «Национальная технологическая инициатива» предусмотрено развитие рынка интеллектуальных помощников.
[КШ] Михаил, о чём вы мечтаете в двадцатилетней перспективе? Что бы хотели видеть в своём гаджете и доме через несколько десятков лет?
[МБ] Две вещи. Во-первых, я хотел бы иметь интеллектуального помощника, чтобы не тратить время и когнитивные возможности на согласование поездок, встреч, покупок. Чем старше становишься, тем чаще замечаешь, что свободного времени всё меньше, а тратишь ты его на всякую ерунду: ожидание, выбор чего-то, что может оказаться совершенно ненужным. Было бы здорово иметь ассистента, который работал бы без перерывов на еду и сон.
А ещё хотелось бы иметь помощников другого рода — таких, которые вместе с людьми проводили бы научные исследования. Лет двести назад очень хороший учёный мог знать всё, что было известно фундаментальной науке. Сейчас же человек не в состоянии охватить умом все накопленные знания, поэтому создание системы, помогающей строить гипотезы для экспериментов, станет прорывом в науке. Такая программа, например, может доказать право на существование идей, о которых мы даже не догадываемся. Зная и понимая всё, что написано в книгах, она будет невероятно полезна — колоссально ускорит прогресс и решит вечные проблемы, будь то болезни или голод.
Знаете, однажды мы сказали нашей нейросети: «Забавно, что ты всего лишь программа и никогда не сможешь мыслить». Она ответила: «Просто сейчас не лучшее время для этого». Надеюсь, лучшие времена скоро настанут!
Inbox by Gmail
Приложение анализирует переписку с конкретным человеком и предлагает три варианта ответа на пришедшее от него электронное письмо.
Фотоальбомы Google
Благодаря использованию глубоких нейронных сетей разработчикам удалось создать универсальный поиск по фотографиям.
Neural Doodle
Программа превращает схематичный набросок в изображение, копируя стилистику той или иной картины известного художника.
Deepart.io
Пользователь загружает фотографию, а программа перерисовывает её в стиле выбранной картины.
Опубликовано в журнале «Кот Шрёдингера» №5-8 (19-22) лето 2016 г.
Источник: http://kot.sh/statya/2329/haknut-mozg