Главная / Это интересно

Что такое "катастрофическое забывание" и как оно влияет на развитие искусственного интеллекта

Александр Алексеенко
21 ноября 2018
1057

Исследователи Telefonica, возможно, нашли решение проблемы, затрагивающей алгоритмы так называемого «катастрофического забывания», которым подвержены высокотехнологичные устройства. В частности, здесь речь идёт о том, что проблемы возникают в тот момент, когда искусственные нейронные сети обучаются выполнению новых задач. По сути, исследователи говорят о том, что данная проблема сопоставима с людьми, которые страдают от потери памяти.

Согласно имеющимся у ИА «Экспресс-Новости» сведениям, системы искусственного интеллекта (ИИ) обучаются, анализируя данные, которые помогают им интерпретировать будущую информацию, независимо от того, в каком именно секторе они задействованы. То есть, это может быть, как система распознавание лиц, позволяющая обнаруживать людей по видео, так и самоходные автомобили, способные опознавать препятствия на дороге. И вот когда ИИ обучают новым задачам, ему приходится адаптировать свои параметры для ее решения. При этом искусственный интеллект может, либо перезаписать параметры, которые были изучены ранее, либо вообще их забыть – уверяют исследователи.

искусственный интеллект фильм

Этот феномен является одной из самых серьёзных проблем на пути создания искусственного общего интеллекта (AGI). Ведь в данном случае речь идёт об устранении способности к непрерывному обучению, когда процесс изучения новых задач происходит в заданной последовательности. В частности, Джоан Серра, ученая-исследователь, специализирующаяся на глубоком обучении машин в Telefónica R&D, отмечает:

«Искусственный общий интеллект должен обладать возможностью последовательного обучения в меняющемся мире, поскольку он всегда будет искать новые вещи, которые меняются. И он должен адаптироваться к этим изменениям. И если, приспосабливаясь к этим изменениям, он забывает, что он уже знает, то это, как минимум, не разумно».

ИА «Экспресс-Новости» акцент ставит на тот факт, что ученые-компьютерщики занимаются данной проблемой на протяжении не одного десятилетия. И только исследовательской группе Серры, возможно, удалось найти решение.

искусственный интеллект доступ

Улучшение памяти

Исследовательская группа Telefónica в Барселоне разработала систему, которая решает проблему катастрофического забывания, минимизируя объем памяти, который требует алгоритм. Этот механизм состоит из двух отдельных параметров. Один из них объединяет информацию о том, что нейронные сети требуют наименьших нейронов, без ущерба для ее точности. А другой защищает единицы, которые необходимы для завершения прошлых задач.

«Наше решение пытается минимизировать пространство при изучении новой задачи и, в то же время, не изменять то, что было изучено ранее в этом сокращенном пространстве, где вы вкладываете новые знания», - говорит Серра. И о эврика! Исследование превратило идею в функционирующую систему. «Мы все знаем, что, если мы не коснемся нейронов, то они не теряют память, - говорит Серра. – Та же тенденция существует в нейронных сетях и в машинном обучении. Так, пытаясь выучить очень компактные модели для развертывания этих сверхсовременных нейронных сетей в машинах с ограниченными ресурсами, таких как автомобиль или мобильный телефон или машины, которые имеют очень мало памяти или емкости, вы хотите сжать эти нейронные сети. Нам же пришла идея, а почему бы просто не скомбинировать их по отношению к ИИ?».

Команда исследователей теперь надеется использовать эту возможность сжатия для развертывания передовых алгоритмов в устройствах с ограниченными ресурсами, таких как автомобили или мобильные телефоны. «Мы считаем, что часть используемых методов может быть переработана для развертывания этих алгоритмов», - говорит Серра.

искусственный интеллект неограниченный

Альтернативные системы

Команда R&D Telefonica - не единственная организация, которая разработала решение для «катастрофического забывания». Недавно исследователи Google DeepMind создали агент AI, который может представить, что что-то, найденное в одной виртуальной среде, может выглядеть так же, как в другой. Система опирается на пять примеров того, как объект выглядит под разными углами, чтобы узнать, что это такое и как он может выглядеть с других углов или в различном освещении. Он может представить себе, как он будет выглядеть в другом виртуальном мире и различать его и то, что он видел раньше, позволяя ему помнить о том, что ему предшествовало.

Многие из альтернатив тестировали свои системы с ограниченными количествами и типами данных, а затем искусственно создавали задачи из этих наборов данных. В то же время, команда Telefonica тестировала разные наборы данных для разных задач, от идентификации рукописных цифр до распознавания лиц. «Когда вы ставите алгоритмы в эту более строгую систему оценки, вы видите, что некоторые из них действительно неэффективны, но еще есть возможности для улучшения. Они все еще забывают что-то», - говорит Серра.

фильмы про искусственный интеллект

Оставшиеся барьеры

Серра признает, что сама система Telefónica не вылечит катастрофического забывания. Учёная полагает, что ее команда, все же, могла бы более эффективно задействовать единицы информации, используемые нейронными сетями. Но это само по себе не решило бы фундаментальную проблему обучения нейронных сетей с использованием обратного распространения. Проблема с этим методом заключается в том, что ИИ оптимизирует сеть для фиксированной цели и может быть нарушен путем ввода новой информации.

Серра убеждена, что дальнейшее сжатие возможно, но полагает, что окончательное решение будет совершенно новым методом запоминания, который больше не полагается на обратное распространение. «Я бы сказала, что ключевым было бы найти алгоритм обучения, который, возможно, более биологически вдохновлен и не основан на удалении прошлой информации, - говорит учёная. - Но это сложный вопрос».

искусственный интеллект 2018

#Нейронные связи #Искусственный интеллект #Потеря памяти #Катастрофическое забывание #Учёные #Исследование

0

Присоединяйтесь к нам в Яндекс Дзен, ВКонтакте, Facebook, Одноклассники, Youtube, Instagram, Twitter и Google+. Будьте в курсе последних новостей!

Смотрите также:

Последние новости из раздела "Это интересно"

Выбор редакции