Новости

Aug 14, 2023

ИИ могут писать шутки, но не понимают шуток

Заполните форму ниже, и мы вышлем вам по электронной почте PDF-версию статьи «ИИ могут писать шутки, но не понимают шуток». Заполните форму ниже, чтобы разблокировать доступ ко ВСЕМ аудио-статьям. Большие нейронные сети,

Заполните форму ниже, и мы вышлем вам по электронной почте PDF-версию книги «ИИ могут писать шутки, но не понимают шуток»

Заполните форму ниже, чтобы разблокировать доступ ко ВСЕМ аудиостатьям.

Большие нейронные сети, форма искусственного интеллекта, могут генерировать тысячи шуток типа «Почему курица перешла дорогу?» Но понимают ли они, почему они смешные?

Используя сотни работ конкурса подписей к мультфильмам, проводимого журналом New Yorker, в качестве испытательного стенда, исследователи поставили перед моделями искусственного интеллекта и людьми три задачи: сопоставить шутку с мультфильмом; определение выигрышной подписи; и объяснить, почему победная подпись смешна.

Во всех задачах люди справились явно лучше, чем машины, даже несмотря на то, что достижения искусственного интеллекта, такие как ChatGPT, сократили разрыв в производительности. Итак, машины начинают «понимать» юмор? Короче говоря, они добились определенного прогресса, но еще не достигли этого.

Подпишитесь на ежедневный информационный бюллетень Technology Networks, чтобы каждый день доставлять последние научные новости прямо на ваш почтовый ящик.

«Люди бросают вызов моделям ИИ, пытаясь понять их, создавая для них тесты — тесты с множественным выбором или другие оценки с оценкой точности», — сказал Джек Хессель, доктор философии. 20 год, научный сотрудник Института искусственного интеллекта Аллена (AI2). «И если модель в конечном итоге превосходит все, что люди получают в этом тесте, вы думаете: «Хорошо, значит ли это, что она действительно понимает?» Можно с уверенностью сказать, что ни одна машина не может по-настоящему «понимать», потому что понимание — это человеческое дело. Но независимо от того, понимает машина или нет, все равно впечатляет, насколько хорошо они справляются с этими задачами».

Хессель — ведущий автор книги «Смеются ли андроиды над электрическими овцами?» Показатели «понимания юмора» по итогам конкурса титров для жителей Нью-Йорка», который получил награду за лучшую статью на 61-м ежегодном собрании Ассоциации компьютерной лингвистики, проходившем 9–14 июля в Торонто.

Лилиан Ли '93, профессор Чарльза Роя Дэвиса в Корнеллском колледже вычислительной техники и информатики Энн С. Бауэрс, и Еджин Чой, доктор философии. '10, профессор Школы компьютерных наук и инженерии Пола Аллена при Вашингтонском университете и старший директор по исследованиям здравого смысла в AI2 также являются соавторами статьи.

Для своего исследования исследователи собрали данные конкурсов подписей жителей Нью-Йорка за 14 лет – всего их было более 700. Каждый конкурс включал в себя: мультфильм без субтитров; записи той недели; три финалиста, выбранные редакторами New Yorker; а для некоторых конкурсов — оценка качества толпы для каждого представления.

Для каждого конкурса исследователи тестировали два вида ИИ — «из пикселей» (компьютерное зрение) и «из описания» (анализ человеческих описаний мультфильмов) — для трёх задач.

«Есть наборы фотографий с Flickr с подписями вроде: «Это моя собака», — сказал Хессель. «В случае с жителем Нью-Йорка интересно то, что отношения между изображениями и подписями являются косвенными, игривыми и отсылают к множеству реальных объектов и норм. Поэтому задача «понимания» взаимосвязи между этими вещами требует немного большей сложности».

В эксперименте сопоставление требовало, чтобы модели ИИ выбрали финалистскую подпись для данного мультфильма среди «отвлекателей», которые были финалистами, но не участвовали в других конкурсах; Для ранжирования качества требовались модели, позволяющие отличить подпись финалиста от подписи нефиналиста; и объяснение требовало, чтобы модели генерировали произвольный текст, объясняющий, как высококачественная подпись связана с мультфильмом.

Хессель сам написал большую часть объяснений, созданных людьми, но после краудсорсинга задача оказалась неудовлетворительной. Он создал пояснения из 60 слов для более чем 650 мультфильмов.

«Число вроде 650 не кажется таким уж большим в контексте машинного обучения, где у вас часто есть тысячи или миллионы точек данных», — сказал Хессель, — «пока вы не начнете их записывать».

Это исследование выявило значительный разрыв между «пониманием» того, почему мультфильм смешной, на уровне искусственного интеллекта и на человеческом уровне. Наилучшая производительность ИИ в тесте с множественным выбором соответствия мультфильма и подписи составила всего 62% точности, что намного отстает от 94% у людей в тех же условиях. А когда дело дошло до сравнения объяснений, созданных людьми и искусственным интеллектом, предпочтение людей отдавалось примерно 2 к 1.