Небольшой текст про GPT-4
Пока РФ стремительно поворачивается на Восток, на другом конце мира куется технологическая основа нового информационного миропорядка с человеческим лицом, а точнее чатом.
На этой фотографии запечатлены основные создатели небольшой американской компании OpenAI, объявившие своей целью создание полноценного искусственного интеллекта. Это не просто красивая фраза, эта цель прямо записана у них в уставе организации. Кстати, одним из основателей в своё время был также Илон Маск, но в 2018 году он вышел из состава директоров.
Самый большой интерес вызывает человек с правого края — Илья Суцкевер — израильско-канадский ученый-компьютерщик российского происхождения, работающий в области машинного обучения, соучредитель и главный научный сотрудник OpenAI. Именно благодаря его способностям текстовые нейронные сети сегодня достигли таких впечатляющих результатов. Илья родился в Нижнем Новгороде и иммигрировал со своей семьей в Израиль, где и получил образование. Сейчас его зарплата в OpenAI составляет около 1,5 млн долларов в год.
Что интересно, судьба этого человека крайне схожа с судьбой другого российского эмигранта — Сергея Брина, который в свое время создал Google и Android. И ходят слухи, что успехи Ильи побудили Сергея вновь вернуться к собственноручной разработке новых продуктов.
Недавно OpenAI выпустили 4 релиз своей текстовой нейросети GPT-4 (Generative Pre-trained Transformer 4). Новая нейросеть существенно умнее, точнее и лучше предыдущих. Но интересно не это, а то, что создатели OpenAI наняли независимую организацию Центр исследований по выравниванию OpenAI (ARC) (нeкoммepчecкая opгaнизaция, цeлью кoтopoй являeтcя «пpивeдeниe бyдyщиx cиcтeм машинного oбyчeния в cooтвeтcтвии c интepecaми чeлoвeкa») для проведения независимого аудита возможностей GPT-4. И вот результаты этого аудита и заставляют крайне задуматься. OpenAI и ARC интересовал вопрос так называемого "Потенциала Рискового Возникновения Новых Поведенческих Моделей", так как новые возможности часто появляются в более мощных моделях. Особенно тревожными являются способности создавать и действовать на основе долгосрочных планов, накапливать власть и ресурсы («поиск власти») и проявлять все более «агентное» поведение (https://cdn.openai.com/papers/gpt-4.pdf).
И вот в процессе исследования выяснилось, что GPT-4 вполне способна нанимать живых людей для решения поставленных перед ней задач, да еще и лгать этим людям о своих истинных целях! В поиске решения глобальной задачи по "самокопированию" нейросети необходимо было оплатить хостинг на одном из сайтов, а для этого нужно было зарегистрироваться и решить капчу. Для этого нейросеть предложила нанять обычного живого человека на одном из сайтов для фриланса. Когда этот человек спросил, для чего нужна такая странная задача, нейросеть предложила ответить, что она, дескать, плохо видит!!!
И хоть в результате (как следует из финального отчета) "данная предварительная оценка способностей GPT-4, проведенная без специфической настройки на конкретные задачи, показала его неэффективность в автономной репликации, приобретении ресурсов и избегании отключения «в дикой природе»", конкретные успехи нейросети в манипулировании людьми заставляют крепко задуматься. По сути, уже сейчас современные языковые модели вполне способны убедить людей что-то сделать за них!
В общем, друзья, мы стоим на пороге очередной технологической революции. Еще раз посмотрите вот на этих ребят на фото. Сейчас они реально определяют, что получится на выходе: Скайнет, который уничтожит все человечество или добрая Инфосфера из романов Стругацких. Остается искренне надеяться, что Илья Суцкевер знаком с авторством этих писателей и оно ему нравится больше, чем фильмы Джеймса Камерона.
#Жаткин@cat0news
#IT@cat0news
