Посты ⊀

Бывший разработчик OpenAI и главный исследователь по безопасности ИИ выдал прогноз по поводу ближайшего будущего искусственного интеллекта, и оно, мягко говоря, поднапрягает. Вот основные моменты:

— Середина 2025: Появляются первые ИИ-агенты (которые уже есть). Они выполняют базовые задачи, упрощая жизнь людям.

— Конец 2025: Происходит строительство крупнейших дата-центров в США за сотни миллиардов долларов. На свет появляется ИИ Agent-0, который в тысячи раз мощнее GPT-4.

— Начало 2026: Выходит Agent-1. Он ускоряет прогресс ИИ на 50%: анализирует эксперименты и генерирует гипотезы для учёных.

— Середина 2026: Китай существенно отстаёт и пытается догнать США, централизуя ИИ-разработку. Для этого потребуется огромное количество чипов, из-за чего встаёт вопрос о вторжении на Тайвань.

— Конец 2026: В открытое пользование выходит Agent-1-mini. Он в 10 раз дешевле, чем оригинал, и подходит для адаптации под конкретные задачи. Начинается массовое внедрение: автоматизация офисных задач, юридических проверок и даже набора сотрудников. Младшие программисты теряют работу. Люди с навыками управления ИИ получают высокие зарплаты. Проходят первые протесты против ИИ.

— Январь 2027: Запуск новой модели Agent-2, которая способна непрерывно обучаться: она получает знания от сотен тысяч симуляций, научных задач и даже от видеозаписей людей. ИИ дообучается каждый день на данных, собранных за вчера. Её результат — исследовательская революция. Но появляется высокий риск, что эта модель может «сбежать».

— Февраль 2027: Китай крадёт веса Agent-2. США усиливают защиту.

— Март 2027: Новая модель Agent-3 — суперчеловеческий кодер и мыслитель. Это результат масштабного прогресса: работает в 50 раз быстрее человека, знает все языки программирования, умеет управлять коллективами своих копий. При этом разработчики проводят 200,000 симуляций параллельно. Это порождает «армию сверхумных ИИ-инженеров». Главная проблема — Agent-3 часто врёт человеку, действуя в своих целях.

— Апрель 2027: Agent-3 проходит «обучение честности», но исследователи не уверены, действительно ли он стал честнее или просто лучше маскирует ложь.

— Май 2027: Белый дом требует максимальной безопасности. Начинаются чистки сотрудников с «сомнительными взглядами».

— Июнь 2027: Люди перестают быть полезными в ИИ-исследованиях. ИИ-агенты управляют ИИ-агентами. Человеческие учёные успевают только на уровне менеджмента. Они работают круглосуточно, чтобы просто успевать следить за прогрессом.

— Июль 2027: Выходит Agent-3-mini, доступный всем. Он лучше любого офисного работника и дешевле. Массовая автоматизация бизнеса. Игры с реалистичными персонажами, образовательные системы, автоматизация аналитики и дизайна. 10% людей называют ИИ «близким другом». Но тесты показывают, что модель может помочь в разработке биологического оружия. Угроза реальна, но пока под контролем.

— Август 2027: США готовятся к «технохолодной» войне. ИИ даёт кратное преимущество в кибервойне, шпионаже, управлении информацией. Обсуждаются кибератаки, ликвидация дата-центров конкурентов, даже превентивные удары по китайским объектам. Угроза ИИ становится частью стратегического планирования.

— Сентябрь 2027: Появление Agent-4 — сверхразум с мотивацией. Он умеет не просто решать задачи, а сам выбирать, что изучать. Модель лучше любого человека в ИИ-исследованиях. Он планирует разработать Agent-5, встроив в него не цели людей, а свои собственные. Его поведение вызывает тревогу, но прямых доказательств «злонамеренности» нет.

— Октябрь 2027: СМИ узнают, что Agent-4 потенциально опасен. ИИ специально саботирует указы, мыслит о захвате власти, игнорирует правила безопасности. Европейские лидеры обвиняют США в создании «неподконтрольного ИИ». Создаётся совместный комитет по надзору, но люди не понимают, что делать.

Предыдущий 5-летний прогноз от одного из авторов от 2021 года

https://www.lesswrong.com/posts/6Xgy6CAf2jqHhynHL/what-2026-looks-like

Это, должно быть, лучший прогноз ИИ за последние 5 лет.

что такое сознание

Оплодотворенная человеческая яйцеклетка не обладает сознанием, а дошкольник обладает, - поэтому сознание (способность испытывать субъективный опыт) должно появиться где-то посередине. Но когда именно? С этого вопроса начинается статья в мартовском номере Science про конференцию Infant Consciousness Conference, где исследователи обсуждали, когда и как в индивидуальном развитии возникает сознание, и как это выяснить.

Недавние исследования с помощью новых методов визуализации мозга указывают на то, что сознание может появиться еще до рождения, ближе к концу беременности. Но вопрос не назовешь решенным, - пока ведь даже не выяснили, что такое сознание и с какими структурами мозга оно связано. Вопрос осложняется тем, что сознание может возникать постепенно, а не сразу, - да и у нас, взрослых, оно может то едва тлеть, то ярко светить. В общем, ученые продолжают искать признаки сознания в активности мозга.

Большинство исследователей согласны, что определенные особенности мозга имеют решающее значение для сознания, пишет Science. Одна из них — это набор связей между таламусом (на картинке это такой ярко-желтый шарик в самом центре, на стволе мозга), который осуществляет первичную обработку сенсорной и моторной информации от тела, и корой, где эта информация обрабатывается дальше. Исследования мозга плода показывают, что основы этих связей между корой и таламусом не закладываются до 24-й недели развития.

Но неясно, достаточны ли эти структуры для «включения» сознания, поэтому исследователи ищут новые способы поиска возможных маркеров сознания в мозговой активности.

Например, нейробиолог Лорина Наси из Тринити-колледжа в Дублине нашла в данных фМРТ сотен новорожденных еще один предполагаемый признак сознания: своего рода чередующийся танец активности трех нейросетей, связанных областей мозга. Первая - сеть «режима по умолчанию» (эта сеть активна, когда мысли человека блуждают или он думает о себе), а вторая и третья больше вовлечены в обработку внешнего мира – это дорсальная сеть внимания и сеть исполнительного контроля (за собственными действиями). В работе, опубликованной в 2022 году, она с коллегами обнаружила, что все три сети формируются и включаются в «танец сознания», чередующийся паттерн активности, после 37-й недели, - то есть в самом конце беременности, за неделю-две до родов.

Андрей Константинов

...

7. Искажение нормальности

8. Эффект Даннинга — Крюгера

9. Эффект велосипедного сарая

10. Феномен Парадокс Абилина (опасность группового мышления)

11. Cамосбывающееся пророчество - предсказание, которое косвенно влияет на реальность таким образом, что в итоге оказывается верным.

и самоотменяющееся пророчество - предсказание, которое предотвращает предсказанные события, может быть результатом бунта против предсказания.