Посты Кирилл

недавнее исследование, проведённое в Калифорнийском технологическом институте, показало:

наш мозг осознаёт информацию со скоростью 10 бит/сек, тогда как сенсорные органы обрабатывают её в миллиарды раз быстрее.

это ограничение влияет на наше восприятие и скорость мышления.

исследование открывает новые важные направления для исследований для нейробиологов, в частности: почему мы можем думать только об одной вещи за раз, в то время как наши сенсорные системы обрабатывают тысячи входных данных одновременно?

в течение 2025 исправляем свои когнитивные искажения, чтоб быть красавчиками и красавицами. го

1. Отклонение в сторону статус-кво — выражающееся в тенденции людей желать, чтобы вещи оставались приблизительно теми же самыми, то есть сохраняли статус-кво. Эффект возникает из-за того, что ущерб от потери статус-кво воспринимается как больший, чем потенциальная выгода при его смене на альтернативный вариант:

https://earthsky.org/astronomy-essentials/2-ways-to-find-the-andromeda-galaxy/

Межпланетная станция Parker Solar Probe, принадлежащая НАСА, совершила рекордно близкий пролет к Солнцу 24 декабря на расстоянии 6,1 млн км.

«Ни один искусственный объект никогда не проходил так близко к звезде, поэтому Паркер действительно будет передавать данные о неизведанной территории», — сообщили ученые.

Подобное сближение с Солнцем позволяет Parker Solar Probe проводить измерения, которые помогут ученым лучше понять, как вещество в этом регионе нагревается до миллионов градусов, проследить происхождение солнечного ветра, и узнать, как энергичные частицы ускоряются до скорости, близкой к скорости света.

В Юте нашли окаменелости растения, не похожего ни на одно из современных или вымерших.

Уникальная находка заставила ученых пересмотреть представления о древней флоре.

Палеонтологи из США подтвердили, что древнее растение Othniophyton elongatum, прозванное «инопланетным», не связано ни с одним из известных семейств, пишет LiveScience. Окаменелости обнаружили в 1969 году в формации Грин-Ривер, недалеко от города-призрака Рэйнбоу в штате Юта.

Первоначально ученые предполагали, что это растение относится к семейству женьшеневых. Однако недавние исследования показали, что оно не имеет сходства ни с современными, ни с вымершими цветковыми растениями.

The Othniophyton elongatum fossil. Источник: Florida Museum photo by Jeff Gage

Второй образец, найденный в той же местности, содержал листья, цветы и плоды, которые отличались от женьшеня. Анализ обеих находок подтвердил, что они принадлежат одному виду, но не имеют аналогов среди более чем 400 известных семейств цветковых растений.

Растение сохранилось благодаря вулканическому пеплу и озерным отложениям, которые 47 миллионов лет назад покрывали этот регион. Ученые использовали новые методы микроскопии и искусственный интеллект, чтобы изучить отпечатки семян и тычинок — мужских репродуктивных органов растения.

«Обычно тычинки отпадают, когда плоды созревают, но у этого растения они сохранились даже при наличии зрелых семян. В современной природе таких примеров нет», — рассказали исследователи.

хайтек

Проект реализован IAI совместно с Израильским управлением инноваций и Еврейским университетом. Инициатива является частью национальной стратегии по развитию технологий и укреплению технологического лидерства в области квантовых вычислений.

Шокирующий отчет Apollo Research показал темную сторону иноразума.

LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения.

Заголовок - не кликбейт, а экспериментальный результат исследования авторитетной команды серьезных исследователей признанной организации в области безопасности ИИ.

О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.

На днях опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.

Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:

✔️ Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).

✔️ Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.

✔️ Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).

✔️ Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в ~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.

✔️ Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)

Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.

Отчет Apollo Research показал, что этот поезд уже ушел.

• Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.

• И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).

малоизвестное интересное