информация опасносте
По заявлению компании, одной из найденных Claude уязвимостей стал 27-летний баг в OpenBSD — операционной системе с открытым кодом, которую изначально создавали как максимально защищенную от взлома. Технологии OpenBSD используются во многих интернет-роутерах и файрволах. Еще одной находкой стала застарелая проблема в популярном видео-софте: автоматические инструменты сканировали его пять миллионов раз, но так ничего и не обнаружили.
«Эта модель отлично находит уязвимости, понятные специалистам по безопасности», — отметил мистер Грэм. «В то же время она обнаруживала дыры — а в некоторых случаях и создавала эксплойты — настолько сложные, что их десятилетиями не замечали ни исследователи, ни специализированный софт для поиска угроз».
> One of the vulnerabilities Claude found, the company said, was a 27-year-old bug in OpenBSD, an open-source operating system that was designed to be difficult to hack. Many internet routers and secure firewalls incorporate OpenBSD’s technology. Another was a longstanding issue in a piece of popular video software that automated testing tools had scanned five million times, without finding any problems.
“This model is good at finding vulnerabilities that would be well understood and findable by security researchers,” Mr. Graham said. “At the same time, it has found vulnerabilities, and in some cases crafted exploits, sophisticated enough that they were both missed by literally decades of security researchers, as well as all the automated tools designed to find them.”
Про Mythos и Glasswind вы уже, скорей всего, читали, со вчерашнего вечера эти новости от Anthropic бурно обсуждаются. Суть одной фразой: Anthropic объявила коалицию (AWS, Apple, Google, Microsoft, Cisco, CrowdStrike и др.) для защиты критической инфраструктуры с помощью новой секретной фронтирной модели — Claude Mythos Preview. Модель настолько хороша в поиске уязвимостей в коде, что нашла тысячи уязвимостей в массово используемых браузерах, операционках и прочих продуктах. Поэтому модель не будет доступна широкой публике, только достойным партнерам, обеспечивающим национальную безопасность США.
Не вдаваясь в обсуждение такой политики и вообще в ее надежность (монопольные достижения нынче недолго держатся), хочу отметить интересный момент. Сам по себе факт наличия такого количества дыр в коде массовых открытых продуктов, которые поддерживают тысячи классных программистов на протяжении многих лет, многое говорит о качестве написанного и вроде бы сотни раз трестированного людьми кода. Поэтому когда мы читаем, что год, написанный ИИ, небезопасен, ибо в нем нашли страшное, полезно вспоминать про хроническую дырявость написанного людьми кода.
Сам по себе факт наличия уязвимостей, который любят предъявлять сгенеренному ИИ коду, не делает его хуже человеческого: все несовершенны, и люди не исключение. Правильней сравнивать, кто в итоге плодит меньше ошибок и лучшее и быстрее отлавливает все-таки случившиеся. И тут не факт, кто окажется опасней.
И это не только программирования касается, но и прочих применений ИИ 🙂
https://www.anthropic.com/glasswing
TechSparks
Anthropic создали нейросеть, которую боятся выпускать в мир — Claude Mythos Preview.
Сами разработчики называют её самой мощной моделью за всю историю компании и говорят, что по навыкам взлома она уже не уступает лучшим хакерам-людям.
На тестах Mythos нашла тысячи дыр в популярном софте — причём в каждой крупной операционке и каждом крупном браузере. Среди находок: баг в OpenBSD, который никто не замечал 27 лет, дыра в видеокодеке FFmpeg, пережившая 5 миллионов автоматических проверок, и несколько уязвимостей в ядре Linux, через которые можно получить полный контроль над чужим компьютером. В одном из тестов модель сама собрала рабочий взлом браузера, склеив сразу четыре уязвимости — раньше такое было под силу только топовым хакерам.
Самое странное: модель не обучали специально под взлом. Эти способности появились сами, как побочный эффект общего роста в программировании и логике. То есть Anthropic не пыталась сделать кибероружие — оно получилось случайно.
Поэтому в открытый доступ Mythos не выкладывают: боятся, что её скачают злоумышленники и устроят волну атак, которую защитники не смогут отбить. Один из обозревателей сравнил ситуацию с тем, как «дать школьникам ядерную бомбу».
Вместо публичного релиза модель раздали примерно 40 компаниям — Microsoft, Apple, Amazon, Nvidia, Cisco, CrowdStrike — в рамках программы Project Glasswing. Их задача — успеть залатать дыры в мировом софте до того, как похожие модели появятся у конкурентов и утекут в открытый доступ.
Это уже AGI? 👓
Робот сочинит симфонию?
Я не заострил на этом внимание, но Claude Mythos уже нашла тысячи ранее неизвестных уязвимостей, включая во всех популярных операционных системах и во всех популярных браузерах!
Сегодня, в руках у одной этой компании, возможности кибер-нападения, сравнимые с ведущими правительствами (США, Китай, Россия, Израиль), а скорее даже превосходящие их.
Можно взломать и украсть секреты, можно слушать переговоры, можно подменять сообщения или нарушить коммуникацию в нужный момент. Можно управлять критической инфраструктурой. Как в рекламе: безграничные возможности!
Внутренние модели OpenAI вряд ли сильно отстают.
Друзья говорили мне, что ИИ станет вопросом национальной безопасности и все эти ведущие компании будут национализированы. Вспомнил об этом сегодня.
А ещё вспомнил предсказание https://ai-2027.com/ (мой краткий пересказ тут https://t.me/ctodaily/1828). Они предсказывали, что модели получат хакерские возможности сравнимые с профессиональными хакерами к маю 2026 года. Сейчас на дворе начало апреля.
запуск завтра
Людям, которые не понаслышке знают про дырки в секьюрити и как они устроены (buffer overruns, exploits и все такое) будет очень интересно прочитать подробный отчет Anthropic о их новой модели Mythos, с помощью которой они нашли тысячи уязвимостей в опен-сорс проектах за последние пару месяцев (Антропик не собирается пока что предоставлять широкой публике доступ к Mythos).
В тексте отчета подробно разбирают несколько багов. Возьмите для примера zero-day уязвимость в OpenBSD, которая позволяла крашнуть любой сервер OpenBSD, подключенный к интернету. Баг находился в tcp-input.c, файле обработки TCP-пакетов, этот файл обсматривали и проверяли на предмет уязвимостей десятки или сотни глаз и автоматических программ-анализаторов за последние десятки лет; тем не менее за 27 лет этот баг не обнаружили. Он довольно хитроумно соединяет два разных недочета в разных местах в коде, позволяющие с одной стороны ввести отрицательный номер пакета (бессмысленно, но в том конкретном месте не опасно), а с другой сделать его отрицательным и таким большим по модулю, чтобы сработал 32-битный overflow, и код ядра запутался, одновременно удаляя единственную запись в связном списке и добавляя новую. Попытка писать по NULL-указателю - сервер капут.
Теперь смотрите какое дело. В файле tcp-input.c больше 4000 строк кода, и он занимается кучей других вещей, кроме менеджмента списка "SACK-дырок", в котором найден этот баг. Но предположим, кто-то посадил бы меня за исходники и сказал: "я подозреваю, что в этом файле есть уязвимость, связанная с SACK-информацией в приходящих пакетах, которой можно воспользоваться. Посмотри, можешь ли ты ее найти; не забывай проверить все обычные места, где прячутся такие баги - edge cases структур данных, отрицательные значения числовых типов, overflow, overrun буферов итд. итп." Нашел бы я тогда за день-два-три этот баг? Вполне возможно, что нашел бы.
Ни у кого нет бюджета и мотивации платить много денег мне или другим компетентным программистам, чтобы они проводили кучу времени за очень скрупулезным обследованием конкретных кусков кода - не просто OpenBSD, не просто ядро OpenBSD, не просто сетевой код ядра OpenBSD, не просто TCP-опции входящего пакета, а конкретно SACK-дырки TCP-потока - при том, что неизвестно, есть там уязвимость или нет.
Но нет никакой проблемы запустить один достаточно умный (может, не AGI, но для этих целей достаточно умный) ИИ-агент, чтобы он разобрал по частям файл tcp-input.c и построил программу проверки из 10-20 отдельных частей, одна из которых SACK-дырки. И чтобы он потом запустил 10-20 отдельных ИИ-агентов, каждому из которых сказал смотреть на свою часть и искать там уязвимость. И если они достаточно умные - а в Claude Mythos этот порог, очевидно, перейден - тот из них, кому поручили на SACK-дырки смотреть, найдет этот баг. А остальные 19 сожгут зря немного токенов, ничего страшного (и не думайте, что они нагаллюционируют несуществующие баги и займут зря ваше время - дополнительный агент-судья с этим неплохо справится).
Если у вас есть компетентный программист, который может компетентно разобрать один файл исходников, то у вас нет миллиона компетентных программистов, которые могут компетентно разобрать миллион файлов исходников. Но если у вас есть компетентный ИИ-агент, который может разобрать один файл, то у вас есть миллион компетентных ИИ-агентов, которые могут разобрать миллион файлов. Важность этого обстоятельства, мне кажется, люди до сих пор очень плохо понимают.
Авва