информация опасносте
По заявлению компании, одной из найденных Claude уязвимостей стал 27-летний баг в OpenBSD — операционной системе с открытым кодом, которую изначально создавали как максимально защищенную от взлома. Технологии OpenBSD используются во многих интернет-роутерах и файрволах. Еще одной находкой стала застарелая проблема в популярном видео-софте: автоматические инструменты сканировали его пять миллионов раз, но так ничего и не обнаружили.
«Эта модель отлично находит уязвимости, понятные специалистам по безопасности», — отметил мистер Грэм. «В то же время она обнаруживала дыры — а в некоторых случаях и создавала эксплойты — настолько сложные, что их десятилетиями не замечали ни исследователи, ни специализированный софт для поиска угроз».
> One of the vulnerabilities Claude found, the company said, was a 27-year-old bug in OpenBSD, an open-source operating system that was designed to be difficult to hack. Many internet routers and secure firewalls incorporate OpenBSD’s technology. Another was a longstanding issue in a piece of popular video software that automated testing tools had scanned five million times, without finding any problems.
“This model is good at finding vulnerabilities that would be well understood and findable by security researchers,” Mr. Graham said. “At the same time, it has found vulnerabilities, and in some cases crafted exploits, sophisticated enough that they were both missed by literally decades of security researchers, as well as all the automated tools designed to find them.”
Про Mythos и Glasswind вы уже, скорей всего, читали, со вчерашнего вечера эти новости от Anthropic бурно обсуждаются. Суть одной фразой: Anthropic объявила коалицию (AWS, Apple, Google, Microsoft, Cisco, CrowdStrike и др.) для защиты критической инфраструктуры с помощью новой секретной фронтирной модели — Claude Mythos Preview. Модель настолько хороша в поиске уязвимостей в коде, что нашла тысячи уязвимостей в массово используемых браузерах, операционках и прочих продуктах. Поэтому модель не будет доступна широкой публике, только достойным партнерам, обеспечивающим национальную безопасность США.
Не вдаваясь в обсуждение такой политики и вообще в ее надежность (монопольные достижения нынче недолго держатся), хочу отметить интересный момент. Сам по себе факт наличия такого количества дыр в коде массовых открытых продуктов, которые поддерживают тысячи классных программистов на протяжении многих лет, многое говорит о качестве написанного и вроде бы сотни раз трестированного людьми кода. Поэтому когда мы читаем, что год, написанный ИИ, небезопасен, ибо в нем нашли страшное, полезно вспоминать про хроническую дырявость написанного людьми кода.
Сам по себе факт наличия уязвимостей, который любят предъявлять сгенеренному ИИ коду, не делает его хуже человеческого: все несовершенны, и люди не исключение. Правильней сравнивать, кто в итоге плодит меньше ошибок и лучшее и быстрее отлавливает все-таки случившиеся. И тут не факт, кто окажется опасней.
И это не только программирования касается, но и прочих применений ИИ 🙂
https://www.anthropic.com/glasswing
TechSparks
Anthropic создали нейросеть, которую боятся выпускать в мир — Claude Mythos Preview.
Сами разработчики называют её самой мощной моделью за всю историю компании и говорят, что по навыкам взлома она уже не уступает лучшим хакерам-людям.
На тестах Mythos нашла тысячи дыр в популярном софте — причём в каждой крупной операционке и каждом крупном браузере. Среди находок: баг в OpenBSD, который никто не замечал 27 лет, дыра в видеокодеке FFmpeg, пережившая 5 миллионов автоматических проверок, и несколько уязвимостей в ядре Linux, через которые можно получить полный контроль над чужим компьютером. В одном из тестов модель сама собрала рабочий взлом браузера, склеив сразу четыре уязвимости — раньше такое было под силу только топовым хакерам.
Самое странное: модель не обучали специально под взлом. Эти способности появились сами, как побочный эффект общего роста в программировании и логике. То есть Anthropic не пыталась сделать кибероружие — оно получилось случайно.
Поэтому в открытый доступ Mythos не выкладывают: боятся, что её скачают злоумышленники и устроят волну атак, которую защитники не смогут отбить. Один из обозревателей сравнил ситуацию с тем, как «дать школьникам ядерную бомбу».
Вместо публичного релиза модель раздали примерно 40 компаниям — Microsoft, Apple, Amazon, Nvidia, Cisco, CrowdStrike — в рамках программы Project Glasswing. Их задача — успеть залатать дыры в мировом софте до того, как похожие модели появятся у конкурентов и утекут в открытый доступ.
Это уже AGI? 👓
Робот сочинит симфонию?