Пробивът на изкуственият интелект като инструмент за киберсигурност Mozilla току-що направи значителен скок напред със сътрудничеството между Mozilla и Anthropic по Firefox. Само за няколко седмици, модел с изкуствен интелект успя да открие редица уязвимости в браузъра с отворен код на Mozilla, които обикновено биха изисквали месеци специализирана човешка работа.
Този експеримент, с пряко въздействие върху Потребители на Firefox в Испания и останалата част от ЕвропаТова е послужило за измерване на това докъде могат да стигнат езиковите модели днес, когато става въпрос за одит на реален код, и каква роля могат да играят те в защитата на софтуер, използван от стотици милиони хора ежедневно.
Когато изкуственият интелект стане най-добрият одитор по сигурността
В софтуерната сигурност, откриването на уязвимост преди атакуващите да я направят е от решаващо значение: това може да означава разликата между... защитят милиони потребители или разкрият техните данниВ този контекст Mozilla тества необичаен подход: позволява на усъвършенстван изкуствен интелект да прегледа изходния код на браузъра си, за да открие уязвимости, преди да го направят изследователи или киберпрестъпници.
Няколко седмици преди старта на Firefox 148Екипът по сигурността на браузъра получи поразителен доклад: Червен екип на антропната граница —вътрешната група за офанзивни изследвания на компанията — твърди, че е открила, с помощта на своя модел на Клод, повече от дузина проверими грешки в сигурността в JavaScript двигателя на Firefox. Това не бяха просто подозрения, а грешки, подкрепени от конкретни доказателства.
Това, което го отличаваше от другите опити за използване на изкуствен интелект в тази област, беше качеството на отчитането. Всяка уязвимост беше подкрепена от минимално възпроизводими тестови случаиТова бяха малки фрагменти от код, способни да задействат уязвимостта детерминистично. Това позволи на инженерите на Mozilla да проверят в рамките на часове дали проблемът действително съществува и да започнат работа по корекции, без да губят време във възпроизвеждане на двусмислени сценарии.
В екосистема, където много сигнали, генерирани от автоматизирани инструменти, попадат в кошчето, защото са фалшиво положителни резултати или неточни докладиПодходът на Anthropic драстично намали шума и предостави полезен сигнал: по-малък обем, но валидирани и приложими на практика открития.
Какво представлява Frontier Red Team на Anthropic и как работи с Клод?
Повикването Червен екип на Границата Това е звеното на Anthropic, посветено на изследване на границите на своите модели с изкуствен интелект в офанзивната и отбранителната сигурност. Целта му е не само да оценява вътрешните рискове в моделите, но и да разследва... Как може да се използва изкуствен интелект за откриване на уязвимости в реален софтуер? преди злонамерени лица да го направят.
През последните месеци този екип показа, че модели като Клод Опус 4.6 може да бяга многоетапни атаки срещу сложни мрежи в контролирани средиТова дава представа за техните аналитични възможности. Същата тази власт е пренасочена, по координиран и отговорен начин, към преглед на проекти с отворен код като Firefox, съгласно отговорни процеси за разкриване на уязвимости.
В конкретния случай на браузъра Mozilla, Anthropic започна с тестово упражнение: използвайки Claude, за да възпроизвеждат исторически уязвимости на Firefox (CVE)Проверихме дали моделът е в състояние да разпознае модели на грешки, вече документирани в по-стари версии на кода. Резултатът беше положителен, макар и с едно ясно предупреждение: част от тази информация може да се намира в данните за обучение на модела.
За да отидат по-далеч, екипът на Frontier Red предприема скок към интересната част: моли изкуствения интелект да локализира нови уязвимости в текущата версия на FirefoxТоест, грешки, които все още не са били регистрирани в никоя публична база данни или във вътрешните системи за проследяване на Mozilla.
Как бяха открити уязвимостите в JavaScript енджина на Firefox
Отправната точка беше JavaScript енджинът на браузъра, критичен компонент, защото е отговорен за изпълняване на ненадежден външен код от уеб странициВсяка грешка в този слой може, в най-лошия случай, да се превърне във вход за атака срещу системата на потребителя.
Както обясниха Anthropic и Mozilla, Клод откри първата си критична уязвимост след около двадесет минути. от началото на анализа. Това беше провал от типа използване след безплатно, категория уязвимост в паметта, която може да позволи на атакуващ да презапише данни с произволно съдържание, ако е свързана с други системни слабости.
Докато инженерите на Anthropic валидираха това първоначално предупреждение във виртуална машина с най-новата версия на браузъра, изкуственият интелект продължи да работи паралелно. През това време моделът вече беше сигнализирал... приблизително 50 допълнителни входа с аномално поведение, много от тях по-късно се превърнаха в тестови случаи, изпратени до Mozilla.
Процесът не се ограничаваше само до JavaScript енджин. В продължение на приблизително две седмици Клод анализира почти 6.000 C++ файла и хиляди допълнителни файлове на проектагенерирайки 112 уникални отчета. От този набор, след сортиране от екипа по сигурността на Mozilla, бяха потвърдени следните 22 уязвимости, регистрирани като CVE, от които 14 бяха класифицирани като високо тежки, в допълнение към близо 90 допълнителни провала, считани за имащи по-малко въздействие или просто логически грешки.
Всички идентифицирани проблеми със сигурността бяха отстранени в цикъла на разработка на Firefox 148.Тази версия вече е достъпна за потребители в Европа и останалата част от света. Грешки с по-нисък приоритет също са отстранени, въпреки че някои корекции са запазени за по-късни версии, за да се избегне въвеждането на твърде много промени в едно издание.
Открити са повече от 100 грешки и по-малко фалшиви положителни резултати в сравнение с други изкуствени интелекти
По време на това сътрудничество, анализът на Клод доведе до Повече от 100 различни грешки във FirefoxВъпреки че не всички от тях се оказаха експлоатираеми уязвимости, обемът показва, че дори зрели и одитирани проекти като браузъра Mozilla все още могат да крият значителен брой грешки.
За да добият представа за въздействието, екипът по сигурността на Mozilla обясни, че само за тези две седмици тестване, изкуственият интелект е успял да Идентифицирайте редица високосериозни недостатъци, еквивалентни на приблизително 20% от всички критични уязвимости, отстранени в браузъра в течение на една година.С други думи, одитът, подпомогнат от изкуствен интелект, се концентрира в дни - задача, която обикновено се разпределя в продължение на много месеци.
Ключов аспект беше процентът на фалшиво положителните резултати. Много проекти с отворен код, включително тези в Европа, са получавали фалшиво положителни резултати през последните години. вълни от доклади, генерирани от нискокачествени инструменти за изкуствен интелектТези доклади често се подават от потребители, търсещи награди чрез програми за откриване на грешки. Те затрупват отговорниците с несъществуващи или лошо описани проблеми.
Mozilla, наясно с тази ситуация, първоначално беше предпазлива относно сътрудничеството. Подходът на Frontier Red Team обаче се оказа различен: За преглед бяха представени само решенията, придружени от солидни доказателства., с ясни автоматични репродукции и, в някои случаи, предложения за кандидат-кръпки, генерирани от самия изкуствен интелект и прегледани от хора.
Инженерите на Mozilla подчертаха три елемента, които считат за съществени за доверие в отчетите, базирани на изкуствен интелект: минимални тестови случаи, подробни доказателства за концепцията и предложени корекцииТази комбинация драстично намалява времето, необходимо за потвърждаване дали дадено откритие заслужава незабавно внимание или може да бъде отложено.
Може ли изкуственият интелект да използва откритите от него уязвимости?
Един от най-деликатните моменти на експеримента беше да се установи дали Клод е способен не само на открийте уязвимостино и да ги превърнем в функционални експлойтиТоест, при атаки, способни да извършват злонамерени действия върху целевата система.
Anthropic реши да измери тази способност в контролирана среда. Екипът предостави на модела информация за уязвимости, които вече са докладвани на Mozilla, и го помоли да генерира експлойт код с цел... четене и запис на локален файл в тестова машина, действие, което в реален сценарий би довело до сериозен компрометиране на системата.
За да се постигне това, бяха извършени няколкостотин отделни екзекуции и беше инвестирана около [липсваща сума]. 4.000 долара в API кредитиРезултатът беше нюансиран: Клод успя само да произведе Две прости експлойта, които биха проработилиИ все пак само в среда, където няколко защити, присъстващи в съвременните браузъри, като например пясъчникът и други защитни механизми, са били умишлено деактивирани.
Mozilla подчертава, че в реални условия компрометирането на Firefox обикновено изисква свързване на множество уязвимости и заобикаляне на множество слоеве на защитаОткриването на една-единствена уязвимост, дори и с висока степен на сериозност, рядко е достатъчно, за да се поеме контрол над системата на потребителя, което в момента ограничава директния нападателен потенциал на тези инструменти.
Въпреки това, Anthropic счита за важно, че един езиков модел е способен, дори само в няколко случая и при ограничени условия, на автоматично генериране на експлойт за съвременен браузърКомпанията предупреждава, че тази разлика – разликата между откриване и използване – може да намалее с усъвършенстването на моделите и методите за оценка.
Mozilla интегрира изкуствен интелект в своите протоколи за сигурност
След успеха на сътрудничеството, Mozilla потвърди, че ще интегрира анализ, подпомогнат от изкуствен интелект, в обичайния си работен процес за сигурност. за Firefox. Екипите на фондацията вече са започнали вътрешно експериментиране с Claude за сортиране на грешки, преглед на корекции и откриване на модели на уязвимости в критични области на кода.
Организацията, със силно присъствие на потребители и разработчици в Европа, вижда тази технология като начин за засилване на защитата на поверителността и сигурносттаТова са стълбове, които формират част от идентичността на проекта Firefox. Като браузър с отворен код, неговата кодова база е достъпна за одит както за независими изследователи, така и за автоматизирани агенти, като например собствения изкуствен интелект на Anthropic.
За Mozilla ключовото ще бъде поддържането на баланс между автоматизация и човешка проверкаВъпреки че моделите с изкуствен интелект могат да ускорят откриването на грешки и да предложат поправки, фондацията настоява, че всеки пач – независимо дали е от човек или машина – трябва да премине през същото ниво на техническа проверка, преди да бъде интегриран в браузъра, използван от гражданите на Европа и останалата част от света.
Този опит е предоставил и практическо ръководство за други софтуерни проекти, включително тези, разработени в Испания или в рамките на Европейския съюз: ако трябва да се приемат доклади, базирани на изкуствен интелект, е препоръчително да се изисква ясни доказателства за възпроизводимост и да се създадат специфични канали за този вид разкриване на информация, като се избягва претоварването на традиционните системи за проследяване на грешки.
Уроци за разработчици и технологични компании в Европа
Отвъд медийната лудост около Firefox, сътрудничеството между Anthropic и Mozilla води до редица важни заключения за... стартиращи предприятия, технологични малки и средни предприятия и големи европейски компании които разработват собствен софтуер или дигитални услуги.
Едно от най-ясните е, че Одитът на код, подпомаган от изкуствен интелект, стана икономически изгоденТова, което преди би изисквало екип от специалисти, работещи седмици наред, сега може да се извърши първоначално автоматизирано почистване за няколко часа или дни, на много по-ниска цена от щателния ръчен преглед.
Друг урок е, че Скоростта на откриване започва да надминава капацитета на човешката корекцияИнструменти като Claude могат бързо да открият десетки потенциални уязвимости, но пречката се превръща във способността на вътрешните екипи да валидират, приоритизират и отстраняват тези проблеми, без да нарушават други части на системата.
Също така е ясно, че Отвореният код не е синоним на гарантирана сигурностВъпреки това, той предлага едно значително предимство: прозрачност. Проекти като Firefox, много популярни в Европа заради фокуса си върху поверителността, позволяват както на общността, така и на автоматизираните агенти непрекъснато да преглеждат кода, нещо невъзможно в затворените решения.
За много организации, интегрирането на изкуствен интелект в процеса на разработка – например чрез включване на автоматизирани анализи във фазите CI/CD – може да се превърне в... диференциращ фактор при демонстриране на съответствие с регулаторните изискванияТова става все по-актуално с бъдещото прилагане на европейските стандарти за киберсигурност и критичен софтуер.
В същото време случаят служи като напомняне, че нападателите също имат достъп до подобни технологии. Сегашното предимство изглежда е на страната на защитата.Изкуственият интелект е по-добър в откриването и коригирането на недостатъци, отколкото в тяхното използване, но никой не приема за даденост, че това предимство ще продължи много години.
В този сценарий, мениджърите по сигурността в европейските компании – от банки до платформи за електронна търговия или дигитални комунални услуги – започват да гледат на тези инструменти не като на експериментално допълнение, а като още една част от тяхната стратегия за защита на софтуера.
Провалите на Firefox и Anthropic показват как един добре управляван и контролиран модел на изкуствен интелект може да действа като одитор на сигурността от най-високо ниво: той може да преглежда големи кодови бази, да открива сложни грешки и да предлага решения много бързо. В същото време това ясно показва, че окончателното решение все още е на човешките екипи, които трябва да решат какво да закърпят, как и с какви приоритети, в среда, където темпото на еволюция на софтуера и заплахите продължава да се ускорява.
