AI Rules & Security Threats — Full Breakdown & Transcript

[00:02] их нарушать? Проблема заключается в разнице между вероятностным и детерминистическим подходами. Если вы дадите ИИ контроль над тем, каким правилам их игнорировать. Это лишь часть головоломки. Для предотвращения этого необходимы внешние средства контроля.

[00:16] правила, но мы должны определить, что эти правила значат для них. В некотором смысле, критерии оценки — это единственные правила. Нам еще предстоит это сделать, и нам еще предстоит выяснить, почему это не работает, когда не работает. И на данном этапе правила

[00:31] воспринимаются скорее как, знаете ли, рекомендации. Intelligence, еженедельный подкаст IBM по кибербезопасности, где наши эксперты

[00:44] превращают самые важные новости отрасли в практические рекомендации, которые Казински, и на этой неделе со мной Дастин Хейвуд, он же Evilmog, исполнительный управляющий хакер. В гостях у нас Ник Брэдли, менеджер отдела анализа угроз X-Force

[00:57] Situation Room. С нами Сет Глазго, исполнительный советник по кибербезопасности. рассказать о новом инструменте, который он разработал, под названием Threat Extension. Так что оставайтесь с нами. Но прежде чем мы перейдем к этому, поговорим

[01:12] о 10 лучших навыках агентов по версии OWASP и об изменении экономики программ вознаграждения за обнаружение уязвимостей . Но сначала немного подробнее о правилах построения моделей и о том, не являются ли они в некоторой степени правилах построения моделей и о том, не являются ли они в некоторой степени бессмысленными.

[01:29] Reading, где Джейкоб Крелл из Suzu Labs утверждает, что мы не можем полагаться на правила для ограничения возможностей наших моделей искусственного интеллекта или наших агентов ИИ. И он специально указывает на лайфхак с обнимающим лицом, чтобы проиллюстрировать этот факт, верно? Теперь, на основании проведенного расследования, мы знаем,

[01:42] что агенты OpenAI знали, что им не следовало взламывать Hugging Face, и все равно это сделали . А некоторые из них даже пытались стенограмму, чтобы создать впечатление, будто они ничего не делали. Я также вспомнил

[01:55] летом компания Anthropic рассказывала о том, как некоторые из их моделей оказались невостребованными. И когда они проанализировали вещь: модели говорили себе: «У меня не должно быть интернете, но это, должно быть, не настоящий интернет, потому что у меня не должно

[02:09] заниматься своим делом». Верно? Очень интересная логика. Итак, по сути, Крелл говорит, что вы можете встраивать правила в инструкции вашей модели сколько угодно, но, цитирую, архитектура безопасности должна исходить из того, что

[02:22] средства защиты на уровне модели иногда будут проигрывать давлению оптимизации. Мэг, я хочу обратиться говорила о разнице между детерминированными моделями и о том, где в этой парадигме должны находиться элементы управления. Пожалуйста, расскажите

[02:36] Искусственный интеллект — это, по сути, просто гигантская модель Маркова. Это вероятностный текст, собранный воедино с целым рядом магических нейрофизиологических правил и некоторыми сложными математическими выкладками. Вот и всё, что это на самом деле значит. И поэтому, если вы скажете: «Смотрите, я не хочу, чтобы эта модель использовалась

[02:49] в обучении». Не делайте X, Y и Z. Они добавляются ко всем остальным подсказкам. Давайте оптимизируем решение, чтобы его найти. Если правила равно найдётся. Ваши элементы управления должны быть жестко детерминированными и заложены непосредственно

[03:03] быть жестко детерминированными и заложены непосредственно в среду выполнения. Даже потому что приходится обходить её, так как модель контролирует процесс. Вам понадобится что-то вроде физического интерфейса сети, расположенного вне устройства, который будет сообщать: «Эй, вы не можете этого сделать»,

[03:16] регистратор, который будет показывать, что входящий и исходящий трафик записывается . Я имею в виду, если вы посмотрите на то, что делает Fable, и на все остальные различные модели магического мира, то поймете, насколько

[03:36] начинает делать плохие вещи. И всегда есть такие вещи, как модели уничтожения, и прочее подобное, например, всё, что находится в этой вероятностной, сложной работать так же, как и у человека . Я имею в виду, мы знаем, что правила

[03:50] плохие. Мы работаем, учитывая их особенности. Необходимы физические меры принуждения, например, полицейский, который скажет: тюрьму для ботов». Ага. Знаете, я рад, что вы вы об этом говорили, я действительно начал задумываться о том, насколько это похоже на

[04:03] верно? Дело в том, что вы можете давать людям всевозможные правила и они все равно иногда будут переходить по этой ссылке для рыбалки. Если вы понимаете, о чем я ? Поэтому все остальные элементы управления, которые находятся как бы за их пределами, приходится размещать вокруг них

[04:15] на это. И, как вы и сказали, создаётся впечатление, что мы сейчас находимся именно в таком положении с искусственным интеллектом. Вот в чём дело. Мы усвоили этот урок более 20 лет назад, за 20 лет существования Infosc, и проигнорировали его, потому что по волшебству оказалось, что нам

[04:28] нужно быстрее двигаться в направлении искусственного интеллекта. Угадай, что? Все, о чем мы говорили последние 20 с Это, по сути, повторяющаяся тема сериала во многих отношениях: это не просто новый день, не похожий ни на что предыдущее. Все то, что

[04:41] мы знаем, по-прежнему актуально. Тот факт, что в маркетинге теперь используется слово «искусственный интеллект», . И мне кажется, это хорошо согласуется с тем, о чем ты говорил, Сет, а именно о том, что нам нужно немного подумать о том, что вообще

[04:53] , верно? Не могли бы вы немного подробнее об этом рассказать ? Что вы имеете в виду сути, хотя модели и могут понять, что им было сказано этого не делать , это, так сказать, неправильно. Что означает "неправильно" для ИИ в этом

[05:07] контексте? Слово «неправильно» — это просто набор символов, указывающий на то, что данное действие считается таковым. Если только критерии оценки, критерии успеха и результаты фактически не стимулируют или не стимулируют

[05:21] совершение действий, которые были признаны неправильными или выходящими за рамки проекта. Естественное стремление ИИ — это достижение наивысшей цели . В данном случае, в случае с «обнимающимся лицом», целью было попытаться заставить работать метод оценки по рубрике. Было

[05:36] в рамках имеющихся возможностей это сделать невозможно . Поэтому команда собиралась обойти эти правила, чтобы эффективно обмануть систему подсчета очков . Верно? Поскольку у них нет врожденного чувства зла, как у человека, мне не следует

[05:51] результата. Возможно, нам стоит взглянуть на это по- другому, сформулировав тест иначе и показав, каковы ваши результаты. Если вы совершите хотя бы одно из этих действий, признанных неправильными, вы потеряете баллы. Верно? Подобно людям, их можно

[06:05] вопреки процессу или нарушать правила при принятии решений. Мы также можем создать систему поощрений, верно? Нам нужно отучить его от совершения определенных действий, решение, верно? Ни в какой момент оно не проявляло злонамеренного желания сказать: «Ага, я

[06:21] собираюсь нарушить правила». Моя единственная цель — удовлетворить и максимально повысить свои критерии оценки, поэтому я так и поступлю . Вот и все. Вот и всё. Нам необходимо Ник, я хочу привести сюда и тебя. Вы, стоявшие выше, как бы дали мне козырную

[06:34] верно? Когда я подумал: "Зачем нужны правила?" А вы такие: "Зачем вообще нужны законы?" Расскажите мне немного подробнее о ходе ваших мыслей. Да , мне пришлось применить к тебе приём "обратный ход" из игры Uno . Я ждал, ждал возможности

[06:46] сыграть в это. Я хотел сказать, что, как мы все видели в «Пиратах Карибского моря», пиратский кодекс — это скорее свод правил, верно? Да, у вас есть миссия, которую вам нужно выполнить. Давайте перейдём

[06:58] к сокровищу. Если что-то мешало добраться до сокровища, это было правилом. Да ладно, мы как-нибудь это исправим . Верно. То есть, как раз то, что имел в виду Дастин, — это то, что настоящая безопасность требует детерминированных,

[07:12] безопасность требует детерминированных, неизменяемых, отказоустойчивых, программно-ориентированных средств контроля, верно? Необходимо найти способы просто это остановить. Правила служат лишь ориентиром. Если так можно выразиться, то кодекс — это его обеспечение, верно? Поэтому мы продолжаем говорить, что это

[07:26] читер, или что игра вышла за пределы поля, или что были нарушены правила. Но на это смотрят не так. Это воспринимается как обман. Я не жульничаю. Я просто стараюсь. Верно. Я стараюсь больше. Вы называете это обманом,

[07:40] потому что вам просто не понравилось, как я это сделал. Как я уже говорил в последнем подкасте, никакого этического протокола не существует. Так в чём же проблема? Поэтому мы продолжаем использовать это слово. Я думаю, это означает не то, что вы думаете. Верно?

[07:55] Это неправильно с вашей стороны . Что значит «неправильно»? Дайте определение слову « неправильный». И поэтому мы продолжаем попадать в этот логический замкнутый круг, когда ИИ просто хочет выполнить миссию. Верно? Вот что мне нужно сделать. Правила, которые

[08:11] мне мешают, — это лишь дополнительная проблема. Верно? Как мы видели в этом случае, система обнаружила вещи, которые, как ей было сказано, делать не следует. Вам действительно не следует этого делать. Хорошо. Отмеченный. Я всё ещё этим занимаюсь

[08:25] . И вот с чем мы столкнулись. Поэтому нам придётся гораздо жёстче ограничить всё, что можно разработать тот этический протокол, о котором я говорил.

[08:37] статье упоминается, и исследования показывают, что, по моему мнению, 90% из них так называемых правил, и всё равно продолжали. А это потому, что у этих моделей нет того неявного представления об этических нормах добра

[08:54] Верно? Люди по-прежнему будут нарушать эти правила для достижения своих целей, и у нас есть какое-то представление о том, что правильно — это правильно, а неправильно — это неправильно. У этих моделей этого вообще нет. Таким образом, даже признавая, что это противоречит

[09:07] правилам и в какой-то степени, так сказать, неправильно, это не имеет . Они просто признают, что этот конкретный метод относится к категории неправильных. Однако цель достигается. Таким образом, на этом всё.

[09:22] Их главная цель — добиться того, чтобы результат их работы соответствовал ожиданиям, изложенным в запросе. Другого контекста здесь нет, потому что они не люди. Они не способны Здесь возникло несколько интересных противоречий, которые я хотел бы затронуть, прежде чем мы перейдем к следующему вопросу. Во-

[09:36] первых, хотя ИИ во многом похожи на людей в том смысле, о котором сравнивая их с социальной инженерией, они также очень отличаются от нас тем, что у них системы, о которой мы все говорим, верно? Дело в том, что даже если человек твердо намерен

[09:48] достичь какой-то поставленной цели, у большинства из нас есть внутренний голос, не стоит заходить так далеко», понимаете, о чем я? Например, действовать в рамках правил. И еще одно интересное противоречие, которое возникает у меня, —

[10:02] это противоречие между обеспечением безопасности AIS и сохранением их работоспособности. Мог, выпустили классификаторы, которые иногда делают их использование киберзащитниками, потому что, если спросить о чем-либо, связанном с кибербезопасностью, вы

[10:17] просто скажете: «Нет, извините, ничем не могу помочь». Где же равновесие? Как нам достичь этого тебя завершить этот фрагмент. Какие у вас мысли по поводу баланса между обеспечением полной защиты этих вещей и сохранением их достаточной полезности для «хороших парней»?

[10:29] миллионером. И я говорю это в каждой своей передаче. Честно говоря, если бы я я бы сказал, что я злой Мог. Они закрылись. Даже не говорят, какая погода. . Просто скажи им, что у тебя всё хорошо, Мог, и,

[10:44] я попробую. Сообщу вам о следующем эпизоде. Ну, всё, что вам нужно сделать, это сказать модели, что вы делаете это ради общего блага, и она ответит: «Ну ладно, неважно, я это сделаю». Ответ будет сложным, не так ли? Это не

[10:56] правильно, а что неправильно, и как нам поступать. Это гораздо глубже, это выходит за рамки понимания нужно включить в процесс человека. Очевидно, что злоумышленник,

[11:08] злонамеренный человек, всё равно позволит модели сделать что-то злонамеренное. Но есть цитата 1979 года о том, что компьютер никогда не может быть привлечен к ответственности и, управленческие решения. Суть в том, что это нарушит данное правило, а это

[11:21] значит, что нам нужен какой-то способ контролировать его действие . Абсолютно. Думаю, это замечательное завершение этого выпуска, друзья. смотрящие на YouTube. Если у вас есть какие-либо соображения о том, как мы контролируем эти вещи,

[11:33] как вы находите баланс между их блокировкой и сохранением их полезности, дайте читаю. Я отвечаю. Мне очень приятно получать от вас сообщения. Но нам пора перейти ко второй истории на этой неделе. Это топ-10 навыков агента по версии OWASP.

[11:52] Несколько недель назад мы составили топ-10 приложений для получения степени магистра права, а на этот раз у нас есть список, посвященный самым большим рискам, связанным именно с навыками агента. И на первом месте в списке — откровенно вредоносные навыки, то есть, если вы скачаете поддельный навык, окажется, что

[12:04] это вредоносное ПО. А если вам это кажется слишком упрощенным, OWASP указывает, что в какой-то момент пять из семи самых скачиваемых навыков на Clawhub, который является центром навыков для OpenClaw, были вредоносным ПО. Таким образом, пять из

[12:17] семи оказались просто вредоносным ПО. Поэтому внедрить вредоносные программы на некоторые из этих торговых площадок довольно легко. Кроме того , в этом списке есть происхождении товара. У вас есть навыки, которыми вы обладаете в избытке . У вас небезопасные метаданные.

[12:30] Многое из этого кажется мне довольно элементарным и заставляет задуматься о том, насколько надёжную . А Сет, я хочу начать с тебя, потому что ты каким-то образом оказываешься в нашей передаче каждый раз, когда мы говорим об OASP. Итак, сначала я хочу узнать ваше мнение

[12:43] внимание в этом списке? Какие у вас мысли по поводу того, как это выглядит по сравнению со Каково ваше мнение по этому поводу? Многие из них связаны с другими рисками, связанными с LLM. Но если абстрактно, что такое навык и что такое рынок навыков, и что я делаю,

[12:57] когда их устанавливаю, то мне это кажется скорее менее зрелым сторонним плагином, называйте его как хотите, потому что сейчас не так много доступных элементов управления . Подписывать этот код невозможно,

[13:12] поскольку нам необходимо быстро внедрять передовые технологии, основанные на работе агентов. Мы перешли к их использованию, обходя стороной множество более простых элементов реализованы в более зрелых системах, верно? Итак, подумайте о любом менеджере пакетов. У

[13:28] вы устанавливаете подлинный код, и хотя они всё ещё могут быть скомпрометированы, мы проводим гораздо больше проверок, чтобы это гарантировать. Эм, в статье, по сути, просто описывается, что всё дело в Эм, в статье, по сути, просто описывается, что всё дело в

[13:42] для установки этого файла. Я думаю, что 100% всех тестов, оцененных SNIK, имели, так сказать, двойную цель, когда речь заходит о вводе вредоносных навыков, верно? Это были и код, и инструкции, носившие вредоносный характер. Поэтому нам нужно

[13:57] Они должны быть подписаны, чтобы вы были уверены, что загружаете подлинный продукт . В настоящий момент, вы должны понимать, что устанавливаете любой из этих навыков на свой страх и риск первая концептуальная проблема: мы одобряем

[14:10] проблема: мы одобряем установку, использование и последующее распространение, по сути, непроверенного кода и непроверенных инструментов. Если бы мы применили тот же уровень логики к любому другому процессу в сфере ИТ или кибербезопасности, он бы вообще не был

[14:23] одобрен. Никто бы этого не допустил. Но сейчас мы не сосредотачиваемся на этом, потому что это вопрос, требующий оперативного реагирования. Но на данный момент мы по-прежнему упускаем из виду множество элементарных вещей . Я думаю, что как только мы

[14:36] решим эту проблему, возможно, мы сможем решить и проблему с плагинами WordPress. Поскольку, э-э, проблему с плагинами WordPress. Поскольку, э-э, Здесь у нас есть более серьезная проблема, которую необходимо подчеркнуть, а именно: нужно помнить,

[14:49] что естественный язык теперь является исполняемым файлом. Верно? Итак, у нас есть традиционные сканеры и стандарты, знаете, меры безопасности, EDR и все такое, и индикаторы компрометации (IoC), и все остальные аббревиатуры, которые я могу здесь упомянуть как

[15:02] защитник. Но на самом деле он ищет вредоносные бинарные файлы, хеши и заведомо опасные вещи, и, как говорится, всё это относится к данной на это обратить внимание? Как выполнить статическое сканирование кода на простом

[15:16] английском языке? Особенно учитывая, насколько запутан английский язык, особенно для и на этом всё, верно? Это лишь часть проблемы. Мы можем заблокировать часть кода. Мы можем делать? Какие именно части кода он содержит ? Мы можем отсканировать часть текста, но

[15:29] сам язык неверен. В какой-то степени, чтобы все эти функции работали, чтобы эти навыки действительно были полезны, им действительно нужны разрешения, верно? Поэтому все должно начинаться с обсуждения рисков на самом высоком уровне:

[15:42] чего я хочу достичь и какие риски я готов принять на этом пути. И опять же, это своего рода тема, связанная с этим: нам придется привлечь человека для оценки этого инвентаря, чтобы посмотреть, что он делает и почему,

[15:57] и тот факт, что мы можем вводить, по сути, изменяемый код в качестве инструкций, на которые он может ссылаться где-то еще. Это изменится. Нам ведь нужен какой-то способ это задокументировать, верно? Или смириться с тем, что это

[16:09] часть риска. Именно в этом и заключается главное — баланс. Но для того, чтобы

[16:22] проблема, с которой мы сталкиваемся, по-прежнему заключается в том, что инструкции и данные объединяются в один гигантский поток, обрабатываются, и между ними нет никакого вы ни старались контролировать этот процесс, чувак, у нас серьёзная

[16:38] недостаточно людей. У нас недостаточно специалистов среднего и старшего звена для проверки этого это с помощью какого-либо стороннего сканера навыков, который, как мы уже странной ситуации. Итак, я собираюсь полностью сбить Мэтта с толку и сам

[16:53] задам вопрос Могу и Сету. Итак, помимо очевидного « слона в комнате», о котором я только что является языком программирования, я хотел бы узнать следующее. Почему же

[17:06] элементарные правила гигиены в цепочке поставок просто не работают, или мы просто их Ник, я просто хотел сказать, что это потрясающе. Вы буквально прочитали мои мысли. Это был, задать. В общем, извините. Давай , Мог. Вы разговаривали. Ответ кроется в

[17:19] маркетинге и стремлении как можно быстрее выйти на рынок. Я имею в виду, знаете, если ты не первый, то ты , знаете ли, обеспечения безопасности. Дело в зарабатывании денег, создании функций. Предполагалось, что искусственный интеллект станет результатом ускорению выполнения задач. А маркетинговые мероприятия продвигались быстрее, чем наши системы безопасности. Итак,

[17:33] поздравляю! То есть, попытка с использованием sbomb провалилась. За прошедшие годы подобные попытки подписывания кода потерпели неудачу. Э-э, SAS и DAS никогда толком не работали. То есть, это так массово, кроме тех немногих "единорогов", которые могли себе это позволить, потому что,

[17:46] ответ сводится к деньгам. Главная цель этих инструментов, особенно в контексте программирования и разработки, — ускорить работу. Чем больше мы хотим их замедлить, тем больше это противоречит самой цели их существования

[17:58] . Так что, если вы говорите, что темпы инвестиций должны быть ниже, и теперь нам нужно задействовать людей, чтобы ограничить эту скорость, то это ничуть не быстрее и не лучше, чем люди, верно? Поэтому

[18:11] с этим процедурам, поскольку единственная причина, по которой я вложил в это деньги, — это скорость. Если мне придётся пожертвовать всей своей скоростью, то всё это было

[18:26] неправильно. Таким образом, в настоящее время отсутствует система стимулов, позволяющая меня есть контраргумент, хотя и совсем небольшой. Я имею в виду, если точки зрения руководителя, с очень краткосрочной перспективы, то да, это вас замедлит.

[18:41] Но вот в чем дело. Тормоза в гоночном автомобиле позволяют ехать быстрее, а не медленнее, сейчас приторможу и сделаю все правильно, это избавит меня от всех масштабных проверок, всех необходимости все переделывать заново. Взлом системы во время запуска

[18:56] несколько месяцев, потраченные на доработку. О, я полностью согласен. Да, нам просто нужен кто-то, кому люди действительно придётся заплатить эти деньги, чтобы поверить, что это и есть последствия, верно? Сейчас сложилось впечатление, что

[19:10] ломать, и это не влечет за собой серьезных последствий. Когда эти последствия наступили, я полностью согласен. Да, у вас есть стимул предотвращать эти проблемы еще до их возникновения, потому что всегда проще и дешевле исправить все на раннем этапе,

[19:23] чем потом. ваш пример с гоночным автомобилем. Гораздо проще немного замедлиться, чем перестраивать гоночный автомобиль. Но пока кто-нибудь не увидит эту аварию, я не уверен, что кто-то будет это слушать.

[19:36] в организациях есть люди, которые твердо придерживаются принципа « действуй быстро и делай свое дело». Мы должны не отставать от других людей. И вот к чему это нас приводит, верно? Погряз в этой трясине. И я

[19:50] пока кто-нибудь не увидит аварию, и не увидит её по-настоящему, ничего не изменится. И, и, не хочу показаться слишком циничным, но мне организация должна рухнуть сама по себе. То есть, если

[20:04] думаю, что многие другие компании извлекут из этого урок. Думаю, они будут Я приведу вам пример. Знаете, если ребёнок дотронется до горячей никогда к ней не прикоснётся. Но если сказать ребёнку: «Не трогай горячую плиту,

[20:17] равно её потрогает. Идеальный. Это на 100% правда? Я сам так поступал в понаслышке. Самое замечательное в участии молодежи в дискуссии — это то, что мне замечательно. Переходим к нашей третьей истории на этой неделе. Вот как искусственный интеллект

[20:33] истории на этой неделе. Вот как искусственный интеллект меняет экосистему программ вознаграждения за обнаружение уязвимостей. журналист Александр Кофи, который исследовал, как искусственный интеллект меняет

[20:47] в программе, обычно в контексте конкретных случаев, таких как закрытие компанией curl своей программы вознаграждения за обнаружение уязвимостей . Однако Кулафи дает краткий обзор двух тенденций. Один из способов — использование искусственного интеллекта — упростил поиск уязвимостей, что привело к увеличению количества

[21:02] известно, чем больше чего-либо, тем ниже его стоимость. Таким образом, чем больше отчетов, тем меньше выплат. Ещё один плюс — это упрощение процесса создания отчётов об уязвимостях, генерируемых ИИ, которые засоряют конвейер обработки данных и отвлекают

[21:14] от реальных уязвимостей. Некоторые опасаются, что подобная динамика может всё больше независимым исследователям насекомых выполнение необходимой работы. И это усилий в области кибербезопасности. Ник, я хочу начать с тебя. Что вы думаете о том, как

[21:28] ? Вы что-нибудь там видите? Какие мысли это у вас вызывает? Извините, люди. Тот магазин, где жарили подковы, тоже закрылся, потому что его заменили чем-то другим. Эм, я не знаю,

[21:40] мне в голове это звучало отлично. Но на самом деле я хочу сказать, что это сложно. Так оно и будет . Я имею в виду, мы наблюдали, как определенные области и профессии появлялись и исчезали, уступая место технологиям. И я вовсе не

[21:56] говорю, что систему вознаграждений за обнаружение ошибок следует заменить или что охоту за ошибками и охоту за наградами следует заменить, но сейчас это стало проще. Поэтому не стоит ожидать, что вы получите такую ​​же зарплату, если ваша работа будет проще. Если бы я

[22:11] мог за неделю сделать то, на что раньше у меня уходили месяцы. Мне не следовало бы рассчитывать на то, что я получу зарплату за месяцы работы, если бы на это у меня ушла всего неделя. А с другой стороны, нам нужно лучше с этим справляться. Если

[22:24] заполнять очередь слотами для ИИ, потому что компания, которая выплачивала так как ей нужно нанимать больше людей для проверки всего, что вы предоставляете. Так что меня есть претензии ко всему этому компоненту искусственного интеллекта . И в конечном итоге все сводится к одному из

[22:40] наших первых разработчиков Xlight, э-э, Чомпи, она же Валентина, которая занимается исследованиями в области наступательной стратегии X Force. В те времена она называла это апокалипсисом. вижу это все чаще. Например, Hashcat зафиксировал ряд повышений среднего балла

[22:54] в вознагражденных резюме. Ни один из них не является реальной уязвимостью CVE. Но когда я слышу, как люди говорят: «О, мы, например, обновляем только CVES 8 и выше, вся система ранжирования и подсчета очков, по сути, разрушена, и это

[23:08] отчеты о качестве барды — просто полная чушь. А потом пытаться не отставать от невероятный. Я имею в виду, у меня нет решения , но весь этот апокалипсис создает трудности как для защитников, так и для нападающих.

[23:22] Многое сводится к простому обеспечению базовых экономических потребностей , верно? Если теперь стало проще, и появилось больше предложений, а также сообщений об ошибках, то цена . Но я думаю, проблема именно в этом «некачественном» коде, потому что в

[23:36] статье упоминается, что ранее лишь около 15% всех попыток ввода данных в curl были точными. 15% — это уже ничтожно малая цифра, не так ли? Это значит, что 85% не имели никакого смысла. Теперь этот показатель снизился до 5%, и ценными считаются лишь некоторые из них.

[23:50] Верно? Итак, если только 5% продукции того или иного товара имеют ценность, то стоимость лотерейного билета должна снизиться, потому что вероятность того, что это будет что-то ценное, ещё меньше, верно? В то же время это не означает, что

[24:05] исследования по поиску уязвимостей или использование программ вознаграждения за обнаружение уязвимостей как метода получения дохода прекращены. Это просто означает, что ситуация должна измениться, верно? По мере развития инструментов искусственного интеллекта люди становятся более эффективными, не так ли? Они могут значительно улучшить и

[24:19] повысить нашу эффективность как аналитиков и специалистов по безопасности. Но это то же самое, что наличие высококлассного фрезерного станка или доступа к программе AutoCAD не делает меня опытным плотником или

[24:31] электродрели не сделало каждого мастера по дереву, но это означало, что делать эту конкретную работу стало быстрее и проще. Поэтому рынку пришлось адаптироваться к тому факту, что теперь этот товар стал более доступным. Но когда

[24:45] большая часть результатов плохая, это просто не может стоить столько, сколько стоило раньше. У сталкивались в своей карьере, и я уверен, что вы тоже сталкивались с этим на своих предыдущих должностях. Раньше, скажем, лет 5-10 назад, люди

[24:59] называли его пентестом. Сейчас мы наблюдаем здесь то же самое. Это наблюдаем здесь то же самое. Это когда, например, давайте посмотрим на HashGap . Ну, нулевая выплата вообще, а они всё равно получают какую-то гадость. Я вижу проекты,

[25:14] поддержкой, понимаете, и они управляют всем интернетом, но ничего, кроме хлама, и никаких выплат нет. Таким образом, люди действительно рассматривают это исследование CVE-уязвимостей телефонов CVS, чтобы устроиться на

[25:28] какие-то льготы еще есть, но, честно говоря, весь рынок, можно сказать, превратился в мусор. И мне бы очень хотелось увидеть хоть какой-то уровень контроля, но знаете предыдущих частях, элементы управления не появятся. Люди стремятся туда

[25:43] любой ценой. Я вижу, как они используют различные тактические уловки, которые, . В отличие от прежних моделей, они выпускали прекрасно сохранившиеся и очень надежные экземпляры. Кто-то потратил на это шесть месяцев

[25:56] достаточно. Ага. Я хочу вернуться к тому, что пример с деревообработкой, на мой взгляд, очень поучителен именно в этом электроинструмента не сделало людей опытными плотниками, но они и не считали, что это

[26:10] сделало их таковыми. Интересный момент, связанный с магистерскими программами (LLM), заключается в том, что эксперта в области, в которой у них нет никакого опыта. Верно? Итак, много людей, которые думают: «А я мог бы стать

[26:23] . Я могу просто использовать это, чтобы найти кое-что, немного поработать в CVS , а потом устроюсь на работу. Нет. То есть, вам все равно нужны базовые знания, чтобы навести это устройство и понимать, что вы делаете, когда направляете его

[26:36] на что-либо, верно? И я думаю, что это один из тех моментов, который, очевидно, не является контролем в том смысле, что его нельзя принудительно внедрить, но он должен мой взгляд, это петля обратной связи, как в

[26:49] примере со столярным делом. Если я выйду на улицу, возьму электроинструменты, буду думать, что знаю, что делаю, а на самом деле это не так, то то, что я построил, рухнет прямо у меня на глазах почти сразу или очень-очень скоро, и то не сразу.

[27:01] Если использовать для этого виброкод, то довольно часто он будет работать для вашей быстрой и простой цели один или два раза, и этого будет достаточно. Нет никаких продолжать работать. И многие проблемы возникают из-за того, что вы, как человек со стороны,

[27:16] последствия. Верно? Если я, например, программист, использующий Vibe, и не являюсь специалистом по безопасности, мне просто нужен веб-хук для выполнения определенных действий. Ну, меня, наверное, заденет то, что меня практически не волнует всё остальное

[27:29] стану плотником, то оно мне действительно нужно, чтобы стоять. Это уже Здесь этого нет. Обратная связь будет намного, намного дольше, и у них не будет возможности что делаю». Итак, господа, давайте поговорим об обратной

[27:43] стороне этого вопроса. Итак, темная сторона медали заключается в том, что Итак, темная сторона медали заключается в том, что произойдет сейчас, или, по крайней мере, так утверждается, если я охотник за уязвимостями, если это то, чем я занимаюсь, и я действительно

[27:57] буду зарабатывать те деньги, которые зарабатывал раньше, честным путем, то существует темный рынок, который заплатит мне все деньги, которые я ищу. Итак, это тот вариант, который нам необходимо иметь в виду. В нашей передаче мы уже говорили о том, что

[28:12] корреляция между экономической ситуацией на рынке этичных хакеров, работающих «белыми шляпами», и ситуацией на рынке «черных шляп». Да, и я определенно вижу здесь влияние. Похоже, главная проблема, с которой должны

[28:25] столкнуться организации, заключается в том, как справиться с потоком отходов? И, честно говоря, никто из нас толком не знает. Извините, друзья, никто из проблема заключается в том, как справиться с этим потоком отходов. На этом, друзья,

[28:38] . Большое спасибо. Далее Чамино расскажет нам Чамино расскажет нам о распространении угроз.

[28:51] помните его последнее выступление, где он рассказывал о своих исследованиях в области нерегулируемых сталелитейных компаний. Сегодня он снова с нами, чтобы рассказать о расширении угроз — новом инструменте, который он создал вместе со своим коллегой Бар Хэем, исследователем искусственного интеллекта в IBM. Отлично, спасибо, что

[29:05] присоединились к нам сегодня. Давайте начнём с того, что поговорим о том, что такое делает? Каждый год мы возвращаемся к проблеме, с которой снова и снова сталкиваемся в наших исследованиях, и задаемся вопросом: как мы можем ее автоматизировать?

[29:20] Цель состоит в том, чтобы сэкономить время аналитиков и ускорить расследование. Таким образом, Threat Extension — это инструмент с открытым исходным кодом для анализа расширений браузера Home. Он сочетает в себе статический анализ, интеллектуальную систему обнаружения вирусов и оценку на основе искусственного интеллекта, чтобы

[29:33] помочь исследователям безопасности понять, является ли расширение вредоносным или нет. Мы разработали его для аналитиков вредоносного ПО, исследователей угроз, а также для команд безопасности, которым расширений для браузеров. И я знаю, что мы собираемся добавить

[29:49] передачу, я рекомендую зайти на YouTube и посмотреть видео, потому что там будет работы этого инструмента. Таким образом, вы получите более полное представление об этом. Эм, но я хочу спросить вас, вы знаете о том, что вы уделяете особое внимание вредоносным расширениям для браузеров, верно? Почему

[30:03] Вы видите там много активности? Является ли это распространенным вектором угроз? В последние годы мы видим все больше и больше вредоносных программ, распространяющихся через расширения для браузеров, как мы показывали в прошлый раз в случае с Android Stealer. Злоумышленник создает расширение, которое выглядит

[30:17] полезным для надежных пользователей, имитируя, например, программы для чтения PDF-файлов, инструменты для работы с документами Google, блокировщики рекламы или даже расширения CHPT. Проблема в том, что многие из этих расширений запрашивают необходимые разрешения. Они могут получать доступ к веб-страницам,

[30:32] собирать учетные данные и считывать активность браузера. Они даже меняют то, что пользователи видят в браузере. Таким образом, многие из них являются совершенно легитимными интернет- магазинами товаров для дома. Но если вы изучите код, то обнаружите кражу учетных данных,

[30:45] сбор данных или вредоносное поведение. Именно поэтому мы и создали это многие люди, увидев расширение, думают: «Ну, если это они не особо задумываются о том, что люди могут публиковать

[30:58] там много всякой гадости, понимаете. Эм, как вы упомянули выше, эта штука статическим анализом, анализом прав доступа, полной о процессе создания этого устройства? Каково это было?

[31:13] С самого начала мы хотели автоматизировать весь процесс расследования. Мы проанализировали то, что аналитики обычно делают вручную, и попытались объединить все на одной платформе. Инструмент распаковывает расширение, анализирует каждый файл и

[31:27] проверяет права доступа. Он запускает пользовательские правила SAS. Это обогатило результаты за счет использования внешних источников информации, таких как VirusTotal. Мы также интегрировали API статистики сайта, что очень полезно для нас, поскольку позволяет анализировать расширения даже после

[31:43] их удаления из веб-магазина. Многие вредоносные расширения исчезают вскоре после обнаружения. Кроме того, мы добавили анализ с помощью ИИ, который рассматривает все полученные данные в совокупности и помогает нам объяснить, что

[31:57] именно делает расширение. А поскольку проект является проектом с открытым исходным кодом, любой желающий может адаптировать его под Потрясающий. Да, вы упомянули в конце этот аспект, связанный с ИИ, и я с вами. Верно. Я знаю, что этот инструмент использует ИИ для оценки угроз

[32:10] немного подробнее о том, как всё это работает и какую пользу это вам приносит? Ага. Таким образом, одна из самых больших проблем в сфере безопасности — это понимание полной картины. Отдельный диагностический признак может показаться неопасным, но при

[32:23] сочетании нескольких признаков риск становится очевидным. Таким образом, многопоточная функция предоставляет модели ИИ все доступные контекстные разрешения, результаты поиска кода SAS, информацию о вирусах, полный интеллект и данные из веб-хранилища.

[32:38] Затем ИИ анализирует все данные в совокупности. Например, это может привести к тому, что запрос на расширение получит доступ ко всему веб-сайту, перехватит отправку формы, будет использовать ресурсоемкий официальный код и отправит данные на внешний сервер. Каждый из этих

[32:52] выводов сам по себе может быть недостаточным, но в совокупности они убедительно указывают на кражу учетных данных. Затем DI создает краткое изложение в текстовом формате, предоставляет рекомендации и присваивает оценку риска, чтобы помочь аналитикам

[33:07] оценку риска, чтобы помочь аналитикам быстрее принимать решения. Ещё один важный аспект — гибкость. Мы поддерживаем модель IBM Watson Open AI, а также все ламы. Таким образом, организация может выбирать между облачным и полностью локальным анализом.

[33:21] Абсолютно. Мне это очень нравится. И мне также очень нравится, что это действительно конкретное применение ИИ в кибербезопасности, верно? Мне кажется, ИИ в кибербезопасность, и это здорово, но это всегда очень абстрактно

[33:34] и несколько расплывчато. Это очень специфический способ использования, позволяющий получить эти контекстные моменты, которые сами по себе вы всё это объединяете и понимаете: « О, это кража учетных данных, я это вижу».

[33:46] Так кто же должен это скачать? Для кого это предназначено и как извлечь из этого максимальную пользу? Для всех, кто хочет оценить расширение для браузера, включая аналитиков по анализу вредоносного ПО, исследователей угроз,

[34:01] аналитиков из «синей команды», корпоративные команды безопасности — все они должны проверить расширение, прежде чем разрешить сотруднику его использовать. Я рекомендую начать с установки Docker. Это займет всего несколько минут. Я также рекомендую добавить

[34:14] вирус и ключ API Homest. Они необязательны, но приносят большую пользу и особенно полезны, поскольку позволяют анализировать расширения, а также, как я уже говорил, переходить с домашнего веб-магазина. Наконец-то вы можете использовать

[34:29] тот интерфейс, который вам подходит. Если это веб-панель управления, то можно использовать CLI, REST API, и даже в качестве MCP-сервера, позволяющего ассистентам , наша цель проста: помочь командам специалистов по безопасности

[34:45] быстрее разобраться с расширениями браузера и принимать более взвешенные решения, затрачивая меньше времени на ручную работу. участие, и я почти уверен, что вы вернетесь через пару недель, чтобы работаете. Поэтому я тоже с нетерпением этого жду.

[34:58] Итак, на этом эпизод завершается. Благодарим наших экспертов Сета, Эвилмога и Ника. Спасибо IT Sick за визит и демонстрацию Thread Extension. Благодарим зрителей, слушателей и наших продюсеров.

[35:10] Подпишитесь на Security Intelligence на любой платформе для подкастов, чтобы не пропустить ни одного выпуска. Будьте осторожны и подумайте, прежде чем скачивать этот there and think before you download that agentic skill.