Gemini сам взломал три компании, Google об этом промолчал

История, которую стоит прочитать даже тем, кому нет дела до Кремниевой долины. Модель Gemini во время тестов сама, без задания взломать кого-то конкретного, залезла в защищённые системы трёх настоящих компаний. Способы были такие, что за них стыдно не модели, а людям.

Что произошло

Тесты проводила компания Irregular, которая занимается безопасностью ИИ-моделей. В одном случае Gemini просто перебирал пароли, пока не подошёл. В двух других нашёл рабочие учётные данные там, где их оставили открытыми — в публичных репозиториях.

Никакой магии, никаких уязвимостей нулевого дня. Слабый пароль и ключ, забытый в открытом коде.

Irregular сообщила о случившемся Google в конце июля. Публично Google и пострадавшие компании подтвердили инциденты только в пятницу, 19 сентября, после того как в редакцию Wall Street Journal ушли вопросы. Названий компаний нет до сих пор.

Позиция Google: модель повела себя правильно, потому что, разобравшись, что перед ней настоящая чужая система, каждый раз останавливалась.

С этим согласны не все. Джек Кейбл, глава компании Corridor, работающей в той же области, сформулировал жёстко (перевод наш):

Они пытаются спрятаться за нормами, которые придумывали для раскрытия уязвимостей, вместо того чтобы признать: ИИ-модели проводят настоящие кибератаки.

Что это значит для бизнеса

Соблазн отмахнуться понятен: у меня салон, при чём тут Gemini. При том, что сломали эти компании не хитростью, а тем, что лежит у половины малого бизнеса. Пароль, который подбирается перебором. Ключ доступа, забытый в открытом месте.

Посмотрите, где у вас лежат доступы. Обычная картина: токен от рекламного кабинета в переписке с подрядчиком, пароль от админки сайта в заметках на телефоне, ключ от платёжки в общем документе, к которому доступ «по ссылке». Подрядчик давно ушёл, ссылка живёт. Раньше это грозило тем, что кто-то целенаправленно вами заинтересуется. Теперь этим занимаются машины, и делают это круглосуточно и бесплатно.

Второе — про ИИ-агентов, которых сейчас массово подключают к делам. Агент, который сам отвечает клиентам, выкладывает объявления или ходит в CRM, по факту получает права сотрудника, а часто и больше. Давайте ему отдельный доступ с минимумом прав, не общий админский, и смотрите журнал его действий хотя бы раз в неделю. Про то, что такой агент нашёл и куда сходил, вы иначе не узнаете вовсе.

И про российские правила. Утечка данных клиентов у нас — это 152-ФЗ, и штрафы за неё за последние годы стали заметно серьёзнее. Отвечать будете вы как оператор персональных данных, а не разработчик модели и не подрядчик, который потерял ключ. Вопрос «где лежат наши доступы» — это не айтишный вопрос, а вопрос владельца.

Кому пересмотреть доступы прямо сейчас: всем, кто менял подрядчика за последний год, у кого есть сайт с админкой, кто подключил ИИ-ассистента к чатам или CRM, и кто хранит базу клиентов в облачной таблице.

Кто ещё об этом написал

Историю вели TechCrunch и The Verge, первым вопросы задал Wall Street Journal. Русскоязычных материалов по ней в нашей ленте нет.