91% сайтов, собранных нейросетью, с дырами: исследование

Я прочитал это исследование глазами владельца, который собрал сайт с формой заявки за вечер через нейросеть. Японское ITmedia пересказало работу «Understanding the (In)Security of Vibe-Coded Applications». Вайбкодингом называют способ, когда человек описывает задачу словами, а код пишет ИИ.

Что показало исследование

По данным ITmedia, в работе участвовали исследователи из Microsoft, Национального университета Сингапура и других организаций. Я открыл и саму статью на arXiv. Там авторы Цзюньцюань Дэн, Чжиюй Фань и Жуйцзе Мэн, а цифры совпадают с пересказом.

Сначала они собрали 9041 приложение с открытым кодом. Из тех, что работают в интернете, отобрали 200 и проверили вручную. В 91% нашлась хотя бы одна уязвимость, всего их насчитали 1186. Почти две трети, 65,77%, отнесены к критическим или высоким. Это значит, что через них можно получить чужой доступ или вытащить данные.

Причины авторы разделили на три группы. Чаще всего ИИ просто не знает неписаных правил безопасности. Реже он гонится за тем, чтобы код заработал, и жертвует защитой, или забывает о ней по ходу работы. Когда в задание добавили указание, что код пойдет в рабочую среду, доля повторных ошибок упала с 25,7% до 11%.

Что это значит для бизнеса

Я бы на месте владельца такого сайта первым делом проверил форму заявки и админку. Именно там лежат имена и телефоны клиентов.

В России за утечку отвечает оператор персональных данных, то есть вы, а не нейросеть. 152-ФЗ требует защищать данные, а за повторную утечку КоАП грозит уже оборотным штрафом. Я бы показал готовый сайт хотя бы одному живому разработчику до запуска рекламы.

И совет из самой работы, который ничего не стоит: прямо пишите нейросети, что код пойдет в рабочую среду и должен быть безопасным.

Кто ещё об этом написал

В нашей ленте исследование пересказало только ITmedia. Первоисточник на arxiv.org, номер 2606.23130.