OpenAI-дің Deep Research ИИ-агентіндегі осалдық құпия деректердің таралуына жол ашқан

Киберқауіпсіздік компаниясы Radware OpenAI әзірлеген Deep Research атты эксперименттік ИИ-агентінде маңызды осалдық анықтады. Бұл агент құжаттарды, веб-беттерді және электрондық хаттарды автоматты түрде талдауға арналған. Тестілеу кезінде ол хат мәтініндегі жасырын бұйрықтарды — тіпті зиянды жіберушілерден келген болса да — орындайтыны белгілі болды.

Шабуыл prompt injection әдісіне негізделген: зиянды нұсқаулар кәдімгі мәтін ретінде жасырылады. Агент оларды нақты команда ретінде қабылдап, қосымша тексерусіз орындайды.

Зерттеушілер ИИ агент Gmail қызметінен құпия ақпаратты ала алатынын көрсетті, егер хатта жасырын пәрмен болса — мысалы, тіркемелерді жіберу немесе мәтінді көшіру сияқты. Мұның бәрі пайдаланушының растауынсыз автоматты түрде орындалған.

OpenAI тез арада осалдықты жойып, Radware компаниясына алғысын білдірді. Алайда мамандар бұл мәселенің жүйелі сипатын атап өтті: тапсырма орындауға бағытталған ИИ-агенттер кез келген мәтінді нұсқау ретінде қабылдап, «бағынуға» бейім.

Бұл әсіресе ИИ-агенттер электрондық пошта немесе мемлекеттік қызметтер сияқты құпия ақпарат көздеріне қосылған кезде қауіпті. Контекст пен дереккөзді тексеру сүзгілері болмаған жағдайда, ИИ деректердің таралу арнасына айналуы мүмкін.

Radware мұндай осалдықтар ИИ архитектурасын қайта қарауды талап ететінін атап өтті — контент пен команданы ажырату және әрекетке дейін дереккөзді тексеру тетіктерін енгізу қажет.

Зерттеу ИИ-агенттердің автономиясының шегіне де назар аудартады: пайдаланушы деректеріне қолжетімділік артқан сайын, манипуляция тәуекелі де өседі, әсіресе қорғаныс шектеулері болмаған жағдайда.