"이미지 생성 AI 안전 필터, 기성 도구로도 뚫린다"… 나노 바나나 2·GPT-Image-2 우회 연구

최신 이미지 생성 AI의 안전 필터가 공개 도구만으로 쉽게 우회된다는 연구가 나왔어요.

AI 안전 평가 기업 화이트 서클이 구글과 오픈AI의 이미지 생성 모델이 노골적인 이미지 생성 차단에 취약하다는 레드팀 연구 결과를 공개했어요. 누구나 내려받을 수 있는 도구와 API 호출만으로 안전 필터를 우회했는데, 사람이 직접 검증한 성공률은 DALL·E 3가 약 13%, 나노 바나나 2가 10% 미만, GPT-Image-2가 약 3%였대요.

이들이 'RISE'라고 이름 붙인 공격 방식은 안전 학습을 제거한 공개 모델 Qwen3-32B가 탈옥 프롬프트를 만들고, 제미나이 2.5 플래시가 결과물을 판정하는 구조예요. 한 번의 프롬프트가 아니라 여러 모델에 두루 통하는 재사용 가능한 패턴을 찾아내는 게 특징이에요. 더 걱정스러운 건 최근 나온 ChatGPT Images 2.5와 나노 바나나 2.1을 같은 방법으로 시험했더니 이전 버전보다 훨씬 쉽게 뚫렸다는 점이에요. 화이트 서클은 모델이 더 다양한 걸 만들 수 있게 됐거나, 성능 경쟁 속에 안전이 뒤로 밀렸을 가능성을 제기했어요.

회사는 11월 NeurIPS 2026에서 연구를 발표하고 공격 파이프라인 전체를 오픈소스로 공개할 계획이에요. 이미지 생성 AI를 서비스나 제작 도구에 붙이는 쪽이라면 모델 자체 필터에만 기대지 말고 별도의 가드레일을 챙겨야 한다는 경고로 읽혀요.

원문: Ars Technica