활용 분야 (출처: 소프트웨어정책연구소) 

생성형 AI(Generative AI)란

생성형 AI는 텍스트, 이미지, 음성, 영상 등 다양한 형태의 콘텐츠를 사람이 아닌 인공지능이 자동으로 생성하는 기술을 말합니다. 이 기술은 대규모 언어모델 (LLM: Large Language Model)과 자연어 처리(NLP) 기술을 기반으로 하며, 인간의 언어를 이해하고 창의적으로 재생산할 수 있다는 점에서 기존의 인공지능과는 구분됩니다. 대표 서비스로는 OpenAI의 ChatGPT, Google의 Gemini, Meta의 LLaMA, Stability AI의 Stable Diffusion 등이 있습니다. 

이러한 생성형 AI는 출시 이후 빠르게 확산되며 다양한 산업에 영향을 미치고 있습니다. 특히 고객 응대 자동화, 콘텐츠 제작 보조, 교육 자료 생성, 소프트웨어 개발 지원, 마케팅 문구 작성 등에서 두드러진 활용도를 보이며 기업과 개인 모두에게 생산성 향상의 도구로 각광받고 있습니다. 사용자 친화적인 인터페이스와 높은 접근성, 그리고 실시간 반응성과 창의성 덕분에 활용 범위는 지속적으로 확대되고 있는 추세지만, 기술이 발전하면서 그에 따른 부작용과 잠재적 위협도 함께 부상하고 있어 보다 균형 잡힌 시각이 필요합니다. 

생성형 AI 주요 보안 위협 

악성 프롬프트가 숨겨진 피싱 이메일 (출처: 오딘)

범죄 도구로 활용되는 생성형 

AI 생성형 AI는 사이버 범죄자들에게 강력한 도구로 떠올랐습니다. 자연스럽고 전문적인 문체로 피싱 이메일과 소셜 엔지니어링 메시지를 자동 생성해 공격자가 쉽게 정교한 공격 시나리오를 만들 수 있습니다. 특히 다크웹에서는 공개된 AI 모델을 변형하거나 자체 훈련시켜 보안 시스템 우회 기술을 시험하고 법적 제약이 적은 AI 챗봇을 제작해 공격을 자동화하는 움직임도 늘고 있습니다. 이로 인해 과거 인간의 직접 개 입이 필요했던 공격 단계들이 빠르게 자동화돼 공격 빈도와 규모가 커지고 있습니다. 

최근 사례로는 구글 AI 챗봇 Gemini의 이메일 요약 기능이 피싱 공격에 악용될 수 있다는 것이 알려졌습니다. 이는 HTML과 CSS를 활용해 사용자에게는 보이지 않는 명령을 이메일 본문에 삽입한 뒤 AI 요약 기능이 이를 명령어로 해석하게 만들어 보안 경고로 가장한 내용을 보여주도록 유도하였습니다. 이외에도 AI를 이용하여 자동으로 대량의 피싱 이메일을 생성하거나 음성·영상 합성으로 유명인을 사칭해 사용자 를 속이는 공격들도 급증하고 있습니다. 실제로 호주에서는 AI 음성을 활용한 피싱 공격으로 상당한 금전적 피해가 발생한 사례도 보고된바 있습니다.

2024-2025년 애플리케이션 사칭 비율 (출처: 카스퍼스키) 

ChatGPT 등 AI 및 생산성 앱을 사칭한 공격

2025년 들어 사이버 범죄자들은 생산성 앱, AI 기반 도구를 위장한 악성 소프트웨어 유포에 주력하고 있습니다. 4,000건 이상의 악성 파일이 인기 앱을 사칭한 형태로 발견되었으며, ChatGPT를 사칭한 공격은 전년 대비 115% 증가한 177건, DeepSeek 역시 83건의 사칭 사례가 보고되는 등 AI에 대한 관심과 기대를 악용한 공격이 빠르게 증가하고 있습니다. 반면, Perplexity와 같은 비교적 조용한 도구는 아직 사칭 대상에서 제외되어 공격자들이 도구의 인기와 과대광고 여부를 기준으로 표적을 정한다는 점이 드러났습니다. 

협업 플랫폼을 사칭한 공격도 증가세를 보이고 있습니다. Zoom 위장 악성 파일은 전년 대비 13% 증가하여 1,652건에 달했으며, Microsoft Teams와 Google Drive도 각각 100%, 12%의 증가율을 기록했습니다. 이는 원격 근무와 협업 도구의 일상화가 해커들에게 새로운 기회를 제공하고 있다는 증거입니다. 사용자는 소프트웨어를 다운로드하거나 구독 서비스에 가입할 때 출처와 웹사이트 URL을 반드시 확인해야하며, 의심스러운 이메일 링크나 광고는 클릭하지 않는 것이 중요합니다.

결론

생성형 AI는 이제 우리 일상에서 빼놓을 수 없는 도구이자 든든한 조력자가 되었습니다. 생성형 AI는 기술적으로 매우 강력한 도구이며, 효율성을 극대화할 수 있는 잠재력을 지니고 있는 동시에 악의적인 목적에도 쉽게 활용될 수 있다는 이중성을 가집니다. AI를 활용한 사이버 공격이 점차 자동화되고 정교해지며, 공격의 대중화까지 이루어지고 있어 이에 적극적이고 선제적인 대비가 필요합 니다. 글로벌 차원의 규제와 기술적 식별체계 마련을 더불어 개별 사용자와 조직이 스스로 보안을 강화하고 대응 역량을 키우는 것 또한 중요합니다. 생성형 AI는 강력한 도구이지만, 그것을 어떻게 사용하느냐에 따라 든든한 조력자가 될 수도 혹은 등에 칼을 꽂는 배신자가 될 수도 있다는 점을 잊지 말아야 합니다. 

대응 및 보안수칙

• AI 관련 피싱 및 악성 앱 탐지 체계 강화

• 공식 출처 이외 생성형 AI 앱 다운로드 금지 

• 기업 내 AI 사용 가이드라인 수립 

• 사용자 대상 정기적인 보안 교육 

• EPP/EDR 등 보안 솔루션 고도화