코어는 단단하다, 무너지는 건 바깥쪽: 7가지 외곽 방어 원칙

안녕하세요, 저스틴입니다! 다시 만나서 반가워요.

오늘 강의는 그동안 우리가 다뤄온 자율 익스플로잇과 취약점 분석의 위험들을 바탕으로, “그렇다면 우리는 이제 어디를 어떻게 잠가야 하는가?”에 대한 대답을 내리는 시간입니다.

제공해주신 교재 자료에서 저자는 이 장의 핵심을 단 한 문장으로 압축합니다.

“잠가야 할 문은 바깥쪽이다.”

AI 모델 자체(코어)에 아무런 버그가 없도록 만드는 것은 이제 불가능에 가깝습니다. 하지만 실전에서 시스템이 무너지는 이유는 모델 자체가 아니라, 모델이 외부 세상과 손을 잡는 ‘바깥쪽 연결부(외곽)’가 헐겁기 때문입니다.

STAGE 1 — 왜 이 개념이 중요할까요? (Why It Matters)

실제 일어난 두 가지 놀라운 장면을 먼저 떠올려 볼까요?

• 첫 번째 장면 (GTIG 발표): 2026년 5월, 구글 위협 인텔리전스 그룹(GTIG)은 공격자가 ‘AI로 제작한 제로데이(미공개 취약점)’를 실제 공격에 사용한 사례를 확인했습니다. 이 공격은 메모리를 깨뜨리는 기술이 아니라, 코드 속에 숨어 있던 ‘하드코딩된 예외 처리(인증 우회 논리 버그)’를 AI가 추론으로 짚어낸 것이었습니다.
• 두 번째 장면 (React2Shell 사건): 2025년 12월, 한 유명 오픈소스의 취약점(CVE-2025-55182)이 공개된 지 단 48시간 만에 인터넷상의 수많은 서버가 자동화 공격 도구에 뚫려 암호화폐 채굴기로 전락했습니다.

이 두 사건이 보여주는 경고는 명확합니다. 공격자가 약점을 찾고 악용하는 속도가 ‘일 단위’로 빨라졌습니다.

이제 방어자의 질문은 “우리 AI 모델 코어가 안 뚫릴까?”가 되어서는 안 됩니다. “어딘가 뚫리더라도, 피해가 옆으로 번지지 않게 어디서 막아설 것인가?“가 되어야 합니다.

STAGE 2 — 핵심 개념 풀어보기: ‘무적의 성채’와 ‘외곽 성문’ (Unpacking the Core Concept)

개념을 이해하기 위해 직관적인 비유를 들어보겠습니다.

무적의 성채(코어) vs 외곽 성문(접점)

• 성채(코어, Core): AI 모델 자체의 내부 로직입니다. 마치 수백 미터 절벽 위에 세워진 무적의 금고와 같아서 정면으로 뚫기가 매우 어렵습니다.
• 외곽 성문(외곽, Periphery): AI 모델이 외부 시스템과 연결되는 통로들입니다. AI에게 일을 시키는 조종 도구(오케스트레이션), 외부 데이터를 가져오는 연결 부품(커넥터/MCP), AI가 부여받은 출입증(토큰 및 서비스 계정), 그리고 사람이 누르는 승인 버튼이 바로 외곽 성문입니다.

실제 해커들은 무적의 성채를 직접 공격하지 않습니다. 대신 외곽 성문의 경비원에게 거짓 명령서를 건네거나(프롬프트 인젝션), 경비원이 가지고 있던 과도한 열쇠(과도한 권한)를 빼앗아 유유히 성 안으로 들어옵니다.

따라서 방어의 무게중심은 무적의 성채를 더 단단하게 만드는 데서, 외곽 성문의 열쇠를 까다롭게 관리하는 것으로 옮겨가야 합니다.

STAGE 3 — 증거와 실전 적용: 외곽을 지키는 5개 계층과 7가지 방어 원칙 (Evidence & Application)

실제로 구글 클라우드 보고서(H1 2026)에 따르면, 침해 사고의 원인 중 외부 소프트웨어 취약점 악용이 44.5%를 차지하며 약한 비밀번호 문제를 제치고 1위로 올라섰습니다. 한쪽 문을 잠그자 공격이 다음으로 약한 외곽 고리로 옮겨간 것이죠.

글로벌 보안 표준 기관(OWASP, NIST)의 지침을 바탕으로 정리된 ‘외곽을 지키는 7가지 방어 원칙’을 소개합니다.

🛡️ 방어자를 위한 7가지 핵심 원칙

1. 외곽 우선 (Outer First): 모델 내부보다 오케스트레이션, 외부 연결부, 공급망부터 먼저 잠급니다.
2. 최소 에이전시 (Least Agency): AI에게 “알아서 다 해줘”라는 백지수표를 주지 말고, 딱 작업에 필요한 최소한의 자율과 권한만 부여합니다. (OWASP 2026 지침)
3. 제로 트러스트 & 비인간 신원 관리: AI 에이전트를 사람 사용자의 신원에 얹어 쓰지 말고, 수명이 짧고 범위가 좁은 독립된 전용 출입증(단기 토큰)을 발급합니다.
4. 격리 및 폭발 반경 통제: AI가 마음대로 행동할 수 있는 안전한 격리 공간(샌드박스)을 두고, 피해가 번질 수 있는 최대 범위를 제한합니다.
5. 공급망 무결성 (AIBOM / SBOM): AI가 불러다 쓰는 외부 도구 설명서나 코드 부품이 중간에 오염되지 않았는지 암호화 서명으로 검증합니다.
6. 강한 관측가능성 & 로그 무결성: AI가 무슨 행동을 왜 했는지 빠짐없이 기록하되, 그 로그를 공격자가 지우거나 고치지 못하도록 바깥에 보관합니다.
7. 인간 통제 & 킬 스위치 (Kill Switch): 중요한 결정을 내릴 때는 대화창 바깥에서 사람이 직접 승인하게 하고, 비상시 AI를 즉시 멈춰 세울 수 있는 차단 장치를 둡니다.

이해가 잘 가시나요?

STAGE 4 — 요약 및 스스로 점검하기 (Summary & Extension)

오늘 배운 핵심 내용을 3가지로 요약해 드립니다.

1. AI 시대의 해킹 방어는 무적의 모델 ‘코어’가 아니라, 모델이 세상과 만나는 ‘외곽 접점’을 잠그는 것입니다.
2. AI에게 과도한 권한(백지수표)을 주지 않는 ‘최소 에이전시’ 원칙과 단기 토큰 발급이 필수적입니다.
3. 이상 행동 시 즉시 시스템을 멈출 수 있는 ‘독립된 킬 스위치’와 위변조 불가능한 로그 보존이 마지막 보루입니다.