안녕하세요! 반갑습니다. 여러분의 개념 해결사, 강사 저스틴(Justin)입니다! 😊

오늘 우리가 함께 탐구해 볼 주제는 컴퓨터 내부에서 일어나는 보이지 않는 전쟁, 바로 ‘메모리 보안과 익스플로잇의 진화 역사’입니다.

오늘 강의는 CyberEzy 채널의 [사이버보안 강좌] 제1장. 메모리 보호와 힙의 진화적 지형 영상(0:00–7:49)을 바탕으로 준비했습니다.

본격적인 강의에 앞서 잠시 여쭤볼게요.

“혹시 C언어의 메모리 구조(스택, 힙)를 조금이라도 들어보신 적이 있으신가요? 아니면 보안 분야를 처음 접하시는 단계인가요?”

답변이 없으셔도 괜찮습니다! 처음 공부하시는 분의 눈높이에 맞춰 차근차근 풀어드릴 테니 편안하게 따라와 주세요.

컴퓨터의 메모리는 프로그램이 일하는 ‘작업대’와 같습니다. 공격자가 이 작업대를 오염시키면, 컴퓨터는 원래 해야 할 일 대신 공격자가 시키는 악성 행동을 하게 됩니다.

초창기 해커들은 메모리의 아주 단순한 허점을 노렸습니다. 하지만 방어자들도 가만히 있지 않았죠. 하나를 막으면 다른 하나를 뚫는 끝없는 군비 경쟁(Arms Race)이 시작된 겁니다.

이 전쟁의 흐름을 이해하면, “왜 옛날 공격 기법이 지금은 안 먹히는지”, 그리고 “왜 요즘은 러스트(Rust) 같은 새로운 언어가 주목받는지” 그 이유를 명확히 알 수 있게 됩니다.

원문 영상에서는 메모리 공격 방식이 예전의 단순한 형태에서 현대의 매우 정교한 방식으로 변했다고 지적합니다. 이 과정을 이해하려면 먼저 스택(Stack)과 힙(Heap)의 차이를 알아야 합니다.

제가 자주 드는 비유로 설명해 드릴게요.

스택(Stack)은 ‘차곡차곡 쌓아놓은 접시 더미’입니다. 맨 위에 새 접시를 올리고, 꺼낼 때도 맨 위에서 꺼내죠. 매우 질서정연하고 예측하기 쉽습니다.
힙(Heap)은 ‘온갖 도구가 어지럽게 놓인 작업실’입니다. 필요할 때마다 넓은 공간 아무 데나 자재를 놓았다가 치우는 동적인 공간이죠.

초기 공격자들은 예측하기 쉬운 스택을 노렸습니다. 순서대로 입력값을 넘쳐나게 넣어서(버퍼 오버플로우), 다음에 실행할 명령의 주소를 슬쩍 바꿔치기한 것이죠.

이를 막기 위해 방어자들은 3가지 강력한 성벽을 쌓았습니다.

DEP (데이터 실행 방지): 데이터 구역에 몰래 넣은 악성 코드가 실행되지 않도록 막습니다. CyberEzy 영상에서도 언급하듯 원천적으로 “코드를 실행하는 거 자체를 그냥 원천적으로 막아” 버리는 기술입니다 (1:12).
ASLR (주소 공간 배치 난순화): 메모리 주소를 매번 뒤죽박죽 섞어버립니다. 과녁이 계속 움직이니 공격자가 맞추기 힘들어집니다.
스택 카나리 (Stack Canary): 탄광 속 카나리아처럼, 주소가 바뀌기 전에 비밀값을 심어두어 값이 변하면 즉시 시스템을 정지시키는 경보장치입니다.

이 세 가지 방어선 때문에 스택을 노린 옛날 공격은 완전히 무력화되었습니다.

자, 여기까지 잘 따라오셨나요? 이해가 좀 되시나요?

스택이 철옹성이 되자, 공격자들은 훨씬 혼란스러운 공간인 힙(Heap)으로 눈을 돌렸습니다.

힙은 프로그램이 실행되는 동안 자유롭게 메모리를 나누어 쓰는 공간입니다. 문제는 “실제 데이터” 바로 옆에 “메모리를 관리하기 위한 정보(메타데이터)”가 함께 붙어 있다는 점입니다.

비유하자면, 도서관 책에 잉크를 쏟았는데 그 잉크가 옆에 놓인 ‘도서관 카드 목록(메타데이터)’까지 적셔버린 상황입니다.

공격자들은 단 1바이트의 오차(Poison Null Byte)를 이용해 시스템이 두 개의 메모리 덩어리를 하나로 착각하게 만들고, 메모리 통제권을 빼앗는 등 엄청나게 정교한 기법들을 개발해냈습니다.

방어자와 공격자가 쫓고 쫓기는 싸움을 반복하다 보니, 보안 학계는 깨달았습니다.

“문제가 터진 뒤에 막을 게 아니라, 애초에 컴파일(번역)할 때부터 메모리 버그가 불가능한 언어를 쓰자!”

그 대표적인 주자가 바로 러스트(Rust)입니다. 러스트는 소유권(Ownership)이라는 엄격한 규칙을 도입해서, 데이터의 주인이 누구인지 명확히 정하고 컴파일 단계에서 메모리 오류를 미리 다 걸러냅니다.

하지만 수십 년간 C/C++로 만들어진 금융, 통신 등 핵심 인프라가 남아있기 때문에, 이 메모리 보안 전쟁은 여전히 진행 중입니다.