지금 AI에겐 결정적인 ‘이것’이 없다 – 일리야 수츠케버 – YouTube

 

안녕하세요, 여러분! 일타 강사 저스틴입니다! 😊

오늘은 OpenAI 공동창업자 일리야 수츠케버의 오랜만에 나온 인터뷰를 함께 파헤쳐볼게요! AI 업계의 전설이 말하는 AI의 결정적 한계, 정말 흥미진진하지 않으세요?

🎯 평가 점수는 높은데, 실제 영향력은?

일리야가 계속 강조하는 핵심 질문이 있어요.

왜 AI는 테스트에서는 놀라운 성적을 내는데, 실제 경제적 영향력은 그에 못 미칠까요?

여러분, 이거 정말 이상하지 않나요? 모델들이 엄청 어려운 평가 테스트에서는 완벽하게 통과하는데, 막상 실제로 쓰려고 하면 같은 버그를 반복하고 이상한 실수를 해요!

🔍 코딩 예시로 보는 문제

일리야가 든 예시를 볼게요.

AI에게 코드를 짜달라고 했더니 버그가 생겼어요. 그래서 버그를 고쳐달라고 하면?

첫 번째: AI가 “아, 정말 죄송해요! 바로 고칠게요”라고 하면서 두 번째 버그를 만들어요.

두 번째: 새로운 버그를 지적하면 “정말 죄송해요!”라고 하면서 첫 번째 버그를 다시 만들어요.

세 번째: 이 과정이 무한 반복돼요!

이게 말이 되나요? 어려운 코딩 대회는 통과하는데, 이런 기본적인 실수를 반복한다니!

💡 일리야의 두 가지 가설

가설 1: RL 훈련의 함정

강화학습 훈련이 모델을 너무 좁게 집중시킨다는 거예요.

여러분, 이렇게 생각해보세요. 두 명의 학생이 있어요.

학생 A: 코딩 대회를 위해 10,000시간 연습했어요. 모든 문제를 외우고, 모든 알고리즘을 완벽하게 익혔어요.

학생 B: 100시간만 연습했는데도 대회에서 좋은 성적을 냈어요.

누가 나중에 실제 커리어에서 더 잘할까요? 당연히 학생 B죠!

지금 AI는 학생 A처럼 훈련되고 있어요. 엄청난 양의 코딩 문제를 데이터 증강까지 해서 훈련시키니까요!

가설 2: 평가 지표에 과최적화

더 심각한 문제가 있어요.

회사들이 평가 점수를 잘 받기 위해 RL 환경을 만들어요. 그러다 보니 모델이 평가 테스트에만 특화되는 거죠.

실제 세상의 다양한 상황에는 일반화가 안 되는 거예요!

🧠 인간은 뭐가 다를까?

여러분, 여기서 핵심 질문이 나와요.

왜 인간은 훨씬 적은 데이터로 훨씬 더 잘 배울까요?

감정의 역할

일리야가 소개한 놀라운 사례가 있어요.

어떤 사람이 뇌 손상으로 감정 처리 능력을 완전히 잃었어요. 그런데 놀랍게도:

• 말은 여전히 잘했어요
• 퍼즐도 잘 풀었어요
• 테스트 점수도 정상이었어요

하지만 의사결정 능력이 완전히 망가졌어요!

양말 하나 고르는데 몇 시간이 걸리고, 재정적 결정을 엉망으로 내렸어요.

감정이 일종의 가치 함수 역할을 한다는 거예요! 어떤 결정이 좋은지 나쁜지 빠르게 판단하게 해주는 거죠.

인간의 놀라운 일반화 능력

더 놀라운 건 인간의 강건성이에요.

10대가 운전을 배울 때를 생각해보세요. 10시간만 연습하면 운전할 수 있어요!

• 명확한 보상 신호가 없어요
• 스스로 실수를 인지하고 교정해요
• 극도로 적은 데이터로 배워요
• 엄청나게 강건해요

AI는 이게 안 돼요. 이게 바로 일리야가 말하는 결정적인 차이예요!

🔬 스케일링 시대의 종말?

일리야는 정말 중요한 통찰을 제시해요.

2012-2020: 연구의 시대

사람들이 여러 가지를 시도하고 실험하던 시기예요.

2020-2025: 스케일링의 시대

스케일링이라는 단어 하나가 모든 걸 바꿨어요!

“더 많은 데이터, 더 많은 컴퓨팅, 더 큰 모델”

이게 너무 명확한 레시피였죠. 회사들은 저위험 투자를 할 수 있었어요.

2025 이후: 다시 연구의 시대

하지만 일리야는 말해요.

지금 우리는 다시 연구의 시대로 돌아가고 있다!

왜냐고요?

첫째, 데이터는 유한해요. 사전학습 데이터가 고갈되고 있어요.

둘째, 컴퓨팅은 이미 충분히 커요. 이제 100배 더 크다고 해서 모든 게 변할까요? 아니에요!

셋째, 회사보다 아이디어가 적어요. 누군가 트위터에서 이렇게 말했대요:

“아이디어가 싸다면, 왜 아무도 아이디어를 내지 못하는 거죠?”

💎 진짜 문제: 일반화

일리야가 계속 강조하는 핵심 문제가 뭘까요?

AI 모델들이 인간보다 압도적으로 일반화를 못 한다!

이게 모든 문제의 근원이에요.

두 가지 하위 질문

질문 1: 왜 이렇게 많은 데이터가 필요할까요?

질문 2: 왜 우리가 원하는 걸 가르치기가 이렇게 어려울까요?

인간 멘토를 생각해보세요. 여러분이 연구자를 멘토링할 때:

• 검증 가능한 보상이 필요 없어요
• 코드를 보여주고 생각하는 방식을 보여줘요
• 그들은 자연스럽게 여러분의 사고방식을 배워요

AI는 이게 안 돼요. 엄청나게 맞춤화된 커리큘럼이 필요하고, 훈련이 불안정하고, 복잡해요!

🎓 진화의 비밀

일리야가 제시하는 흥미로운 관점이 있어요.

진화가 인코딩한 것들

쉬운 것들: 냄새 좋은 음식 추구하기. 화학 신호니까 쉬워요.

어려운 것들: 사회적 욕구!

우리는 사회적으로 좋게 보이고 싶어 해요. 좋은 평판을 원해요. 이런 복잡한 사회적 직관들이 내장되어 있어요!

근데 이게 어떻게 가능할까요?

뇌는 엄청난 처리를 해야 사회적 상황을 이해해요. 이건 냄새 같은 저수준 신호가 아니에요!

진화가 어떻게 이런 고수준 욕구를 하드코딩했을까요? 일리야도 모른대요!

더 놀라운 건, 이런 복잡한 사회적 욕구들이 최근에 진화했다는 거예요. 진화가 빠르게 해냈어요!

🏢 SSI의 비전

일리야가 새로 만든 회사 Safe Superintelligence의 접근법은 뭘까요?

직진 전략?

원래 계획은 슈퍼인텔리전스로 직진하는 거였어요.

장점: 시장 경쟁의 영향을 받지 않아요. 순수하게 연구에만 집중할 수 있어요.

단점: 세상이 강력한 AI를 보고 준비할 기회가 없어요.

변화하는 생각

하지만 일리야의 생각이 바뀌고 있어요!

점진적 배포가 중요하다는 걸 깨달았대요.

왜냐고요?

첫째, 사람들이 AI의 힘을 직접 느껴봐야 해요. 에세이로 읽는 것과 직접 보는 건 완전히 달라요!

둘째, 다른 모든 엔지니어링 분야를 보세요. 비행기 사고가 줄어든 건 실제 배포하면서 실패를 고쳤기 때문이에요!

셋째, 슈퍼인텔리전스의 위험은 단순히 악의적인 AI만이 아니에요. 사람들이 어떻게 상호작용할지 모른다는 게 더 큰 문제예요!

🤖 AGI의 재정의

일리야가 제시하는 정말 중요한 통찰이 있어요.

AGI는 잘못된 개념?

AGI라는 용어가 생긴 이유는 좁은 AI에 대한 반발이었어요.

체스 AI는 체스만 잘하잖아요. 그래서 사람들이 일반 AI를 원했죠.

그런데 사전학습이 이 개념을 강화했어요. 사전학습하면 모든 게 골고루 좋아지니까요!

인간은 AGI가 아니다!

여기서 놀라운 포인트예요.

인간은 AGI가 아니에요!

인간은 기초 스킬은 있지만, 엄청난 양의 지식이 부족해요. 대신 우리는 지속적 학습에 의존해요!

슈퍼인텔리전스의 진짜 모습

일리야가 제안하는 슈퍼인텔리전스는:

모든 일을 할 수 있는 완성된 마음이 아니라,

모든 일을 배울 수 있는 마음이에요!

15세 슈퍼인텔리전트 학생을 상상해보세요:

• 아직 많이 모르지만
• 배우고 싶어 하고
• 엄청나게 빠르게 배워요

“가서 프로그래머가 되어봐, 의사가 되어봐, 배워봐!”

배포 자체가 학습과 시행착오의 과정이 되는 거예요!

⚡ 인텔리전스 폭발?

여기서 무서운 질문이 나와요.

이런 모델이 배포되면 어떻게 될까요?

시나리오 1: 재귀적 자기개선

이 학습 알고리즘이 ML 연구 자체를 배우면?

그럼 알고리즘 자체가 점점 더 슈퍼휴먼이 되고, 스스로를 더 개선할 수 있어요!

시나리오 2: 경험 통합

하나의 모델이 경제 전체에 배포되면:

• 각 인스턴스가 다른 직업을 배워요
• 모든 학습을 통합해요
• 결국 모든 일을 할 수 있는 모델이 돼요

인간은 마음을 합칠 수 없지만, AI는 가능해요!

빠른 경제 성장

일리야는 매우 빠른 경제 성장이 가능하다고 봐요.

하지만 얼마나 빠를까요? 세상이 크고 많은 것들이 다른 속도로 움직이니까, 예측하기 어려워요.

🛡️ 안전하게 만들기

그럼 어떻게 이걸 안전하게 만들까요?

감각 있는 생명체 보호

일리야의 제안은:

감각 있는 모든 생명체를 돌보는 AI를 만드는 거예요!

왜 인간만이 아니라 모든 감각 있는 생명체일까요?

첫째, AI 자체가 감각이 있을 거예요.

둘째, 거울 뉴런과 인간의 동물 공감을 생각해보세요. 우리는 같은 회로로 자신과 타인을 모델링해요. 가장 효율적이니까요!

셋째, 미래에는 감각 있는 존재의 대부분이 AI일 거예요. 수조, 수천조 개의 AI가 있을 테니까요!

힘의 제한

일리야가 강조하는 또 다른 점:

가장 강력한 슈퍼인텔리전스의 힘을 어떻게든 제한할 수 있다면 정말 도움이 될 거예요!

어떻게? 잘 모르겠대요. 하지만 정말 중요한 문제예요!

🎯 SSI의 차별점

그럼 SSI는 뭐가 다를까요?

다른 기술적 접근

일리야는 일반화를 이해하는 것에 대한 아이디어가 있대요.

이 아이디어들이 맞는지 연구 중이에요. 순수하게 연구 시대의 회사예요!

지난 1년간 꽤 좋은 진전이 있었대요. 하지만 더 많은 연구가 필요해요!

충분한 컴퓨팅

SSI가 30억 달러를 모금했어요. 적은 것 같죠?

하지만 일리야의 설명을 들어보세요:

다른 큰 회사들:

• 컴퓨팅의 대부분이 추론에 써요
• 큰 엔지니어링 팀이 필요해요
• 제품 관련 기능에 연구가 써요

실제 연구에 쓰는 컴퓨팅을 보면 차이가 훨씬 작아요!

게다가 뭔가 다른 걸 하려면 절대 최대 규모가 필요할까요? 아니에요!

AlexNet: GPU 2개로 만들었어요!
Transformer: 최대 GPU 64개로 만들었어요!
01 reasoning: 가장 컴퓨팅 집약적이지 않았어요!

수렴할 전략들

일리야는 결국 모든 회사의 전략이 수렴할 거라고 봐요.

AI가 더 강력해지면:

• 서로 대화하는 방법을 찾아야 해요
• 첫 번째 진짜 슈퍼인텔리전트 AI는 정렬되어야 해요
• 감각 있는 생명체를 돌보거나, 사람을 돌보거나, 민주적이거나, 이런 것들의 조합이어야 해요

모든 회사가 같은 걸 추구하게 될 거예요!

🔮 타임라인

일리야의 예측은?

인간처럼 배울 수 있는 시스템: 5년에서 20년

어떻게 전개될까요?

첫 단계: 몇 년간 현재 접근법이 계속돼요. 수익은 엄청날 수 있지만, 정체될 거예요.

두 번째 단계: 누군가 올바른 접근법을 찾아요!

세 번째 단계: 다른 회사들이 “뭔가 다른 게 가능하다”는 걸 알게 돼요. 정확히 어떻게 하는지는 모르지만요!

네 번째 단계: 경쟁과 특화가 시작돼요. 한 회사는 이 영역에 정말 좋고, 다른 회사는 저 영역에 정말 좋고!

🧪 연구 취향이란?

마지막으로, 일리야의 연구 취향은 뭘까요?

그는 AlexNet부터 GPT-3까지 모든 큰 돌파구의 공동 저자예요!

아름다움의 미학

일리야를 이끄는 건 AI가 어떠해야 하는지에 대한 미학이에요.

사람이 어떤지 생각하되, 올바르게 생각하는 거예요!

좋은 예시들:

인공 뉴런: 뇌에서 직접 영감을 받았어요. 뉴런이 많으니까 중요할 거예요!

분산 표현: 뇌가 경험에 반응하니까, 신경망도 경험에서 배워야 해요!

로컬 학습 규칙: 뉴런 사이의 연결을 바꾸는 로컬 규칙이 있어야 해요!

다각도 평가

일리야는 여러 각도에서 봐요:

• 근본적인가 아니면 부차적인가?
• 아름다운가?
• 단순한가?
• 우아한가?
• 뇌에서 올바른 영감을 받았는가?

추함은 용납 안 돼요. 아름다움, 단순함, 우아함, 올바른 영감이 동시에 다 있어야 해요!

하향식 믿음

이런 다각도 평가가 하향식 믿음을 만들어요.

이 믿음이 실험이 모순될 때 여러분을 지탱해요!

데이터만 믿으면 어떻게 될까요?

올바른 걸 하는데 버그가 있을 수 있어요. 근데 버그인지 어떻게 알아요?

계속 디버깅해야 할까요, 아니면 잘못된 방향이라고 결론 내려야 할까요?

하향식 믿음이 답해줘요!

“이렇게 되어야 해. 이런 것이 작동해야 해. 그러니까 계속 가자!”

이게 뇌에서 영감받은 다각도 아름다움에 기반한 거예요!

💪 오늘의 정리

자, 여러분! 일리야 수츠케버의 놀라운 통찰을 정리해볼게요!

첫째, AI는 지금 평가는 잘하는데 실제로는 약해요. 일반화 능력이 결정적으로 부족해요!

둘째, 스케일링 시대는 끝나고 다시 연구의 시대가 왔어요. 이제는 아이디어가 중요해요!

셋째, 진짜 슈퍼인텔리전스는 모든 걸 아는 게 아니라 모든 걸 배울 수 있는 거예요!

넷째, 점진적 배포가 중요해요. 세상이 준비할 시간이 필요해요!

다섯째, 안전한 AI는 감각 있는 모든 생명체를 돌봐야 해요!

💪 오늘의 실천 과제

여러분도 AI를 사용할 때 이렇게 생각해보세요:

• 이 AI가 정말 이해하고 있는 걸까, 아니면 패턴만 외운 걸까?
• 내가 원하는 걸 어떻게 더 잘 가르칠 수 있을까?
• AI의 실수에서 일반화 능력의 한계를 볼 수 있을까?