안녕하세요, 여러분! 일타 강사 저스틴입니다. 오늘 여러분과 함께 분석할 자료는 바로 “지퍼 : 지식의 퍼즐을 채우다” 유튜브 채널에 올라온 김경아 델 테크놀로지스 부사장님의 강연, “LLM은 끝? 기업에 필요한 진짜 AI 전략은 따로 있다”입니다. 2025년 7월 18일에 공개된 따끈따끈한 영상이죠. 자, 그럼 기업들이 AI를 어떻게 도입해야 하는지, 핵심만 쏙쏙 뽑아 알려드리겠습니다!

강의 시작! AI, 이제 선택이 아닌 필수!

김경아 부사장님은 2022년 11월 30일, Chat GPT가 세상에 나오면서 AI 혁명이 시작되었다고 말합니다. Chat GPT는 단 5일 만에 100만 명 이상의 사용자를 확보하며 AI에 대한 엄청난 관심을 불러일으켰죠. 이제 초등학생들도 AI를 활용하는 시대가 왔습니다.

하지만! IT와 비즈니스 리더들은 AI를 기업에 도입하는 데 많은 고민을 하고 있습니다. 왜냐?

AI 인력 부족: 갑자기 AI 전문가를 채용하거나 양성하는 건 하늘의 별 따기만큼 어렵습니다. 미국에서는 박사급 AI 전문가 연봉이 3억에서 5억이 넘어도 구하기 힘들 정도라고 하네요.
복잡한 AI 영역: AI 분야가 너무 넓고 복잡해서 어떤 분야의 전문가를 영입해야 할지, 어떤 기술을 키워야 할지 결정하기 어렵습니다.
비용 문제: Chat GPT 이후 많은 기업들이 GPU 서버를 도입했지만, 수천만 원에서 수십억에 달하는 비용을 감당하기 쉽지 않습니다. “자, 이 부분은 별표 세 개! ROI, 즉 투자 대비 효과를 꼼꼼히 따져봐야 합니다!”
보안 문제: AI 모델이 답변은 잘 하지만, 정확한 정보를 보장하지 않기 때문에 개인 정보나 기업 기밀 유출 위험이 있습니다. 그래서 일부 기업들은 사내에서 범용 AI 사용을 막기도 합니다.

저스틴) 고민 만 하게 해서는 안 됩니다. 기업 직원들에게 AI와 협업해서 자신의 업무를 할 수 있는 환경을 열어주는 것 부터 시작하게 해야 합니다. 그러다보면 기업에 왜 필요한지 어디에 어떻게 써야 할지가 나오고 이 부분들이 공유되면서 자연스럽게 기업 차원에서 도입 전략이 나와야 합니다.

AI 도입, 어떻게 해야 성공할까?

그렇다고 AI를 안 쓸 수는 없습니다. 김 부사장님은 “AI를 사용하는 사람이 AI를 사용하지 않는 사람을 대체할 것”이라고 강조합니다. 즉, AI를 잘 활용하는 기업이 경쟁에서 살아남는다는 거죠.

그렇다면 어떻게 AI를 도입해야 할까요?

김 부사장님은 복잡성, 비용, 보안 문제를 해결할 수 있는 포괄적인 AI 서비스와 검증된 솔루션을 찾아야 한다고 말합니다. 또한, 모든 기업에 똑같은 AI 솔루션을 적용할 수 없기 때문에, 각 기업의 규모, 목적에 맞는 효율적인 AI 도입이 중요하다고 강조합니다. “여기서 중요한 건 ‘맞춤형’이라는 겁니다!”

엔터프라이즈 AI란 무엇일까요?

엔터프라이즈 AI는 조직의 핵심 영역, 즉 가장 중요한 프로세스에 AI를 적용하여 업무 효율성과 경쟁력을 높이는 것을 의미합니다. 개인이나 범용 AI보다는 기업과 조직에 초점을 맞춘 것이죠. 전사적인 AI 도입도 중요하지만, 가장 임팩트 있는 프로세스에 AI를 적용하는 것이 핵심입니다.

AI 도입 시 고려해야 할 5가지 핵심 과제

델 테크놀로지스에서 전 세계 3,800명의 의사 결정자 및 AI 실무자들을 대상으로 설문 조사를 실시한 결과, 엔터프라이즈 AI 적용 시 고려해야 할 5가지 핵심 과제가 도출되었습니다.

데이터: AI 성공의 열쇠는 바로 데이터입니다. 데이터를 어떻게 관리, 보호, 확장할 수 있는지 고민해야 합니다.
유연성 및 확장성: AI 유즈 케이스와 개발의 79% 이상이 아직 퍼블릭 클라우드가 아닌 환경에서 이루어지고 있습니다. 따라서 현재 AI 유즈 케이스와 앞으로의 모델, 기업의 성숙도, AI를 통해 구현하고자 하는 목적에 따라 유연성과 확장성을 고려해야 합니다. 작게 시작하되, 향후 확장이 가능하도록 설계해야 합니다.
데이터 센터 효율성: AI 데이터 센터는 일반 데이터 센터보다 훨씬 많은 전력을 사용하고 발열량도 높습니다. 따라서 액체 냉각 기술, ESG, 기후 환경에 미치는 영향 등을 고려하여 데이터 센터를 설계해야 합니다. “데이터 센터, 이제 친환경이 대세입니다!”
AI 솔루션: 과거에는 엔비디아 칩을 탑재한 고가 AI 솔루션만 가능했지만, 이제는 스몰 랭귀지 모델, 쿠바네티스, 오픈 소스 환경을 지원하는 AI 솔루션도 고려해야 합니다. AIPC를 도입하여 AI를 더욱 확장할 수도 있습니다.
데이터 전략: AI는 데이터를 먹고 사는 기계입니다. 따라서 방대한 데이터를 어떻게 관리하고 어떤 데이터 전략을 세울 것인지가 매우 중요합니다. 델 테크놀로지스는 “Bring AI to your data” 전략을 추진하고 있습니다. 즉, AI 기술을 데이터가 있는 곳으로 가져가야 한다는 것이죠. 엔터프라이즈 데이터의 75%가 엣지에서 생성되기 때문에, 데이터 웨어하우스 방식으로는 AI를 접목하기 어렵습니다.

저스틴) AI 모델을 만들거나 AI 칩이나 전기 생산하는 업체가 아니라면, 기업이나 개인이나 AI 성공의 열쇠는 모든 일에 AI를 사용해 보는 것, 그것도 전적으로 많이 사용하는게 성공의 열쇠 입니다. 지금의 AI는 기존에 없는 새로운 차원의 것으로 먼저 익숙해 져야 합니다. 그래야 어떻게 AI와 협업할 지도 자연스럽게 나옵니다. “많이 써보는게 장땡이다!”라고 저는 고집스럽게 말하겠습니다.

AI 데이터 센터 구축 및 업그레이드

AI는 에너지 소비가 매우 높기 때문에, AI에 맞는 데이터 센터를 구축해야 합니다. 또한, AI 기술은 하루가 다르게 발전하기 때문에 GPU 서버 업그레이드에 대한 고민도 필요합니다.

저스틴) AI를 사용하는 것이 중요한 일반 기업은 AI 모델이 모르는 내부 데이터를 가지고 지식 기반을 구축해 활용할 수 있는 수준이 되면 됩니다. 제발 AI 모델 만들기 위해 필요한 것들에 휩쓸려 다니지 마세요.

온디바이스 AI의 시대

앞으로는 PC, 노트북에서 AI가 만들어지고 구동되는 온디바이스 AI 시대가 열릴 것입니다. 온디바이스 AI는 개인 정보 유출, IP 문제 등을 해결하고 보안을 강화하면서도 빠르고 비용 효율적인 AI를 구현할 수 있습니다.

저스틴) 기업 업무에서 온디바이스로 해야 할 부분과 그렇지 않은 부분을 구분하고, 상황에 맞게 최적으로 사용할 수 있게 해야 합니다.

델 AI 팩토리

델 테크놀로지스는 복잡한 AI 영역을 데스크톱에서 데이터 센터까지 엔드투엔드 포트폴리오로 제공하는 “델 AI 팩토리”를 발표했습니다. 델 AI 팩토리는 AI 밀키트와 같습니다. 고객은 예산과 목적에 맞는 AI 밀키트를 선택하여 AI를 간편하고 경제적이며 안전하게 도입할 수 있습니다.

마무리

김경아 부사장님은 AI가 필요하면 “콜 델, 바이 델”하라고 강조합니다. 델 테크놀로지스는 델 AI 팩토리를 통해 많은 기업들이 AI를 쉽고 효율적으로 도입할 수 있도록 지원할 것입니다.

자, 오늘 강의는 여기까지입니다. 김경아 부사장님의 강연을 통해 기업들이 AI를 어떻게 도입해야 하는지, 어떤 점을 고려해야 하는지 명확하게 알 수 있었습니다. AI, 더 이상 어렵게 생각하지 마시고 델 테크놀로지스와 함께 시작해보세요!