텍스트 프롬프트를 사용하여 자체 데이터에 AI 모델을 구축하기 위해 로컬에 Plexe 설치 – YouTube

일타 강사 저스틴입니다! 오늘 강의에서는 파드 미르자(Fahd Mirza) 님의 유튜브 스크립트, “텍스트 프롬프트를 사용하여 자체 데이터에 AI 모델을 구축하기 위해 로컬에 Plexe 설치”를 기반으로 Plexe라는 도구를 활용하여 텍스트 프롬프트만으로 AI 모델을 만드는 방법에 대해 알아보겠습니다.

강의 시작!

파드 미르자 님에 따르면, Plexe는 혁신적인 파이썬 기반 도구로, 사용자가 자연어 명령을 사용하여 머신러닝 모델을 구축, 훈련 및 배포할 수 있도록 해줍니다. 이 도구는 전체 머신러닝 워크플로우를 단순화하고 가속화하도록 설계되었으며, 대규모 언어 모델로 구동되는 멀티 에이전트 시스템을 사용하여 계획, 코드 생성, 모델 훈련, 평가 및 배포와 같은 주요 단계를 자동화합니다.

파드 미르자 님은 Plexe가 OpenAI 또는 Anthropic, Gemini와 같은 API 기반 모델에서 가장 잘 작동한다고 언급합니다. Olama와 함께 사용해 볼 수도 있지만, 큰 기대는 하지 않는 것이 좋다고 하네요. Plexe를 제대로 사용하려면 유료 옵션인 OpenAI 모델을 사용하는 것이 좋다는 점을 기억하세요!

Plexe를 사용하면 복잡한 ML 코드를 직접 작성하는 대신, 사용자는 간단한 영어로 의도를 설명할 수 있습니다. 예를 들어, “평방 피트와 침실 수를 기준으로 주택 가격을 예측”과 같이 말이죠. 그러면 Plexe가 데이터 준비부터 생산 준비가 완료된 투명하고 편집 가능한 파이썬 코드 생성까지 모든 것을 처리합니다. 이때 scikit-learn, PyTorch 또는 TensorFlow와 같은 프레임워크를 사용합니다. 자, 이 부분은 별표 세 개! 코딩 없이도 AI 모델을 만들 수 있다는 점이 정말 혁신적이죠!

파드 미르자 님은 우분투 시스템을 사용하여 Plexe를 설치하고 사용하는 방법을 보여줍니다. 그는 Mast Compute 웹사이트에서 VM, CPU 또는 GPU를 매우 저렴한 가격에 대여할 수 있다고 소개합니다. 또한, 일부 GPU에 대해 50% 할인 쿠폰 코드를 제공합니다.

가상 환경을 만드는 것으로 시작하는데, 필수는 아니지만 항상 좋은 습관이라고 합니다. 가상 환경이 생성되는 동안 그는 이 비디오의 스폰서인 Camel AI를 소개합니다. Camel AI는 데이터 생성, 작업 자동화 및 세계 시뮬레이션에 적용하여 멀티 에이전트 인프라를 구축하는 데 중점을 둔 오픈 소스 커뮤니티입니다.

Plexe 설치는 간단합니다. pip install 명령을 사용하여 Plexe를 설치하고 “all” 옵션을 지정하면 됩니다. 설치가 완료되면 OpenAI API 키를 설정해야 합니다. API 키는 platform.openai.com에서 얻을 수 있으며, 유료 옵션입니다.

파드 미르자 님은 Plexe를 사용하는 방법을 보여주기 위해 몇 가지 라이브러리를 가져오고 자체 데이터 세트를 사용합니다. CSV 파일을 사용할 수도 있지만, 비용을 절약하기 위해 Pandas 데이터 프레임을 사용하여 주택, 침실, 욕실, 가격 등에 대한 정보를 제공합니다. CSV 파일을 업로드하면 Plexe가 자동으로 많은 사전 처리를 수행합니다.

다음으로 모델의 의도를 지정해야 합니다. 파드 미르자 님은 평방 피트, 침실 및 욕실을 기준으로 주택 가격을 예측하려고 합니다. 그는 이것이 이 도구의 가장 좋은 사용 사례라고 생각합니다. 모델을 구축하려면 model.build 명령을 실행하기만 하면 됩니다. Plexe는 GPT4 미니를 사용하는 것 같습니다. Olama에 대한 지원도 있지만, 파드 미르자 님은 Olama를 사용했을 때 결과가 좋지 않았다고 합니다.

모델이 구축되면 예측 또는 추론을 수행하고 모델을 저장한 다음 다시 로드하여 추론을 다시 수행할 수 있습니다. 즉, 한 번만 만들고 사용하는 것이 아니라 여러 번 재사용할 수 있습니다.

파드 미르자 님은 터미널로 돌아가 app.py 명령을 실행하여 모델 구축을 시작합니다. CSV 파일을 제공하지 않았기 때문에 자체 데이터를 사용합니다. 그는 모델 구축 프로세스가 얼마나 걸리는지 보여줍니다. Plexe는 예측 매트릭스를 선택하고 데이터 세트를 검색하고 원시 데이터 세트를 정리합니다. 그는 데이터 세트 이름을 잘못 지정했지만, Plexe가 자체적으로 수정하려고 시도합니다. Plexe는 데이터에서 성공적으로 복구합니다.

데이터를 정리하고 사전 처리한 후 선형 회귀 모델을 구현하고 솔루션 계획을 만듭니다. 파드 미르자 님에 따르면, ML 엔지니어 또는 ML 운영 엔지니어, 오케스트레이터, 데이터 세트 분할기, 데이터 세트 유효성 검사기와 같은 역할을 수행하는 에이전트가 있습니다. 이러한 에이전트들은 서로 협력하여 모델을 훈련합니다.

파드 미르자 님은 OpenAI 비용을 확인합니다. 이 작은 데이터 세트로 훈련하는 데 이미 10달러 정도의 비용이 들었습니다. 첫 번째 반복이 완료된 후 업데이트된 훈련 코드를 실행합니다. Plexe에는 클라우드 버전도 있는 것 같습니다.

Olama를 사용하는 방법을 보여줍니다. Olama는 대규모 언어 모델을 로컬에서 실행하는 가장 쉬운 도구 중 하나입니다. 파드 미르자 님은 이미 Olama를 설치했으며, 몇 가지 모델을 실행하고 있습니다. 다른 모델을 사용하려면 “pull” 명령을 사용하면 됩니다.

Olama를 사용하려면 루트에서 두 개의 환경 변수를 제공해야 합니다. light LLM 모델과 light LLM 엔드포인트를 설정해야 합니다. light LLM은 로컬 엔드포인트에서 로컬 모델을 포함하여 많은 모델에 연결하는 데 사용할 수 있는 서비스입니다. 그런 다음 모델 사양 없이 동일한 코드를 실행합니다. 그러면 light LLM API 엔드포인트가 사용됩니다.

파드 미르자 님은 이미 Olama를 사용하여 실행했지만, 2~3시간이 걸렸고 결과가 좋지 않았다고 합니다. OpenAI를 사용하면 모델이 훈련되었지만, 추론 코드를 만드는 데 1시간 정도 걸리고 이미 8달러 정도의 비용이 들었습니다. 그는 주어진 데이터 양에 비해 비용이 높다고 생각합니다.

Plexe는 ML 엔지니어, ML 운영 엔지니어, 오케스트레이터, 데이터 세트 분할기, 데이터 세트 유효성 검사기 등의 역할을 수행하는 에이전트를 만들었습니다. 이러한 에이전트들은 서로 협력하고 자체적으로 복구한 다음 모델을 훈련합니다. 많은 반복이 있습니다.

강의 마무리!

자, 오늘 파드 미르자 님의 유튜브 스크립트를 통해 Plexe라는 도구를 사용하여 텍스트 프롬프트만으로 AI 모델을 만드는 방법에 대해 자세히 알아봤습니다. 파드 미르자 님이 강조했듯이, Plexe는 코딩 없이도 AI 모델을 만들 수 있도록 해주는 혁신적인 도구입니다. 비록 Olama를 사용했을 때 결과가 좋지 않았고, OpenAI를 사용할 때 비용이 많이 들었지만, Plexe의 잠재력은 매우 크다고 할 수 있습니다.

파드 미르자 님은 시청자들에게 이 도구에 대해 어떻게 생각하는지 댓글로 알려달라고 요청합니다. 여러분도 Plexe에 대해 어떻게 생각하는지 댓글로 자유롭게 이야기해주세요!

오늘 강의는 여기까지입니다! 다음 시간에 더 유익한 정보로 만나요!