유튜브 영상 보기 – Insanely Fast LLAMA-3 on Groq Playground and API for FREE

하루만 해도 봐야 할 생성형 AI 관련 영상들이 몇 개는 유튜브 영상이 올라옵니다.  국내 영상도 있지만 대부분은 유튜버가 영어를 사용합니다. 국내 영상도 그렇지만 이 영상들을 다 보고 있을 시간이 없습니다 .그러다 보니 스크립트 해 주는 곳을 찾게 되고 https://youtubetranscript.com/ 여기가 이를 위해 사용하는 사이트입니다 . 문제는 문장 구분이 안 되어...

Mr. Know-All (8) – 2024.6

메타에서 라마3를 발표했습니다. 이번 호에서는 이거 하나 다루기도 벅차네요. 자료들이 쏟아집니다. 그래도 간단히 C# 관련 자료는 별로 없으니, 이 부분 추가해서 정리 해 봅니다. http://www.umlcert.com/llama3/   라마3 로컬에서 돌리면 꽤 느립니다. 스트리밍 방식을 지원하니 초당 몇 개 안 되는 토큰 생성을 해 줘도 느린지 모를 수 있습니다. 실제 업무에 처리하면...

Kernel Memory 4. Concepts

https://microsoft.github.io/kernel-memory/concepts Index 커널 메모리는 서비스에 투입된 문서의 의미를 저장하기 위해 벡터 저장소를 활용하며, Azure AI Search, Qdrant, Elastic Search, Redis 등과 같은 솔루션을 사용합니다. 일반적으로 저장 솔루션은 각 컬렉션에 대한 최대 용량을 제공하며, 보안, 개인 정보 보호 또는 기타 중요한 이유로 데이터를 명확하게 별도의 컬렉션으로 분리해야 할 필요가 종종 있습니다....

Kernel Memory 3. Memory service

https://microsoft.github.io/kernel-memory/service LLM이 훈련 이후에 만들어진 데이터나 조직 내부 데이터는 모른다는 한계를 극복하기 위한 방법으로 RAG가 제시되었고, 조직 내부 데이터를 관리하기 위해 커널 메모리가 등장습니다. 커널 메모리는 검색 엔진과 함께 RAG를 가능하게 하는 쌍두마차라 할 수 있습니다. 커널 메모리는 애플리케이션에 임베딩 되기 보다는 독립된 서버 서비스로 실행 되는 게 적합합니다. 그래야...

Kernel Memory 1. Overview

커널 메모리는 데이터셋을 효율적으로 색인화(indexing)하고, 사용자의 자연어 질의나 생성 요청에 대해 AI 모델이 멀티 모달(텍스트, 이미지, 음성, 영상 등)로 응답할 수 있도록 하는 애플리케이션 개발을 위한 라이브러리 입니다. MIT 라이센스로 제공되는 오픈소스 입니다.    커널 메모리가 무엇인지에 대한 한 문장 소개입니다. Index and query any data using LLM and natural...

LLaMa3

메타가 라마3(LLaMa3)를 공개 했다. 시작은 유출로 시작해서 2부터 정식으로 오픈소스로 공개하고 이번에 3을 공개했다. 한글은 좀 약하다고 하지만, 한국 전문가들도 라마3 공개에 큰 관심을 보이고 있으니, 한글 데이터로 파인튜닝 된 모델이 곧 등장할 것으로 보인다. 8빌리언, 70빌리언 두 개의 모델로 공개 했다. 400빌리언 모델도 학습 중에 있다고 한다. 코드 생성, 추론,...

Pilot AI Smarteasy 프롬프트 분석 – website-wizard

Anthropic에서 제공하는 website-wizard 프롬프트를 역공학 합니다.  만들어진 프롬프트 내용을 기반으로, Pilot AI Smarteasy를 가지고 프롬프트 명세를 합니다.  어떤 일을 하고 있다가 생성형 AI에게 시킬 일이 생겼을까요? 원페이지 웹사이트를 개발하는 팀에서 필요로 했을 것 같습니다. 무엇을 만들어야 하는 지는 사양으로 주어지고 이를 입력으로 개발 한다고 합니다.  이 팀이 하던 일은 생성형...