Kernel Memory 1. Overview

커널 메모리는

데이터셋을 효율적으로 색인화(indexing)하고,

사용자의 자연어 질의나 생성 요청에 대해 AI 모델이 멀티 모달(텍스트, 이미지, 음성, 영상 등)로 응답할 수 있도록 하는 애플리케이션 개발을 위한 라이브러리 입니다. MIT 라이센스로 제공되는 오픈소스 입니다. 

 

커널 메모리가 무엇인지에 대한 한 문장 소개입니다.

Index and query any data using LLM and natural language, tracking sources and showing citations.

 

LLM도 가지고 있고, LLM 연동 AI 서비스도 자체적으로 제공한다면, 더 이야기할 필요 없다.

LLM을 가지고 있지 않다면, 아무리 잘하는 LLM을 사용한다고 해도. LLM의 태생적 한계 – 기업 내부에서 관리되는 기밀 데이터는 모른다 -로 인한 문제는 해결해야 합니다. 커널 메모리는 이를 위해 등장한 것으로 보면 됩니다 .

 

자연어 질의에 응답하게 하려면, 지금 AI 기술에서는 데이터를 임베딩 해야 합니다. 임베딩은 데이터를 컴퓨터가 이해할 수 있는 형태인 벡터로 변화하는 과정을 말합니다. 각 벡터는 데이터의 특징을 나타내는 고유한 차원을 가집니다. 임베딩을 통하면 비슷한 의미를 가진 데이터는 벡터 공간에서 서로 가까운 위치에 배치가 되어 AI가 패턴을 인식하고 학습하는 데 도움을 줍니다. 

 

커널 메모리는 

임베딩, LLM, 벡터 저장소들의 도움을 받아

다양한 형식의 문서들(ms word, ms excel, ms power point, pdf)과 웹 페이지와 이미지와 마크다운과 json, 원시 텍스트로 부터

정보를 추출하고,

기억(메모리)을 생성합니다.

 

질의나 생성 요청에 관련 된 내용이 기억되었다면, 기억된 내용을 끄집어 낼 수 있습니다.

 

커널 메모리는 웹 서비스로 독립적으로 제공될 수도 있고, 애플리케이션 내에 기능으로 포함될 수도  있습니다. 

커널 메모리는 다음 기능들을 제공합니다. 

It provides several features that would otherwise have to be developed manually, such as storing files, extracting text from files, providing a framework to secure users’ data, etc. 

 

About the Author
(주)뉴테크프라임 대표 김현남입니다. 저에 대해 좀 더 알기를 원하시는 분은 아래 링크를 참조하세요. http://www.umlcert.com/kimhn/

Leave a Reply

*