[Mr. Know-All 6호 – 2024년 3월]

[LM Studio, AnythingLLM]

저장이나 활용 하지 않는 다고 해도, 응답을 위해 기밀 데이터를 llm에 전달해야 한다면, 기업이나 개인은 찝찝하지 않을 수 없다.

외부 제공 llm이 아닌 자체 llm을 사용하면 좋겠지만, 돈이 너무 많이 들어서 거의 모든 기업들은 입을 열 수 없는 일이다.

메타는 llm을 오픈소스로 공개한다.  Llama라는 이름으로.  버전은 2까지 나왔다. 곧 3가 나온다고 한다. 우리는 오픈소스 llm은 Llama만 쳐다 본다.

LM Studio는 LLaMa, Falcon, MPT, StarCoder 와 같은 허깅페이스에 공유된 llm을 로컬(오프라인)에 다운로드 하고 실행할 수 있는 플랫폼이다.  개인 용도로는 무료.

비슷한 것 – AnythingLLM