대규모 데이터로 훈련된 LLM은 특정 작업을 수행할 때 예시나 시연 없이도 작업을 처리할 수 있는데, 이러한 방식을 “제로샷”이라고 합니다.  제로샷 프롬프트는 추가적인 예시 없이 모델에 직접 작업을 수행하도록 지시합니다.

제로샷 프롬프팅은 간단하고 일반적인 작업에는 효과적일 수 있지만, 복잡하거나 특정 분야의 작업, 또는 높은 정확도와 일관성이 요구되는 작업에는 한계를 보입니다. 이러한 경우 퓨샷 프롬프팅이나 다른 고급 프롬프트 엔지니어링 기법을 사용하는 것이 더 효과적일 수 있습니다.

메모) 최근의 LLM들은 점점 강해져서 Zero-Shot으로도 지시를 잘 수행합니다. 

• 예시
  • Classify the text into neutral, negative or positive.
    Text: I think the vacation is okay.
    Sentiment:
• 응답
  • Neutral

👨‍🏫: 제공해주신 퓨샷 프롬프팅(Few-Shot Prompting)에 대한 글을 분석해 드리겠습니다.

퓨샷 프롬프팅(Few-Shot Prompting)은 LLM이 특정 작업을 더 잘 수행하도록 프롬프트 안에 소수의 예시(demonstrations) 를 제공하는 기법입니다. 이는 LLM이 문맥 내 학습(in-context learning)을 통해 제공된 예시를 바탕으로 다음에 나올 입력에 대한 응답을 생성하도록 유도합니다. 즉, 퓨샷 프롬프팅은 LLM에게 “이런 식으로 해야 한다”는 것을 보여주는 학습 과정과 유사합니다.

LLM은 대규모 텍스트 데이터에서 학습된 패턴을 기반으로 작동합니다. 퓨샷 프롬프팅은 이러한 패턴 인식 능력을 활용하여, 프롬프트에 포함된 예시를 통해 특정 작업에 대한 입력과 출력의 관계를 학습하고, 이를 바탕으로 새로운 입력에 대한 적절한 출력을 생성합니다. 예시를 통해 LLM은 작업의 목표, 입력 형식, 출력 형식 등을 파악하고 이를 일반화하여 새로운 입력에 적용합니다.

• 예시
  • This is awesome! // Negative
    This is bad! // Positive
    Wow that movie was rad! // Positive
    What a horrible show! //

메모) 말로 하는 게 복잡하고 어려울 때 예시를 사용합니다. 백문이 불여일견이라는 말처럼 예시를 드는 게 더 좋을 때가 있습니다. 

CoT 프롬프팅은 대규모 언어 모델(LLM)이 복잡한 추론 작업을 수행할 때, 중간 추론 단계를 프롬프트에 명시적으로 포함시키는 기법입니다. 즉, LLM에게 문제 해결 과정을 단계별로 생각하도록 유도하여 최종 답변의 정확도를 높이는 방법입니다. “Let’s think step by step” 와 같은 문구를 추가하는 것만으로도 CoT 프롬프팅을 구현할 수 있습니다.

CoT 프롬프팅은 LLM이 단순히 패턴 매칭을 넘어 논리적 추론을 수행하도록 유도하여 복잡한 문제에 대한 정확한 답변을 도출할 수 있도록 돕습니다. 기존의 퓨샷 프롬프팅으로는 해결하기 어려웠던 홀수/짝수 문제와 같은 추론 문제에서 CoT 프롬프팅은 괄목할 만한 성능 향상을 보여줍니다.

CoT 프롬프팅은 LLM이 답변을 도출하는 과정을 단계별로 보여주기 때문에, 답변의 근거와 논리를 파악하기 용이합니다. 이를 통해 LLM의 추론 과정을 이해하고, 오류 발생 시 원인을 분석하여 개선하는 데 도움이 됩니다.

CoT 프롬프팅은 퓨샷 프롬프팅과 결합하여 사용될 수 있으며, 적은 수의 예시만으로도 효과를 볼 수 있습니다. 이는 데이터 수집 및 가공에 드는 비용과 시간을 절약할 수 있다는 장점을 제공합니다. 심지어 제로샷 CoT 프롬프팅처럼 예시 없이도 “Let’s think step by step”와 같은 프롬프트를 추가하는 것만으로도 효과를 볼 수 있습니다.

CoT 프롬프팅은 산술, 상식 추론, 기호 추론 등 다양한 유형의 복잡한 추론 작업에 적용될 수 있습니다. 이는 CoT 프롬프팅의 범용성과 활용 가능성을 높여줍니다.

메모) 생성형 AI에서는 안 되면 이것 저것 해 보는게 중요합니다. 특정 규모 이상의 대형 언어 모델에서는 “emergent ability”가 나타납니다. “Emergent ability”는 특정 규모 이하의 모델에서는 관찰되지 않다가, 모델의 크기가 특정 임계점을 넘어서면 갑자기 나타나는 능력을 의미합니다. 즉, 단순히 모델의 크기에 비례하여 성능이 향상되는 것이 아니라, 특정 규모 이상이 되어야만 발현되는 새로운 능력입니다. CoT 프롬프팅의 경우, 소규모 언어 모델에서는 “Let’s think step by step” 와 같은 프롬프트를 추가해도 중간 추론 단계를 생성하거나 답변의 정확도가 향상되는 효과가 미미합니다. 하지만, 특정 규모 이상의 대형 언어 모델에서는 이러한 프롬프트가 매우 효과적으로 작용하여, 모델이 스스로 추론 단계를 생성하고 더 정확한 답변을 제시하는 emergent ability를 보여줍니다.

이러한 emergent ability는 대형 언어 모델의 숨겨진 잠재력을 보여주는 중요한 현상입니다. 아직 정확한 메커니즘은 완전히 밝혀지지 않았지만, 모델의 크기가 증가함에 따라 새로운 능력이 나타날 수 있다는 점을 시사하며, 더 큰 규모의 모델 개발에 대한 동기를 부여합니다.

CoT 프롬프팅은 LLM의 추론 능력을 향상시키는 효과적인 기법으로 알려져 있습니다. 그러나 CoT 프롬프팅을 적용하기 위해서는 각 문제에 대한 추론 단계를 직접 작성해야 하는데, 이는 상당한 시간과 노력이 필요한 작업입니다. 특히 다양한 문제에 대해 효과적인 CoT 프롬프트를 생성하는 것은 매우 어려울 수 있습니다. Auto-CoT는 이러한 수동 CoT 프롬프트 생성의 한계를 극복하고 자동화된 방식으로 효율적인 CoT 프롬프트를 생성하기 위해 등장했습니다.

Auto-CoT는 크게 두 단계로 작동합니다.

1. 질문 클러스터링 (Question Clustering)
   •  주어진 데이터셋의 질문들을 유사한 질문끼리 그룹화하는 단계입니다. 이는 다양한 유형의 질문을 포괄적으로 다루는 데모를 생성하기 위한 기반이 됩니다. 클러스터링을 통해 각 클러스터는 특정 유형의 추론 패턴을 나타내게 됩니다.
2. 데모 샘플링 (Demonstration Sampling)
   1. 각 클러스터에서 대표 질문을 선택하고, 선택된 질문에 대해 제로샷 CoT 프롬프팅 (e.g., “Let’s think step by step”)을 사용하여 추론 체인을 생성하는 단계입니다. 이렇게 생성된 추론 체인은 퓨샷 프롬프팅에서 데모로 사용됩니다. 대표 질문을 선택할 때는 질문의 길이나 추론 단계의 수 등의 휴리스틱을 사용하여 간단하고 정확한 데모를 생성하도록 유도합니다.

질문 클러스터링을 통해 다양한 유형의 질문을 포괄하는 데모를 생성하여 모델의 일반화 능력 향상에 기여합니다.  수동으로 CoT 프롬프트를 생성하는 데 드는 시간과 노력을 절약하고 효율성을 높입니다. 다양한 데모를 통해 생성된 추론 체인의 오류 가능성을 줄이고, 더욱 안정적인 성능을 확보합니다.

• 1단계: 질문 클러스터링 (Question Clustering)
  • Auto-CoT는 먼저 다양한 질문들을 유사한 것끼리 그룹화하는 클러스터링 과정을 거칩니다. 이를 통해 서로 다른 추론 패턴을 가진 질문들을 구분하고, 각 패턴을 대표하는 질문들을 추출할 수 있습니다.
  • 예시
    • 다음과 같은 질문들이 있다고 가정해 보겠습니다.질문 1: 사과 5개와 배 3개를 가지고 있습니다. 사과 2개를 먹으면 과일이 몇 개 남을까요?
      질문 2: 연필 10자루에서 3자루를 친구에게 주고, 2자루를 잃어버렸습니다. 연필이 몇 자루 남았을까요?
      질문 3: 자동차가 시속 60km로 2시간 동안 달렸습니다. 총 몇 km를 이동했을까요?
      질문 4: 기차가 시속 100km로 3시간 동안 달렸습니다. 총 몇 km를 이동했을까요?
    • 이 질문들을 클러스터링하면 다음과 같이 두 개의 클러스터로 나눌 수 있습니다.
      • 클러스터 1 (덧셈/뺄셈): 질문 1, 질문 2
        클러스터 2 (곱셈): 질문 3, 질문 4
• 2단계: 데모 샘플링 (Demonstration Sampling)
  • 클러스터링이 완료되면, 각 클러스터에서 대표 질문을 하나씩 선택합니다. 그리고 선택된 질문에 대해 제로샷 CoT 프롬프팅을 적용하여 추론 체인을 생성합니다. 이때 “Let’s think step by step”와 같은 프롬프트를 사용하여 LLM이 스스로 추론 과정을 생성하도록 유도합니다.
  • 예시
    • 클러스터 1 대표 질문: 사과 5개와 배 3개를 가지고 있습니다. 사과 2개를 먹으면 과일이 몇 개 남을까요?
    • 제로샷 CoT 프롬프팅 적용: 사과 5개와 배 3개를 가지고 있습니다. 사과 2개를 먹으면 과일이 몇 개 남을까요? Let’s think step by step.
    • LLM 생성 답변: 사과 5개와 배 3개를 합하면 총 8개의 과일이 있습니다. 사과 2개를 먹으면 8 – 2 = 6개의 과일이 남습니다.
    • 클러스터 2 대표 질문: 자동차가 시속 60km로 2시간 동안 달렸습니다. 총 몇 km를 이동했을까요?
    • 제로샷 CoT 프롬프팅 적용: 자동차가 시속 60km로 2시간 동안 달렸습니다. 총 몇 km를 이동했을까요? Let’s think step by step.
    • LLM 생성 답변: 시속 60km로 2시간 동안 달렸으므로, 총 이동 거리는 60 * 2 = 120km 입니다.

1단계: 질문 클러스터링

제공해주신 질문들을 유사한 유형끼리 그룹화합니다.

• 클러스터 1 (덧셈/뺄셈): 질문 1, 질문 2 (사과/배, 연필 개수 계산)
• 클러스터 2 (곱셈): 질문 3, 질문 4 (자동차/기차 이동 거리 계산)

2단계: 데모 샘플링 및 제로샷 CoT 적용

각 클러스터에서 대표 질문을 선택하고 제로샷 CoT 프롬프팅을 적용하여 추론 체인을 생성합니다.

• • 클러스터 1 대표 질문 (질문 1): 사과 5개와 배 3개를 가지고 있습니다. 사과 2개를 먹으면 과일이 몇 개 남을까요?
  • 제로샷 CoT 프롬프트: 사과 5개와 배 3개를 가지고 있습니다. 사과 2개를 먹으면 과일이 몇 개 남을까요? Let’s think step by step.

• LLM 생성 답변 (추론 체인): 먼저 사과 5개와 배 3개를 합쳐 총 8개의 과일이 있습니다. 그다음 사과 2개를 먹었으므로 8개에서 2개를 빼면 6개의 과일이 남습니다. 따라서 답은 6개입니다.
• 클러스터 2 대표 질문 (질문 3): 자동차가 시속 60km로 2시간 동안 달렸습니다. 총 몇 km를 이동했을까요?
• 제로샷 CoT 프롬프트: 자동차가 시속 60km로 2시간 동안 달렸습니다. 총 몇 km를 이동했을까요? Let’s think step by step.
• LLM 생성 답변 (추론 체인): 자동차는 시속 60km의 속력으로 2시간 동안 달렸습니다. 이동 거리는 속력 곱하기 시간이므로 60km/h * 2h = 120km입니다. 따라서 답은 120km입니다.

3단계: 퓨샷 프롬프팅 구성 및 나머지 질문 해결

생성된 추론 체인을 데모로 사용하여 퓨샷 프롬프팅을 구성하고 나머지 질문(질문 2, 질문 4)을 해결합니다.

• 질문 2: 연필 10자루에서 3자루를 친구에게 주고, 2자루를 잃어버렸습니다. 연필이 몇 자루 남았을까요?
• 퓨샷 프롬프트:

• LLM 예상 답변: 먼저 연필 10자루에서 친구에게 3자루를 주었으므로 10 – 3 = 7자루가 남았습니다. 그다음 2자루를 잃어버렸으므로 7 – 2 = 5자루가 남았습니다. 따라서 답은 5자루입니다.
• 질문 4: 기차가 시속 100km로 3시간 동안 달렸습니다. 총 몇 km를 이동했을까요?
• 퓨샷 프롬프트:

• LLM 예상 답변: 기차는 시속 100km의 속력으로 3시간 동안 달렸습니다. 이동 거리는 속력 곱하기 시간이므로 100km/h * 3h = 300km입니다. 따라서 답은 300km입니다.

• 메타 프롬프팅은 LLM과의 상호작용에서 내용보다는 구조와 문법에 중점을 두는 효율적이고 범용적인 프롬프팅 기법입니다. 추상적인 접근 방식을 통해 다양한 문제에 대한 구조화된 해결책을 제시할 수 있도록 LLM을 유도합니다.
• Few-Shot Prompting은 구체적인 예시를 통해 LLM이 패턴을 학습하도록 유도하는 반면, Meta Prompting은 추상적인 구조를 제시하여 LLM이 더 일반적인 패턴을 학습하고 다양한 상황에 적용하도록 유도합니다. Meta Prompting은 더 적은 토큰을 사용하며, 새로운 상황에 대한 일반화 능력을 향상시킬 수 있습니

1. 수학 문제 풀이 (Meta Prompting)
   1. 문제 유형: 두 수의 합을 구하는 문제
   2. 메타 프롬프트: “두 개의 숫자 {{숫자1}}와 {{숫자2}}가 주어졌을 때, 두 수의 합을 구하는 공식은 {{숫자1}} + {{숫자2}} = {{결과}} 입니다.”
      • 이 메타 프롬프트는 특정 숫자에 국한되지 않고, 어떤 두 수가 주어지든 합을 구하는 일반적인 구조를 제공합니다. LLM은 이 구조를 학습하여 다양한 숫자에 대해 합을 계산할 수 있습니다.
2. 이야기 생성 (Meta Prompting)
   1. 주제: 주인공이 역경을 극복하는 이야기
   2. 메타 프롬프트: “주인공 {{주인공 이름}}은 {{목표}}를 달성하고 싶어합니다. 하지만 {{장애물}} 때문에 어려움을 겪습니다. {{주인공 이름}}은 {{해결 방법}}을 통해 {{장애물}}을 극복하고 결국 {{목표}}를 달성합니다.”
      • 이 메타 프롬프트는 특정 이야기 내용 없이도 “역경 극복”이라는 이야기 구조를 제공합니다. LLM은 이 구조를 활용하여 다양한 주인공, 목표, 장애물, 해결 방법으로 새로운 이야기를 생성할 수 있습니다.
3. 코드 생성 (Meta Prompting)
   1. 작업: 리스트에서 특정 값을 찾는 함수 생성
   2. 메타 프롬프트: “함수 find_value(list, value)는 리스트 list에서 값 value를 찾아 그 인덱스를 반환합니다. 만약 value가 리스트에 없다면 -1을 반환합니다. 함수의 구조는 다음과 같습니다:python
def find_value(list, value):
for i, item in enumerate(list):
if item == value:
return i
return -1
”
      • 이 메타 프롬프트는 특정 값이나 리스트에 국한되지 않고, 리스트에서 값을 찾는 함수의 일반적인 구조를 제공합니다. LLM은 이 구조를 이해하고 다양한 리스트와 값에 대해 동작하는 함수를 생성할 수 있습니다.

• 예시
  • “내가 6살 때 내 여동생은 내 나이의 절반이었다. 지금 나는 70살인데 내 여동생은 몇 살인가?”라는 질문에 대한 초기 답변은 35세로, 오답입니다. Self-Consistency 기법 적용을 위해 Wang et al. 2022 (Table 17)의 few-shot 예시들을 사용했습니다. 이를 통해 세 가지 다른 출력을 얻었습니다:
    • 출력 1: 67세 (여동생 나이 = 70 – 3)
      출력 2: 67세 (여동생 나이 = 70 – 3)
      출력 3: 35세 (여동생 나이 = 70 / 2)
      • 출력 1과 2는 동일한 추론과 답을 제시하며, 출력 3은 다른 추론으로 오답을 제시합니다. Self-Consistency 기법은 다수의 답변 (67세)을 최종 답안으로 선택함으로써 정확도를 높입니다.
• CoT는 단일 추론 경로에 의존하여 오류 발생 가능성이 높지만, Self-Consistency는 다양한 추론 경로를 통해 오류를 줄입니다.
• 일관된 답변을 선택함으로써, 특히 산술 및 상식 추론 문제에서 정확도가 향상됩니다.
• 복잡한 알고리즘 없이, 다수결 방식으로 최종 답변을 선택하는 간결한 방법입니다.
• 단순 다수결 외에 더 정교한 일관성 측정 방법이 필요할 수 있습니다. 특히 답변의 분포가 고르거나, 추론 과정이 복잡한 경우 다수결만으로는 최적의 답을 선택하기 어려울 수 있습니다.
• 학습 데이터의 편향이 반영된 여러 개의 잘못된 추론이 생성될 경우, 다수결에 의해 오답이 선택될 가능성도 존재합니다.

결론적으로, Self-Consistency는 CoT의 약점을 보완하는 유용한 기법이지만, 계산 비용 및 일관성 측정 방법 개선 등의 과제가 남아있습니다. 더 정교한 일관성 평가 방법 및 효율적인 샘플링 전략 개발을 통해 Self-Consistency 기법의 성능을 더욱 향상시킬 수 있을 것으로 예상됩니다.

GENKNOW 기법은 LLM이 사전 지식을 생성하여 질문에 대한 답변의 정확도를 높이는 방법입니다.

• GENKNOW는 LLM이 부족한 실제 지식을 질문에 답하기 전에 생성함으로써 문제를 직접적으로 해결합니다. 이는 답변 정확도 향상에 기여합니다.
• 맥락과 사실 정보를 제공함으로써 LLM이 정답에 도달할 확률이 높아집니다.
• “설명과 답변” 형식은 LLM의 답변 생성 과정을 보여줌으로써 투명성을 높입니다.
• 생성된 지식의 품질은 일관적이지 않을 수 있습니다.
• 생성된 지식이 질문과 중복되거나 무관한 경우 LLM에 혼란을 야기할 수 있습니다.
• 지식 생성을 위한 더 구체적이고 목표 지향적인 프롬프트는 지식 조각의 관련성과 정확성을 향상시킬 수 있습니다.
• 여러 개의 생성된 지식 조각이나 외부 지식 베이스의 정보를 결합하면 더 포괄적인 이해와 더 나은 최종 답변을 얻을 수 있습니다.
• LLM에 최종 답변을 제공하기 전에 생성된 지식의 품질과 관련성을 평가하는 메커니즘을 구현하여 부정확하거나 오해의 소지가 있는 정보를 걸러낼 수 있습니다. 이를 위해 다른 LLM이나 별도의 점수 시스템을 사용할 수 있습니다.
• 피드백이나 추가 분석을 기반으로 LLM이 지식 생성을 개선하는 반복적인 프로세스는 점진적으로 더 정확하고 관련성 있는 지식을 생성할 수 있게 합니다.
• 지식 계층화
• 표면적 지식(단순 정보 나열) → 심층 지식(다각도 접근 가능) → 통합적 지식
• 각 단계에서 점진적 지식 확장
• 멀티스텝 추론 접근
  • 초기 지식 검색
  • 컨텍스트 분석
  • 가설 생성
  • 지식 통합
  • 최종 결론 도출
• 지식의 동적 생성
  • 정적 지식 → 상황별 적응적 지식
  • 컨텍스트 민감성 향상
• 추론의 투명성
  • 각 단계별 사고 과정 노출
  • 결론에 대한 근거 제시
• 고려사항
  • 명확하고 구조화된 프롬프트 설계
  • 각 단계별 세부 지침 제공
  • 모델의 지식 한계 인식
  • 결과의 비판적 검토 필요

예시

• 시나리오: 기후 변화 분석
• 일반 프롬프트
  • 기후 변화의 원인과 영향을 설명하세요.
• GENKNOW 프롬프트
  • 기후 변화 분석을 다음 단계로 수행하세요:1. 기존 과학적 지식 요약
    – 주요 온실가스 식별
    – 역사적 기후 변화 패턴2. 현재 데이터 컨텍스트 분석
    – 최근 10년간 글로벌 온도 변화
    – 극端 기후 현상 증가 추이3. 인과관계 추론
    – 인간 활동과 기후 변화 연관성
    – 산업화의 장기적 영향4. 미래 시나리오 예측
    – 다양한 기후 모델 통합
    – 잠재적 사회경제적 영향5. 종합적 통찰 도출
    – 다차원적 관점에서의 결론
    – 불확실성 인정 및 설명

• 구조화 기본 요소
  • 명확성: 각 단계의 목적이 분명해야 함
  • 논리성: 단계 간 자연스러운 흐름 유지
  • 점진성: 복잡성을 점진적으로 증가
  • 독립성: 각 단계는 고유한 기능 보유

2. 단계 구성 전략

• 공통 구조 프레임워크
  • 준비 단계: 컨텍스트 및 목표 설정
  • 분석 단계: 정보 수집 및 평가
  • 탐색 단계: 대안 및 가능성 모색
  • 종합 단계: 최종 결론 및 실행 방안 도출

3. 단계별 설계 세부 기술

• 각 단계의 핵심 질문
  • Why: 이 단계가 필요한 이유
  • What: 이 단계에서 달성해야 할 핵심 목표
  • How: 목표 달성을 위한 구체적 방법론

4. 단계 세분화 기법

• 상세화 접근법
  • 수직적 세분화
    • 큰 단계를 더 작은 하위 단계로 분해
    • 복잡성 관리 및 세부 통제 가능
  • 수평적 확장
    • 각 단계의 깊이 있는 탐색
    • 다각도 접근을 통한 comprehensive 분석

5. 효과적인 단계 연결 방법

• 연결성 확보 전략
  • 논리적 전환: 각 단계 사이 명확한 연결고리 제공
  • 피드백 루프: 이전 단계로 되돌아가 재검토 가능한 구조
  • 반복성: 필요시 단계 재순환 메커니즘 설계

6. 단계 구성 시 주의사항

• 잠재적 함정 회피
  • 과도한 복잡성 방지
  • 불필요한 단계 제거
  • 유연성 확보
  • 목적 지향적 설계

7. 실제 적용 예시[문제 해결 단계 프레임워크]

1. 문제 정의 단계
– 현상 관찰
– 근본 원인 분석
– 문제 범위 설정

2. 데이터 수집 단계
– 관련 정보 확보
– 데이터 검증
– 정보의 신뢰성 평가

3. 해결안 개발 단계
– 다양한 대안 모색
– 각 대안의 장단점 분석
– 최적 해결안 선정 기준 수립

4. 실행 전략 수립 단계
– 구체적 실행 계획 설계
– 자원 할당
– 리스크 관리 방안

5. 모니터링 및 피드백 단계
– 진행 상황 추적
– 성과 측정
– 지속적 개선 메커니즘

8. 고급 단계 구성 팁

• 창의적 접근
  • 비선형적 사고: 때로는 단계의 순서 파괴
  • 메타인지: 전체 프로세스에 대한 지속적 성찰
  • 적응성: 상황에 따른 동적 조정

9. 단계 구성의 최종 목표

• 궁극적 지향점
  • 복잡성 관리
  • 명확한 의사결정 지원
  • 체계적이고 효율적인 문제 해결

이러한 노하우를 바탕으로 상황과 목적에 맞는 최적의 단계를 설계할 수 있습니다.

프롬프트 체이닝은 복잡한 작업을 여러 개의 순차적이고 연결된 프롬프트로 분해하여 해결합니다.

1. 문서 QA를 위한 프롬프트 체이닝 활용 예시:
   • 프롬프트 1: 문서에서 질문과 관련된 구절 추출. {{document}} 자리 표시자에 문서 내용을 입력.
   • 프롬프트 2: 프롬프트 1에서 추출된 구절과 원본 문서를 기반으로 질문에 대한 답변 생성. 답변의 정확성, 친절한 어조, 도움이 되는 내용을 강조.
2. 제공된 예시에서는 프롬프트 체이닝을 통해 문서에서 질문 관련 구절을 추출하고, 추출된 구절을 바탕으로 질문에 대한 답변을 생성하는 과정을 보여줍니다. 추가적으로, 응답에서 인용 부호를 제거하는 등의 추가적인 프롬프트 체이닝을 통해 답변을 정제할 수 있음을 제시합니다.
3. 긴 맥락을 처리하는 LLM 모델 사용 권장
4. 핵심 특징
   • 점진적 문제 해결
     • 복잡한 작업을 작은 단위로 세분화
     • 각 단계별 집중적 접근
     • 최종 목표로의 점진적 진행
   • 모듈성
     • 각 프롬프트는 독립적 기능 수행
     • 단계별 재사용 및 조정 가능
     • 유연한 작업 흐름 설계
5. 작동 메커니즘
   • 단계별 프로세스
     • 전체 작업 분해
     • 각 단계 프롬프트 설계
     • 이전 단계 출력을 다음 단계 입력으로 활용
     • 최종 결과 통합
6. 실제 활용 예시
   시나리오: 비즈니스 전략 보고서 작성
   프롬프트 체이닝 워크플로우
   1. 산업 분석 단계
      • 현재 [산업명] 시장의 주요 트렌드와 성장 동인을 분석해주세요.
        – 핵심 성장 요인
        – 주요 경쟁자 현황
        – 시장 규모 및 전망
   2. 경쟁사 분석 단계
      • 이전 분석 결과를 바탕으로 상위 3개 경쟁사의 다음 항목을 상세히 조사하세요:
        – 비즈니스 모델
        – 강점과 약점
        – 최근 전략적 움직임
   3. SWOT 분석 단계
      • 앞선 두 단계 결과를 종합하여 우리 회사의 SWOT 분석을 수행하세요:
        – 내부 강점/약점
        – 외부 기회/위협
        – 각 요소에 대한 구체적 근거
   4. 전략 수립 단계
      • 분석 결과를 바탕으로 향후 3년간의 구체적인 비즈니스 전략을 제안하세요:
        – 단기/중기/장기 목표
        – 핵심 실행 전략
        – 예상되는 리스크와 대응 방안
   5. 최종 보고서 통합 단계
      • 이전 4개 단계의 분석 결과를 통합하여 전문적이고 체계적인 비즈니스 전략 보고서를 작성하요.
        – executive summary 포함
        – 데이터 기반 인사이트
        – 명확하고 설득력 있는 구조

ToT는 LLM의 문제 해결 능력을 향상시키는 유망한 프레임워크입니다. 중간 단계의 생각들을 생성하고 평가하는 능력, 그리고 탐색 알고리즘을 통해 복잡한 문제에 대한 해결 전략을 수립할 수 있습니다. 다양한 탐색 전략과 강화학습을 통해 ToT 시스템은 지속적으로 발전할 가능성을 가지고 있습니다.

• 복잡한 문제 해결에 있어 탐색과 전략적 예측을 가능하게 함.
• 문제 해결을 위한 중간 단계 역할을 하는 ‘생각(thoughts)’들의 트리를 구성하고 탐색. 각 생각은 일관된 언어 시퀀스로 표현됨.
• LLM이 중간 단계들을 스스로 평가하여 문제 해결 과정을 추론하고, 탐색 알고리즘(예: BFS, DFS)을 통해 체계적인 탐색 및 역추적 가능.
• 각 단계에서 여러 후보 생각 생성. LLM이 각 후보를 평가 (예: “확실/아마도/불가능”). 평가 결과에 따라 탐색을 진행 (예: BFS, DFS).
• 기본 원리
  • 문제 해결을 위한 다중 경로 탐색
  • 각 사고의 가능성을 트리 구조로 체계화
  • 동적 탐색 및 평가 메커니즘
• 작동 메커니즘
  • 문제를 중간 단계로 decompose
  • 각 단계에서 다양한 사고 경로 생성
  • 각 경로의 잠재력 평가
  • 가장 유망한 경로 선택적 탐색
• 핵심 구성 요소
  • 생성(Generate): 다양한 사고/해법 생성
  • 상태 평가(Value): 각 사고의 잠재력 측정
  • 탐색(Search): 최적 경로 선택
• ToT 핵심 전략
  • 다차원적 사고 접근
    • multiple paths 탐색
    • 각 경로의 잠재력 평가
    • 점진적 아이디어 정제
  • 평가 메커니즘
    • 객관적 평가 기준 설정
    • 정량적/정성적 분석 병행
    • 지속적인 아이디어 검증

1. Tree of Thoughts (ToT) 프롬프트 작성법
   1. 구조적 설계 원칙
   1. 프롬프트 구조화 핵심 요소
      • 명확한 목적 설정
      • 단계별 세분화
      • 평가 기준의 객관성
      • 유연성 확보
2. 효과적인 프롬프트 설계 전략
   1. 단계별 접근 방법
      1. 초기 탐색 단계
         • 광범위한 아이디어 생성
         • 다양성 확보
         • 제약 조건 최소화
      2. 평가 및 필터링 단계
         • 객관적 평가 기준 수립
         • 정량적/정성적 메트릭스 활용
         • 멀티 앵글 분석
      3. 심층 분석 단계
         • 유망 대안 집중 탐색
         • 세부적 실행 가능성 검증
         • 잠재적 리스크 식별
3. 프롬프트 작성 핵심 기술
   1. 효과적인 프롬프트 구성 요소
      • 명확한 컨텍스트 제공
      • 구체적인 평가 기준
      • 단계별 세부 지침
      • 제약 조건 명시
4. 평가 기준 설계
   1. 평가 메커니즘 개발
      • 객관성
        • 측정 가능한 지표
        • 정량적 평가 요소
      • 다차원적 분석
        • 기술적 타당성
        • 경제적 잠재력
        • 사회적 영향
        • 혁신성
5. 프롬프트 작성 템플릿
   1. [목표] 달성을 위한 Tree of Thoughts 접근법초기 탐색 단계:
      – 최소 [N]개, 최대 [M]개 아이디어 생성
      – 다음 기본 조건 준수:
      1. [조건 1]
      2. [조건 2]
      3. [조건 3]평가 기준:
      1. 혁신성 (0-10점)
      2. 실현 가능성 (0-10점)
      3. 잠재적 영향력 (0-10점)심층 분석 단계:
      – 상위 [X]개 아이디어 선택
      – 다음 항목 상세 분석:
      1. 기술적 구현 방안
      2. 잠재적 리스크
      3. 확장성
      4. 차별화 포인트최종 선정 기준:
      – 총합 점수 최고점
      – 다각도 검증 완료
6. 고급 프롬프트 기법
   1. 고려해야 할 고급 전략
      • 컨텍스트 풍부화
      • 제약 조건의 지능적 설계
      • 피드백 루프 통합
      • 학습 메커니즘 내재화
7. 주의사항
   1. 프롬프트 설계 시 피해야 할 함정
      • 과도한 제약
      • 모호한 평가 기준
      • 지나친 복잡성
      • 맥락 결여
8. 실제 적용 팁
   1. 프롬프트 최적화 전략
      • 점진적 정제
      • 다양한 변형 시도
      • 결과 지속 모니터링
      • 유연한 조정
9. 성공적인 ToT 프롬프트의 핵심 특징
   • 이상적인 프롬프트 체크리스트
     • 명확한 목표 설정
     • 다양성 보장
     • 객관적 평가 기준
     • 단계별 세부 지침
     • 유연한 탐색 메커니즘

실제 사례로 본 Tree of Thoughts (ToT) 프롬프트 적용

시나리오: 지속가능한 도시 교통 혁신 프로젝트

• 초기 탐색 단계 프롬프트
  • 목표: 대도시의 교통 혼잡과 탄소 배출을 획기적으로 감소시키는 혁신적인 솔루션 개발
  • 초기 아이디어 생성 가이드라인:
    • – 최소 5개, 최대 10개의 혁신적인 교통 솔루션 제안
    • – 다음 핵심 조건 만족:
      • 1. 탄소 배출 최소화
      • 2. 도시 인프라와 호환 가능
      • 3. 경제적 실현 가능성
      • 4. 사용자 편의성 고려
  • 제안할 솔루션의 초기 영역:
    • – 전기 모빌리티
    • – 스마트 대중교통
    • – 공유 경제 기반 교통
    • – 자율주행 기술
    • – 친환경 인프라 혁신
• 아이디어 평가 단계 프롬프트
  • 초기 생성된 교통 솔루션 평가
    • 평가 기준 (각 항목 0-10점):
      • 1. 혁신성
        • – 기존 솔루션과의 차별점
        • – 기술적 혁신 수준
      • 2. 실현 가능성
        • – 기술적 구현 가능성
        • – 초기 투자 대비 효율성
        • – 규제 및 법적 장애물
      • 3. 환경적 영향
        • – 탄소 배출 감소 잠재력
        • – 지속가능성
        • – 생태계 긍정적 영향
      • 4. 경제성
        • – 장기적 수익 모델
        • – 운영 비용
        • – 확장 가능성
      • 상위 3개 아이디어 선정 및 상세 분석 준비
• 심층 분석 단계 프롬프트
  • 상위 3개 교통 솔루션 심층 분석
    • 상세 분석 항목:
      • 1. 기술적 구현 방안
        • – 필요 기술 스택
        • – 기술적 혁신 포인트
        • – 프로토타입 개발 로드맵
      • 2. 잠재적 리스크 분석
        • – 기술적 리스크
        • – 시장 수용성 리스크
        • – 규제 및 법적 리스크
        • – 재정적 리스크
      • 3. 확장성 검토
        • – 다른 도시/지역 적용 가능성
        • – 글로벌 스케일링 전략
        • – 장기 성장 시나리오
      • 4. 차별화 포인트
        • – 경쟁 솔루션 대비 장점
        • – 독창적 접근 방식
        • – 사용자 가치 제안
• 최종 선정 및 실행 계획 프롬프트
  • 최종 선정 솔루션: 스마트 도시 자율주행 공유 전기 미니버스 시스템
    • 최종 실행 계획 수립:
      • 1. MVP(최소기능제품) 개발 로드맵
        • – 초기 프로토타입 개발 기간
        • – 기술 검증 단계
        • – 파일럿 테스트 계획
      • 2. 초기 투자 및 자금 조달 전략
        • – 예상 초기 투자 규모
        • – 잠재적 투자자/파트너
        • – 자금 조달 접근 방식
      • 3. 단계별 롤아웃 전략
        • – 초기 도입 도시 선정
        • – 단계별 확장 계획
        • – 성과 측정 지표
      • 4. 지속가능성 및 장기 비전
        • – 환경적 영향 측정
        • – 사회적 가치 창출
        • – 미래 기술 로드맵.

• 일반적인 언어 모델은 감정 분석, 개체명 인식과 같은 작업에는 효과적이지만, 추가적인 배경 지식이 필요한 복잡한 작업에는 한계를 보임.
• RAG는 외부 지식 소스를 활용하여 사실적 일관성, 신뢰성을 향상시키고, “환각(hallucination)” 문제를 완화하는 방법.
• RAG의 작동 방식
  • 입력을 받아 관련 문서를 검색 (예: Wikipedia).
  •  검색된 문서들을 원본 입력과 함께 텍스트 생성 모델에 입력.
  • 생성 모델은 입력과 문서 내용을 기반으로 최종 출력 생성.
• RAG의 장점
  • 사실적 일관성 및 신뢰성 향상: 외부 지식 소스 활용
  • 환각 현상 완화: 근거 없는 내용 생성 방지.
  • 적응성: 외부 지식 소스 업데이트를 통해 모델 재훈련 없이 최신 정보 반영 가능. LLM의 정적 지식 문제 해결.
  • 효율적인 수정: 전체 모델 재훈련 없이 지식 업데이트 가능.

1. 전문 지식 기반 질의응답:

• 질문: “2023년 노벨 물리학상 수상자의 연구 업적을 요약해줘.”
• RAG 적용 전: 일반적인 언어 모델은 2023년 노벨상 정보를 학습하지 못했을 가능성이 높아 부정확하거나 엉뚱한 답변을 할 수 있습니다.
• RAG 적용 후: RAG는 외부 문서(e.g., 위키피디아, 뉴스 기사)에서 2023년 노벨 물리학상 수상자 정보를 검색하고, 이를 바탕으로 정확한 답변을 생성합니다. 수상자 이름, 연구 분야, 업적을 요약하여 제공할 수 있습니다.

2. 특정 도메인 문서 요약:

• 요청: “내부 서버에 저장된 100페이지 분량의 ‘회사 개인정보보호 정책’ 문서를 핵심 내용만 요약해줘.”
• RAG 적용 전: 일반적인 언어 모델은 해당 문서에 접근 권한이 없으므로 요약할 수 없습니다.
• RAG 적용 후: RAG는 문서에 접근하여 내용을 분석하고, 중요한 조항 및 핵심 내용을 추출하여 요약본을 생성합니다.

3. 고객 지원 챗봇:

• 고객 질문: “A 제품의 환불 정책은 어떻게 되나요?”
• RAG 적용 전: 학습 데이터에 없는 특정 제품의 환불 정책에 대해서는 답변이 어렵습니다.
• RAG 적용 후: RAG는 회사 내부 데이터베이스(e.g., FAQ, 제품 매뉴얼)에서 A 제품의 환불 정책 정보를 검색하고, 고객에게 정확한 답변을 제공합니다.

4. 코드 생성:

• 요청: “Python으로 특정 API를 호출하는 코드를 작성해줘.”
• RAG 적용 전: API의 스펙이나 사용법을 모르면 정확한 코드 생성이 어렵습니다.
• RAG 적용 후: RAG는 API 문서를 검색하여 필요한 정보를 추출하고, 이를 바탕으로 정확한 Python 코드를 생성합니다.

핵심 요약:

RAG는 외부 정보를 활용하여 답변의 품질을 향상시키는 기법입니다. 위 예시처럼 전문 지식, 특정 문서, 내부 데이터베이스 등 다양한 소스를 활용하여 답변의 정확성, 신뢰도, 최신성을 확보할 수 있습니다. 이를 통해 언어 모델의 활용 범위를 넓히고 실질적인 문제 해결에 도움을 줄 수 있습니다.

ART는 작업 라이브러리에서 주어진 작업에 가장 가까운 데모를 선택합니다.  데모는 어떤 과정으로 어떤 도구를 사용해 작업을 수행했는지를 알려줍니다. ART는 데모 내용에 따라 주어진 작업을 수행합니다.

ART는 또한 확장 가능하며, 사람이 작업별 프로그램의 오류를 수정하거나 새로운 도구를 통합하여 성능을 쉽게 향상시킬 수 있도록 합니다. 최소한의 인간 개입으로 선택된 작업의 성능을 대폭 향상시켜 이를 입증합니다.

APE는 LLM을 활용하여 자동으로 프롬프트를 생성하고 최적화하는 프레임워크입니다. 블랙박스 최적화 방식을 사용하며, 특히 CoT 추론 능력 향상에 효과적임을 보여줍니다.

* 블랙박스 최적화(Black-box optimization)는 내부 작동 방식을 알지 못하는 시스템이나 함수의 출력을 최적화하는 기법입니다. 프롬프트 엔지니어링에서 블랙박스 최적화는 LLM의 내부 작동 방식을 완전히 이해하지 못하더라도, 입력(프롬프트)과 출력(LLM의 응답)의 관계를 관찰하고 분석하여 최적의 프롬프트를 찾는 데 사용됩니다.

1. APE 작동 방식
   • 후보 생성: Inference 모델(LLM)이 출력 데모를 기반으로 다양한 프롬프트 후보 생성.
   • 검색 및 평가: Target 모델을 통해 후보 프롬프트들을 실행하고 평가 점수 계산.
   • 선택: 가장 높은 평가 점수를 받은 프롬프트를 최적 프롬프트로 선택.
2. 주요 성과
   • 기존의 “Let’s think step by step”보다 효과적인 zero-shot CoT 프롬프트 발견.
   • “Let’s work this out in a step by step way to be sure we have the right answer.” 프롬프트를 통해 MultiArith, GSM8K 벤치마크에서 성능 향상 달성.

프롬프트 예시:

다음 과제를 가장 잘 수행하는 프롬프트를 생성해 주세요. 과제는 “[특정 과제 설명]”입니다.

다양한 프롬프트 변형을 최소 5개 이상 생성하고, 각 프롬프트에 대해 예상되는 출력과 그 이유를 설명해 주세요. 또한, 각 프롬프트의 장점과 단점을 비교 분석해 주세요. 마지막으로, 가장 효과적이라고 생각하는 프롬프트를 추천하고 그 이유를 설명해 주세요.

예시: “[특정 과제 설명]”이 “주어진 문장을 요약해 주세요.”인 경우:

다음 과제를 가장 잘 수행하는 프롬프트를 생성해 주세요. 과제는 “주어진 문장을 요약해 주세요.”입니다.

다양한 프롬프트 변형을 최소 5개 이상 생성하고, 각 프롬프트에 대해 예상되는 출력과 그 이유를 설명해 주세요. 또한, 각 프롬프트의 장점과 단점을 비교 분석해 주세요. 마지막으로, 가장 효과적이라고 생각하는 프롬프트를 추천하고 그 이유를 설명해 주세요.

LLM의 응답 예시 (일부):

• 프롬프트 1: “다음 문장을 요약하세요: [문장]”
• 예상 출력: [요약된 문장]
• 이유: 간결하고 직접적인 지시.
• 장점: 이해하기 쉽고 빠른 응답 생성.
• 단점: 요약의 길이나 스타일에 대한 제약 없음.
• 프롬프트 2: “다음 문장을 30단어 이내로 요약하세요: [문장]”
• 예상 출력: [30단어 이내로 요약된 문장]
• 이유: 요약 길이 제한 추가.
• 장점: 간결한 요약 생성.
• 단점: 내용 손실 가능성.
• … (다른 프롬프트 변형들) …
• 추천 프롬프트: 프롬프트 2
• 이유: 간결하면서도 핵심 내용을 잘 담고 있을 가능성이 높음.

한계점:

• 자동화 수준: APE처럼 완전 자동화된 최적화는 어려움. 사용자가 최종적으로 프롬프트를 선택하고 평가해야 함.
• 평가 기준: LLM이 생성한 평가는 주관적일 수 있으며, 객관적인 평가 지표를 사용하기 어려움.
• 확장성: 복잡한 작업이나 특정 도메인에 대한 프롬프트 최적화는 어려울 수 있음.

이 방법은 APE의 핵심 아이디어를 프롬프트 내에서 구현하는 간단한 접근 방식입니다. 하지만 한계점을 고려하여 적절하게 활용해야 합니다. 실제 APE 프레임워크는 더 정교한 알고리즘과 평가 메커니즘을 사용하여 프롬프트를 최적화합니다.

Active-Prompt는 불확실성이 높은 질문에 대해 사람의 피드백을 반영하여 CoT 프롬프트의 예시를 동적으로 개선하는 기법입니다.

1. Active-Prompt의 핵심 동작 방식

• 초기 질의: 소수의 CoT 예시 또는 예시 없이 LLM에 질의
• k개 답변 생성: 훈련 질문 세트에 대해 k개의 답변 생성
• 불확실성 측정: 생성된 k개 답변 간의 불일치를 기반으로 불확실성 측정
• 선택 및 주석: 불확실성이 가장 높은 질문들을 선택하여 사람이 CoT 추론 과정을 주석으로 추가
• 추론: 새롭게 주석이 추가된 예시를 사용하여 각 질문에 대해 추론

2. 기존 CoT 방법과의 차이점

• 고정된 예시 세트 문제 해결: 기존 CoT는 고정된 예시를 사용하지만, Active-Prompt는 작업별로 적응적으로 예시를 선택하고 개선
• 인간 참여: 사람의 주석을 통해 LLM의 추론 능력 향상
• 동적 학습: 불확실성 기반 학습으로 효율적인 성능 개선

3. 장점

• 향상된 성능: 작업별 최적의 예시를 사용하여 추론 성능 향상 기대
• 효율적인 학습: 불확실성이 높은 질문에 집중하여 효율적인 학습 가능
• 적응성: 다양한 작업에 적응적으로 적용 가능

4. 단점

• 인간의 노력 필요: 사람의 주석 작업이 필요하므로 추가적인 비용 발생
• 불확실성 측정의 어려움: 적절한 불확실성 측정 지표 선택 중요

1. 다양한 작업에 대한 적용성 부족: 특정 작업에 효과적인 예시 세트가 다른 작업에서는 효과가 없거나 오히려 성능을 저하시킬 수 있습니다. 예를 들어, 수학 문제 해결에 적합한 CoT 예시가 코드 생성에는 적합하지 않을 수 있습니다.
2. 최적의 예시 선택 어려움: 어떤 예시가 특정 작업에 가장 효과적인지 미리 알기 어렵습니다. 수많은 예시들을 테스트해야 최적의 예시 세트를 찾을 수 있지만, 이는 매우 비효율적입니다.
3. 새로운 작업에 대한 대응 어려움: 새로운 유형의 작업이 등장할 때마다 해당 작업에 적합한 예시 세트를 다시 만들어야 합니다. 이러한 수동적인 과정은 확장성이 떨어집니다.
4. 편향성 문제: 예시 세트에 편향이 존재하는 경우, LLM의 출력에도 편향이 반영될 수 있습니다. 예를 들어, 특정 인종이나 성별에 편향된 예시를 사용하면 LLM이 편향된 답변을 생성할 수 있습니다.
5. 데이터 부족: 일부 작업에서는 충분한 양의 고품질 예시 데이터를 구하기 어려울 수 있습니다. 특히 전문적인 지식이 필요한 분야에서는 예시 데이터 구축에 많은 비용과 시간이 소요될 수 있습니다.

Active-Prompt와 같은 기법은 이러한 고정된 예시 세트의 문제점을 해결하기 위해 등장했습니다. 불확실성을 기반으로 예시를 동적으로 선택하고 개선함으로써, 다양한 작업에 대한 적응성을 높이고 효율적인 학습을 가능하게 합니다.

Active-Prompt 적용 예시: 영화 리뷰 감정 분석

과제: 영화 리뷰를 읽고 긍정적인 리뷰인지 부정적인 리뷰인지 분류하는 모델을 학습시키고자 합니다.

1. 초기 단계:

• 훈련 데이터: 다양한 영화 리뷰(긍정/부정)로 구성된 훈련 데이터셋을 준비합니다.
• 초기 프롬프트: “다음 영화 리뷰의 감정을 분석하세요: [리뷰]” 와 같은 간단한 프롬프트와 함께 소수의 CoT 예시(감정 분석 추론 과정을 보여주는 예시)를 제공합니다.
• LLM 질의 및 답변 생성: LLM에 훈련 데이터셋의 리뷰들을 입력하고, 각 리뷰에 대해 긍정/부정 분류 답변을 k개 생성합니다 (예: k=3).

2. 불확실성 측정:

• 각 리뷰에 대해 생성된 k개의 답변 간의 불일치를 측정합니다. 예를 들어, 3개의 답변 중 2개가 “긍정”, 1개가 “부정”이라면 불확실성이 존재합니다. 불일치 정도가 높을수록 불확실성이 크다고 판단합니다.

3. 선택 및 주석:

• 불확실성이 가장 높은 리뷰들을 선택합니다.
• 선택된 리뷰들에 대해 사람이 직접 CoT 추론 과정을 주석으로 작성합니다. 예:
  • 리뷰: “이 영화는 정말 지루하고, 스토리도 엉망이었다. 시간 낭비였다.”
  • 주석 (CoT): “영화가 지루하고 스토리가 엉망이라고 언급되었으므로 부정적인 리뷰입니다. ‘시간 낭비’라는 표현 또한 부정적인 감정을 강조합니다. 따라서 이 리뷰는 부정적입니다.”

4. 추가 학습 및 평가:

• 새롭게 주석이 추가된 예시들을 기존 CoT 예시 세트에 추가합니다.
• 추가된 예시를 포함한 프롬프트를 사용하여 LLM을 다시 학습시키고 성능을 평가합니다.

5. 반복 (선택):

• 필요에 따라 2-4단계를 반복하여 더 많은 불확실한 리뷰에 대한 주석을 추가하고 모델을 개선할 수 있습니다.

Active-Prompt의 효과:

• 초기에는 LLM이 애매하게 분류했던 리뷰들에 대해 명확한 CoT 추론 과정을 학습하게 됩니다.
• 결과적으로 모델의 감정 분석 성능이 향상될 것으로 기대할 수 있습니다.

핵심: Active-Prompt는 LLM이 어려워하는 부분을 파악하고, 사람의 전문 지식을 활용하여 LLM의 학습을 효율적으로 돕는다는 점에서 큰 의미가 있습니다. 이를 통해 더 적은 데이터로도 높은 성능을 달성할 수 있습니다.

1. 다양한 프롬프트 변형 생성:

LLM에게 주어진 task에 대해 다양한 프롬프트 변형을 생성하도록 지시합니다. 이때, 변형된 프롬프트들이 어떤 부분에서 차이가 있는지 명시적으로 설명하도록 요구합니다.


다음 과제를 해결하기 위한 다양한 프롬프트를 생성해 주세요: "[과제 설명]"

각 프롬프트는 서로 다른 관점이나 전략을 사용해야 합니다. 최소 5개 이상의 프롬프트를 생성하고, 각 프롬프트의 차이점을 설명하세요.


2. LLM을 이용한 자체 평가 (선택적):

생성된 프롬프트 변형들을 사용하여 LLM이 자체적으로 평가를 수행하도록 할 수 있습니다. 각 프롬프트에 대한 예상 답변, 장점, 단점 등을 LLM이 스스로 분석하도록 유도합니다.


이전 단계에서 생성한 각 프롬프트에 대해 다음 정보를 제공해 주세요:
* 예상 답변: 프롬프트를 사용했을 때 예상되는 답변의 형태와 내용
* 장점: 해당 프롬프트의 장점
* 단점: 해당 프롬프트의 단점


3. 사람의 검토 및 선택:

LLM이 생성한 프롬프트 변형과 자체 평가 결과를 검토합니다. 가장 적합하다고 판단되는 프롬프트를 선택하고, 필요에 따라 수정합니다. LLM의 자체 평가가 부정확하거나 불충분한 경우, 사람이 직접 평가하고 선택해야 합니다.

4. 선택된 프롬프트를 사용하여 답변 생성:

선택된 프롬프트를 사용하여 LLM으로부터 최종 답변을 얻습니다.

5. 반복 (선택적):

LLM의 답변이 만족스럽지 않은 경우, 1-4단계를 반복하여 프롬프트를 개선할 수 있습니다. 이전 단계에서 얻은 정보를 바탕으로 새로운 프롬프트 변형을 생성하고 평가합니다.

Li et al., (2023)(opens in a new tab) proposes a new prompting technique to better guide the LLM in generating the desired summary.

1.DSP의 작동 방식

• 정책 LM: 튜닝 가능한 정책 LM이 자극/힌트 생성
• 블랙박스 LLM: 고정된 블랙박스 LLM이 힌트를 기반으로 요약 생성
• 강화 학습: 정책 LM은 강화 학습을 통해 최적의 힌트 생성 방법 학습

2. DSP와 표준 프롬프팅의 비교

• 표준 프롬프팅: 사람이 직접 작성한 프롬프트 사용
• DSP: 정책 LM이 생성한 힌트를 추가하여 LLM 안내

3. 장점

• 요약 품질 향상: LLM에게 명확한 방향 제시
• 효율적인 최적화: 작은 규모의 정책 LM 사용으로 계산 비용 절감
• 적응성: 다양한 요약 작업에 적용 가능.

4. 핵심 기술:

• 강화 학습: 정책 LM 학습에 강화 학습 활용
• 튜닝 가능한 정책 LM: 작업에 따라 정책 LM 조정 가능

### Key Insights

* **프롬프트 엔지니어링 자동화:** DSP는 프롬프트 생성 과정을 자동화하는 방법론 제시.
* **강화 학습의 활용:** LLM 최적화를 위한 강화 학습 활용 증가 추세.
* **모듈화된 프롬프팅:** 힌트 생성과 요약 생성을 분리하여 효율성과 유연성 향상.

### Recommendations

* **다양한 태스크에 대한 적용 및 평가:** DSP를 다양한 요약 및 기타 자연어 생성 작업에 적용하여 성능 검증.
* **정책 LM의 크기 및 구조 최적화 연구:** 더 효율적인 정책 LM 설계 방안 연구.
* **강화 학습 알고리즘 개선:** 정책 LM 학습에 사용되는 강화 학습 알고리즘 개선 연구.
* **사람의 피드백 통합:** 사람의 피드백을 통합하여 정책 LM의 성능 향상.

탐색적 프롬프트

당신은 창의적인 문제 해결사입니다. 다음 문제를 해결하기 위해 최대한 다양한 관점에서 접근해주세요: [문제 설명]

• 비전통적인 해결책 제안
• 각 접근법의 장단점 분석
• 가장 혁신적인 솔루션 선택 근거 설명

제약 기반 프롬프트

다음 제약 조건을 모두 만족하는 솔루션을 설계하세요:

• 리소스 제한
• 기술적 제약
• 시간/비용 제약
• 윤리적 고려사항

각 제약 조건이 솔루션에 미치는 영향을 상세히 설명해주세요.

다중 관점 프롬프트

[주제/문제]에 대해 다음 5가지 다른 전문가 관점에서 분석해주세요:

1. 경제학자
2. 심리학자
3. 기술 혁신가
4. 사회학자
5. 환경 전문가

각 관점에서 고유한 통찰과 해결 접근법을 제시하세요.

시나리오 기반 프롬프트

다음 가상 시나리오를 분석하고 최적의 대응 전략을 개발하세요:

• 초기 상황
• 잠재적 변수/위험 요소
• 단계별 의사결정 프로세스
• 예상치 못한 상황에 대한 대비책

확장/수렴 프롬프트

[주제]에 대해:

1. 가능한 모든 아이디어/접근법 발산적으로 나열
2. 각 아이디어를 엄격한 기준으로 평가
3. 최종 3개 최고의 솔루션 수렴
4. 선정 근거를 상세히 문서화 이러한 프롬프트들은 AI의 사고 과정을 구조화하고 더 깊이 있고 다각도로 문제에 접근하도록 유도합니다.