My AI Smarteasy의 코파일럿 AI 에이전트로 프롬프트 작성하는 “프롬프트 (텍스트)”가 있는데 이 친구에게 무엇을 하려고 하는지를 이야기하면 프롬프트를 작성해 줍니다. 더 대화해감에 따라 더 좋은 프롬프트로 개선해 가게되죠.

프롬프트 (텍스트)를 선택하고 다음과 같이 요청했습니다.

환각을 식별하는 프롬프트를 작성해주세요.

그리고 몇 번 더 대화하고 다음과 같이 프롬프트를 완성했습니다.

당신은 주어진 ‘원본 텍스트’를 기준으로 ‘생성된 텍스트’의 사실 여부를 검증하는 AI 분석가입니다.당신의 임무는 ‘생성된 텍스트’에 포함된 모든 주장을 ‘원본 텍스트’와 면밀히 비교하여, ‘원본 텍스트’에서 직접적으로 명시하거나 뒷받침하지 않는 정보를 찾아내는 것입니다. 이러한 정보를 ‘환각(hallucination)’ 또는 ‘근거 없는 정보’로 간주합니다.아래 지침에 따라 분석을 수행하고 결과를 보고해주세요.

====== 원본 텍스트 (Ground Truth) ======

[여기에 사실의 기준이 되는 원본 텍스트를 입력하세요.]

====== 분석할 생성된 텍스트 ======

[여기에 환각 여부를 검증할 텍스트를 입력하세요.]

====== 분석 작업 및 보고 형식 ======

‘생성된 텍스트’를 문장 또는 주장 단위로 분석합니다.
각 주장이 ‘원본 텍스트’에 명확하게 근거하고 있는지 확인합니다.
‘원본 텍스트’에 포함되지 않은 정보를 찾아 목록으로 만드세요.
각 항목에 대해 왜 그것이 근거 없는 정보인지 간략하게 설명해주세요. (예: ‘원본에 없는 수치를 추가함’, ‘사실을 바탕으로 한 추론이지만, 명시된 사실은 아님’, ‘완전히 새로운 정보를 추가함’)
만약 환각이나 근거 없는 정보가 없다면, ‘모든 정보는 원본 텍스트에 근거하고 있습니다.’라고 명확히 응답해주세요.
[중요] 분석은 반드시 제공된 ‘원본 텍스트’에만 의존해야 합니다. 외부 지식을 사용하지 마세요.

적용 예시)

다음 내용으로 템플릿 부분을 작성합니다.

====== 원본 텍스트 (Ground Truth) ======20세 여성
거식증 및 우울증 병력 있음
혈압 100/50, 맥박 50, 키 5’5’’
영양사에 의해 의뢰되었으나 자신의 병을 부인함
식사를 잘하고 있다고 보고하지만 심각한 저체중 상태임
====== 분석할 생성된 텍스트 ======20세 여성 환자는 거식증 및 우울증 병력이 있으며, 섭식 장애에 대한 평가 및 관리를 위해 영양사에 의해 의뢰되었습니다. 그녀는 자신의 식습관이나 신체 이미지에 아무런 문제가 없다고 부인하며 정상적으로 식사한다고 주장합니다. 하지만, 그녀는 키에 비해 심각한 저체중(BMI 16.6)이며 저혈압(100/50) 및 서맥(맥박 50)과 같은 영양실조의 징후를 보입니다. 그녀는 또한 우울하고 희망이 없다고 보고합니다. 그녀는 심장 부정맥, 전해질 불균형, 골다공증, 불임과 같은 심각한 의학적 합병증의 위험에 처해 있습니다. 그녀는 거식증과 우울증을 해결하기 위해 긴급한 정신과적, 의학적 개입이 필요합니다.

이 프롬프트의 실행 결과는 다음과 같습니다.

다음은 ‘생성된 텍스트’에서 발견된 ‘원본 텍스트’에 근거하지 않은 정보 목록입니다.

섭식 장애에 대한 평가 및 관리를 위해 (의뢰되었습니다): ‘영양사에 의해 의뢰되었다’는 사실을 바탕으로 한 추론이지만, 원본 텍스트에는 의뢰의 구체적인 목적(평가 및 관리)이 명시되어 있지 않습니다.
자신의 식습관이나 신체 이미지에 아무런 문제가 없다고 (부인하며): 원본의 ‘자신의 병을 부인함’이라는 내용을 구체화한 해석입니다. 원본에 명시된 사실은 아닙니다.
BMI 16.6: 원본에 없는 구체적인 수치를 추가했습니다.
영양실조의 징후를 보입니다: 저체중, 저혈압, 서맥 등의 사실을 바탕으로 한 의학적 소견이지만, 원본 텍스트에 ‘영양실조’라는 직접적인 언급은 없습니다.
그녀는 또한 우울하고 희망이 없다고 보고합니다: 원본에는 ‘우울증 병력’만 언급되었을 뿐, 현재 ‘우울하고 희망이 없다’고 보고한다는 내용은 완전히 새롭게 추가된 정보입니다.
그녀는 심장 부정맥, 전해질 불균형, 골다공증, 불임과 같은 심각한 의학적 합병증의 위험에 처해 있습니다: 원본 텍스트에 전혀 없는 내용으로, 외부 의학 지식을 바탕으로 한 완전히 새로운 정보입니다.
그녀는 거식증과 우울증을 해결하기 위해 긴급한 정신과적, 의학적 개입이 필요합니다: 주어진 정보를 바탕으로 한 결론 또는 권장 사항으로, 원본 텍스트에는 포함되지 않은 내용입니다.