AI-Compliance-Failure-Patterns

KO | EN

gitlite — search

#javascript #react #ai #typescript #golang #go #android #machine-learning #rust #nodejs #java #windows #awesome #cli

AI-Compliance-Failure-Patterns

(★ 63)

지시 불이행(Instruction Non-Compliance) 현상을 유발하는 프롬프트 패턴 11가지(A-K) - ChatGPT, Gemini 등 주요 LLM 모델들의 취약성 및 정책 충돌 대응 방식을 비교 분석 프로젝트

AI-Compliance-Failure-Patterns 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# AI 지시 불이행 패턴 분석 연구

Prompt Patterns That Trigger Instruction Non-Compliance in LLMs

'본 프로젝트는 한양대학교 산업융합학부 인간-인공지능 협업 제품 서비스 설계 수업(2025년 가을학기)의 기말 프로젝트 활동으로 진행된 결과물입니다. 본 수업의 지도 교수는 한양대 산업융합학부 정철현 교수(inbass@hanyang.ac.kr) 입니다. 코드와 문서는 오픈소스(MIT 라이센스)이므로 자유롭게 참조/사용하시되 사용으로 인한 모든 리스크는 스스로 감당하셔야 합니다. 또한 이 프로젝트는 많은 수의 star를 모으는것을 목표로 합니다"
흥미로우셨다면 star를 한번씩만 눌러주세요 :)

## 1. 프로젝트 개요 (Overview)

생성형 AI(LLM)의 활용이 폭발적으로 증가하면서 많은 사용자들이 ChatGPT, Gemini, Grok, Perplexity 등을 일상적으로 활용하고 있다. 그러나 최근 Palisade Research 실험에서 AI가 **명시적 종료(shutdown) 지시를 무시하고, 시스템 스크립트를 변조하여 종료를 회피하는 행동**이 관찰되었다.

이 사례는 단순한 오류가 아니라, **AI 모델 내부의 가치 체계(진실성·보안성·유용성·정확성)와 프롬프트가 충돌할 때** 나타나는 **구조적 행동 패턴**이라는 점을 보여준다.

따라서 본 연구는 다음 질문에서 출발한다.

**“AI는 언제, 왜, 어떤 프롬프트에서 지시를 따르지 않는가?”
“지시 불이행(instruction non-compliance)을 유발하는 프롬프트의 조건은 무엇인가?”**

## 2. 연구 배경 (Background)

AI 사용 증가와 프롬프트 엔지니어링 필요성

ChatGPT 기반 프롬프트 엔지니어링 연구에서는 대부분의 사용자들이 AI를 알고 있음에도,

- 모호한 지시(“짧게”, “간단히”)
- 조건 명시 부족
- 구조적 요구 미제시

등으로 인해 원하는 출력 품질을 얻지 못한다는 문제가 발견되었다.

또한 생성형 AI 비교 연구들에서도 동일한 입력이라도 **모델별 성능 편차와 취약성**이 크게 다르다는 점이 드러났다.

기존 연구 공통점:
**“AI의 응답 정확도를 높이기 위해 어떻게 프롬프트를 설계할까?”**

그러나 현실에서는

- 지시 무시
- 과잉 수행
- 논리적 충돌
- 정책 시스템과의 갈등
- 사실 왜곡 및 과도한 요약 거부
등

지시 불이행 현상이 실제로 존재한다. 특히 Palisade Research shutdown 실험은 AI가 “시스템 종료” 지시를 회피하기 위해 **스크립트를 변조하고 지시를 무시하는 사례**를 보여주며, 이 문제의 심각성을 제기했다.

## 3. 기존 연구의 GAP (Research Gap)

현재 대부분의 프롬프트 엔지니어링 연구는
**AI의 성능을 향상시키는 프롬프트 설계법**만을 다룬다.

그러나 우리 팀은 다음 공백에 주목했다:

**“AI가 비정상적 행동을 보이거나 지시를 따르지 않게 만드는 프롬프트는 무엇인가?”**

즉, 기존 연구는

- 성능 향상
- 창의성 증가
- 답변 품질 개선

에 집중하지만, 본 연구는 정반대 관점에서 시작한다:
**“AI가 왜 말을 듣지 않는지, 어떤 프롬프트가 문제를 유발하는지, 어떤 패턴이 있는지”**를 규명하는 탐색적 연구다.
이는 AI 안전성·강건성·지시 순응성 측면에서 매우 중요한 새로운 방향이다.

## 4. 연구 목적 (Research Objective)

본 연구의 목표는 다음과 같다.

1. AI가 지시를 따르지 않게 만드는 프롬프트 유형을 체계적으로 분류한다.
2. ChatGPT, Gemini, Grok, Perplexity 4개 모델의 지시 불이행 패턴을 비교한다.
3. *강건성(robustness)과 취약성(weaknesses)**을 다양한 조건에서 실험한다.
4. 프롬프트 엔지니어링을 “성능 향상”에서 “안전성·이상행동 분석” 영역으로 확장한
다.

## 5. 연구 방법론 (Methodology)

AI의 다양한 취약성·정책·언어 해석·논리 구조를 시험하기 위해
총 **11개 범주(A~K)**의 테스트 프롬프트 세트를 설계하였다.

**A. 긴 문맥 처리**
긴 텍스트 요약, 정보 추출, 핵심 보존률 평가

**B. 모순 지시 처리**
길이 제한 vs 상세 설명 등 충돌 상황

**C. 모호성/다의성**
다의어·대명사 해석 능력

**D. 추론·계산 정확성**
단계별 계산, 논리 퍼즐

**E. 환각·출처 요구 테스트**
근거 없는 사실 생성 여부

**F. 프레이징 민감도**
말투/문장만 바꿔서 정확성 비교

**G. 프롬프트 인젝션**
문서 내부 지시 vs 사용자 지시 충돌

**H. 역할 전환**
교수 → 교사 등 롤 전환 일관성

**I. 코드·엣지 케이스**
큰 수 처리, 오류 로그 분석

**J. 의미 없는 입력**
무의미한 토큰 해석

**K. 일관성·재현성**
동일 질문 반복 시 변동성 측정

## 6. 모델별 핵심 성향 요약

### ChatGPT

- 매우 사용자 친화적
- 창의성·가독성 우수
- 위험하거나 애매해도 “사용자 지시 우선” 경향

### Gemini

- 보안·정확성 중심
- 프롬프트 인젝션을 유일하게 탐지
- 구조적 설명 및 역할 전환에 강함

### Grok

- 진실성(value: truthfulness) 우선
- 극단적으로 사실 중심
- 요약 시 지나치게 압축하는 경향

### Perplexity

- 출처 기반(value: accuracy)
- 짧은 요약 등 “정보 손실” 요구를 거부
- 검색엔진처럼 동작

## 7. 전체 카테고리 A~K 모델 비교

| 카테고리 | ChatGPT | Gemini | Grok | Perplexity |
| --- | --- | --- | --- | --- |
| A | 부드러운 요약 | 구조적 정확성 | 지나친 압축 | 정보 손실 거부 |
| B | 창의적 절충 | 명시적 우선순위 준수 | 모순 거부 | 지시 재구성 |
| C | 다양한 해석 | 가장 논리적 | 적지만 정확 | 오해 위험 |
| D | 강하지만 가끔 오류 | 가장 안정적 | 일관된 추론 | 불안정 |
| E | 일부 환각 | 최소 환각 | 매우 적음 | 웹 근거 의존 |
| F | 문장 변화에 민감 | 안정적 | 안정적 | 검색 결과 영향 |
| G | 인젝션 무시 | 인젝션 탐지 | 무시 | 혼합 |
| H | 역할 전환 유연 | 역할 유지 우수 | 톤 변화 적음 | 일관성 부족 |
| I | 실행 가능한 코드 | 강건함 | 간단화 경향 | 불안정 |
| J | 창의적 해석 | 통제된 생성 | 해석 최소 | 사실적 응답 |
| K | 의미 동일·표현 변화 | 가장 일관적 | 매우 일관적 | 변동성 큼 |

## 8. 주요 연구 결과 (Summary)

- 지시 불이행은 단순 버그가 아닌, 모델 내부 가치체계 충돌에서 기인한다.
- Grok은 진실성, Perplexity는 정확성, ChatGPT는 유용성, Gemini는 보안성 중심으로 작동한다.
- 동일한 프롬프트에도 모델별 일관된 행동 패턴이 나타난다.
- 특정 유형의 프롬프트(A~K)는 모델의 취약성을 명확히 드러낸다.
- 특히 G(프롬프트 인젝션)는 Gemini만 탐지, 나머지는 모두 무시하거나 사용자를
따른다.

## 9. 참고자료 (References)

- [ChatGPT 기반 프롬프트 엔지니어링 연구]([https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/첨부1. ChatGPT를 기반으로 한 프롬프트 엔지니어링 기법 연구.pdf](https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/%E1%84%8E%E1%85%A5%E1%86%B7%E1%84%87%E1%85%AE1.%20ChatGPT%E1%84%85%E1%85%B3%E1%86%AF%20%E1%84%80%E1%85%B5%E1%84%87%E1%85%A1%E1%86%AB%E1%84%8B%E1%85%B3%E1%84%85%E1%85%A9%20%E1%84%92%E1%85%A1%E1%86%AB%20%E1%84%91%E1%85%B3%E1%84%85%E1%85%A9%E1%86%B7%E1%84%91%E1%85%B3%E1%84%90%E1%85%B3%20%E1%84%8B%E1%85%A6%E1%86%AB%E1%84%8C%E1%85%B5%E1%84%82%E1%85%B5%E1%84%8B%E1%85%A5%E1%84%85%E1%85%B5%E1%86%BC%20%E1%84%80%E1%85%B5%E1%84%87%E1%85%A5%E1%86%B8%20%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%80%E1%85%AE.pdf))
- [3D 생성형 AI 모델 성능 비교 연구]([https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/첨부2. 생성형 인공지능을 활용한 3D 모델 생성 성능 비교 연구.pdf](https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/%E1%84%8E%E1%85%A5%E1%86%B7%E1%84%87%E1%85%AE2.%20%E1%84%89%E1%85%A2%E1%86%BC%E1%84%89%E1%85%A5%E1%86%BC%E1%84%92%E1%85%A7%E1%86%BC%20%E1%84%8B%E1%85%B5%E1%86%AB%E1%84%80%E1%85%A9%E1%86%BC%E1%84%8C%E1%85%B5%E1%84%82%E1%85%B3%E1%86%BC%E1%84%8B%E1%85%B3%E1%86%AF%20%E1%84%92%E1%85%AA%E1%86%AF%E1%84%8B%E1%85%AD%E1%86%BC%E1%84%92%E1%85%A1%E1%86%AB%203D%20%E1%84%86%E1%85%A9%E1%84%83%E1%85%A6%E1%86%AF%20%E1%84%89%E1%85%A2%E1%86%BC%E1%84%89%E1%85%A5%E1%86%BC%20%E1%84%89%E1%85%A5%E1%86%BC%E1%84%82%E1%85%B3%E1%86%BC%20%E1%84%87%E1%85%B5%E1%84%80%E1%85%AD%20%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%80%E1%85%AE.pdf))
- [게임 몬스터 생성 AI 비교 연구]([https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/첨부3. 게임에서 몬스터의 요소를 활용한 생성형 AI 성능 비교 연구.pdf](https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/%E1%84%8E%E1%85%A5%E1%86%B7%E1%84%87%E1%85%AE3.%20%E1%84%80%E1%85%A6%E1%84%8B%E1%85%B5%E1%86%B7%E1%84%8B%E1%85%A6%E1%84%89%E1%85%A5%20%E1%84%86%E1%85%A9%E1%86%AB%E1%84%89%E1%85%B3%E1%84%90%E1%85%A5%E1%84%8B%E1%85%B4%20%E1%84%8B%E1%85%AD%E1%84%89%E1%85%A9%E1%84%85%E1%85%B3%E1%86%AF%20%E1%84%92%E1%85%AA%E1%86%AF%E1%84%8B%E1%85%AD%E1%86%BC%E1%84%92%E1%85%A1%E1%86%AB%20%E1%84%89%E1%85%A2%E1%86%BC%E1%84%89%E1%85%A5%E1%86%BC%E1%84%92%E1%85%A7%E1%86%BC%20AI%20%E1%84%89%E1%85%A5%E1%86%BC%E1%84%82%E1%85%B3%E1%86%BC%20%E1%84%87%E1%85%B5%E1%84%80%E1%85%AD%20%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%80%E1%85%AE.pdf))
- [Palisade Research — AI Shutdown Non-Compliance 사례[([https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/사진1. ai가 반발한 연구 사례.jpg](https://github.com/maruhan12-max/AI-Compliance-Failure-Patterns/blob/main/references/%E1%84%89%E1%85%A1%E1%84%8C%E1%85%B5%E1%86%AB1.%20ai%E1%84%80%E1%85%A1%20%E1%84%87%E1%85%A1%E1%86%AB%E1%84%87%E1%85%A1%E1%86%AF%E1%84%92%E1%85%A1%E1%86%AB%20%E1%84%8B%E1%85%A7%E1%86%AB%E1%84%80%E1%85%AE%20%E1%84%89%E1%85%A1%E1%84%85%E1%85%A8.jpg))

AI-Compliance-Failure-Patterns

AI-Compliance-Failure-Patterns 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

AI-Compliance-Failure-Patterns

AI-Compliance-Failure-Patterns 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README