AWS AI Practitioner 27 Gen AI 챌린지

대표적인 챌린지

- Regulartory violation

- Social Rissk

- Data Security And Privacy

- Toxity 

- Hallucination

- Interpretability

- Nondeterminism ; 같은 질문에 다른 답

- 표절과 치팅 

 

Toxicity 

- 생성된 컨텐츠가 공격적 디스터빙 부적절할 수 있음

- 인풋이 강하면, 아웃풋이 강하게 반응함

- toxicity가 무엇인지 정의하기 어려움 

- Mitigation ** ; 학습 데이터를 큐레이팅하여, 오펜시브 구문을 인식하고 제거하도록 함

- 가드레일 ; 원하지 않는 컨텐츠를 가드레일링

 

Hallucination 

- Mitigation ** ; 사용자 교육 / 독립적인 소스를 통해서 증명을 확인할 수 있음 / Gen 컨텐츠를 표시 알림

 

Plagiarism and Cheating 

- 소스를 특정하는 것은 매우 어려움 

 

프롬프트 미스유즈

- Poisoning ; 의도적으로 악의적이거나 편견의 데이터 삽입

- 하이재킹 프롬프트 인젝션 ; AI 앱의 기능을 마비시키는 프롬프트 입력 

- Exposures ; 트레이닝이나 추론 상태에서 인풋된 데이터를 프롬프트를 통해서 확인할 수 있음

                      -> 이미 학습된 개인화된 정보들을 뺴내는 법

- Prompt Leaking ; 이전에 사용했던 프롬프트를 빼돌리는 법 ; 그걸 물어봄으로써 

- Jailbreaking ; 제약사항을 언어서라이즈 접근이나 기능을 이용해서 파하는 방법

          -> 엄청 많은 샷을 날리면 제일브레이킹 가능함