반응형
AWS는 모델 평가를 지원한다
총 3가지가 있다
- 자동 : 로직에 의해서 자동 평가된다
- 인간 : 사람이 Thumbs up&down / 리커트 척도에 따라 평가한다
- 인간2 : AWS 관리팀이 작업한다
당연히 이 평가에는 막대한 비용이 청구된다
모델 평가 세부정보 / 작업유형 등을 작성 가능하다
작업 유형을 선택하고 나면 평가 메트릭을 작성하게 되어있다
사람에 의한 Evaluation을 선택할 경우
더욱 다양한 평가 메트릭을 집어넣을 수 있다
반응형
'IT 공부 > AWS AI Practioner(완)' 카테고리의 다른 글
| AWS AI Practitioner 5 RAG 핸즈온 (0) | 2024.10.01 |
|---|---|
| AWS AI Practitioner 4 RAG (0) | 2024.10.01 |
| AWS AI Practitioner 2 파인 튜닝 (1) | 2024.10.01 |
| AWS AI Practitioner 1 Bedrock 탐색하기 (0) | 2024.10.01 |
| AWS AI Practitioner 준비 시작 (0) | 2024.10.01 |
