AWA AI Practitioner 15 ML Terms_2

Inferencing = 추론 

- Real time - 챗봇 / batch - 큰 인풋 

- Inferencing at edge -> SLM-> 엣지 디바이스에서 사용할 수도 

  - 엄청 낮은 레이턴스 / 낮은 컴퓨트 풋프린트 / 오프라인 

- LLM -. Remote Server 

   - 더 긴 레이턴스 . 더 강력한 모델 / 온라인 강제 

 

Phases of ML Project 

- Business 문제 -> ML Problem 프레이밍 -> 데이터 수집 준비 -> 피처 엔지니어링

 -> 모델 트레이닝 / 파라미터 튜닝 -> 모델 평가 -> 비즈니스 목표 달성? 

 -> Data / Feature Augmentation -> 테스팅 및 전개 -> 모니터링/디버깅 -> 새로운 데이터 반영 

 

Define Business Goal

- Stakeholder 밸류 예산 성공 기준 수립

- KPI 정의

 

ML Problem Framing 

- ML로 문제 재정의 / ML 적합여부 팑덩 

- Data Scientist / ML architect /SME 협업

 

Data Processing 

- conversion

- collection & Integration

- Data preprocessing & data  visualization

- Feature Engineering  

Model Development 

- 트레이닝 튜닝 평가

- 반복적 절차다 =. 안나오면 하이퍼파라미터 또는 데이터 프로세싱을 다시 함 

 

Exploratory Data Analysis

- 데이터를 그래프로 시각화

-Correlation Matrix 

- 어떤 데이터가 어플에 중요한지 파악하고 집중할 수 있음 

 

Retrain / Deployment / Monitoring / Iteration 

- 하이퍼파라미터를 조정한다

- 어떤 배포 방식을 할 지 결정한다

- 얼리 디텍션과 마이그레이션  / 디버깅 그리고 모델 행동 이해

 

하이퍼파라미터 

- 모델 구조와 학습 알고리즘 절차를 정의하는 세팅

- 트레이닝 이전에 설정

- learning rate / batch size / number of epochs / regularization e등

- 모델 정확성 / 오버피팅 / 일반화에 영향을 끼친다 => 따라서 하이퍼파라미터 튜닝 필요

- learning rate ; 학습 중 몇 개의 스텝을 거칠 것인지
                    / 높으면 컨버전 빠르나 오버슈팅 / 낮으면 정확해지나 컨버전 느려짐 

- batch size ; 모델 트레이닝 한번 할 때 얼마나 많은 예시를 쓸 것인지
                    / 적으면 안정적이나 긴 시간 / 크면 빠르지만 덜 안정적 

- number of epochs ; 얼마나 모델이 트레이닝을 반복할 것인지 

                     / 너무 적으면 언더피팅 / 너무 높으면 오버피팅 

 

하이퍼 파라미터 튜닝 방법

- Grid Search 

- Random Search 

- SageMaker AMT  

 

오버피팅 ; 트레이닝 데이터에는 정확하나 / 실 데이터에는 그렇지 않음 

- 트레이닝 데이터 셋을 크게 늘림

- epochs 숫자를 줄임

- data augmententation (데이터 다양성을 늘리기 위해서)

- 하이퍼 파라미터를 조정함 

 

언제 ML이 적합하지 않은가? 

- 결정론적 문제는 굳이 풀지 말자 

- 근사 정답을 얻는 것으로 불충분할 경우

- 리즈닝이 필요한 경우