IT 공부/AWS AI Practioner(완)37 AWS AI Practitioner 27 Gen AI 챌린지 대표적인 챌린지- Regulartory violation- Social Rissk- Data Security And Privacy- Toxity - Hallucination- Interpretability- Nondeterminism ; 같은 질문에 다른 답- 표절과 치팅 Toxicity - 생성된 컨텐츠가 공격적 디스터빙 부적절할 수 있음- 인풋이 강하면, 아웃풋이 강하게 반응함- toxicity가 무엇인지 정의하기 어려움 - Mitigation ** ; 학습 데이터를 큐레이팅하여, 오펜시브 구문을 인식하고 제거하도록 함- 가드레일 ; 원하지 않는 컨텐츠를 가드레일링 Hallucination - Mitigation ** ; 사용자 교육 / 독립적인 소스를 통해서 증명을 확인할 수 있음 / Gen 컨텐.. 2024. 10. 24. AWS AI Practitioner 26 AI Responsibility 개요Resposible AI & Security - Transparent & TrustWorthy - Mitigating Potential Risk & Negative outcomes- Throughout whole AI lifecycle Governance - Add value / Manage risk -Clear Policies / guidelines / Oversight Mechanism -> 법적 규제적 요구사항과 시스템을 얼라인하기 위해서 Compliance - Adherence to Regulation And Guidelines- Sensitive Domain ; 헬스케어 파이낸스 리갈어플라이언스 등 Responsible AI 의 요소들 - Fairness ; 포함을 촉진하고 차별을.. 2024. 10. 24. AWS AI Practitioner 25 Sagemaker 3 ML Governance - SageMaker Model Cards ; 주요한 모델 정보 / 의도된 목적, 리스크 레이팅, 트레이닝 상세- SageMaker Model Dashboard ; 중앙화된 레포지토리 / 모든 모델에 대한 정보 - SageMaker Role Manager ; 사람들의 역할 정의 SageMaker Model Registry - 중앙화된 레포지토리 / 트랙 매니지 버전 등을 관리- 모델을 카탈로그함 / - 승인 상태를 확인 가능함 / 모델 전개 및 공유를 자동화 할 수 있음 SageMaker Pipelines - 워크플로우를 보여줌 - CI CD 서비스 - 빌드와 트레인을 쉽게 하고 / 100개 이상의 전개를 자동화 - 시작을 가속 / 에러 감소 (수동 스텝 삭제) / 작업의 반.. 2024. 10. 23. AWS AI Practitioner 24 SageMaker 2 Data Wrangler - tabular / image data - Data 준비 / 트랜스포메이션 / 피처 엔지니어링- 데이터 선택 / 클린징 / exploration / 시각화 / 처리 까지 싱글 인터페이스 - SQL 서포트 - 데이터 퀄리티 툴 ML Features - ML의 인풋 - 고품질의 ML 피처를 갖는 게 중요하다 Feature Store -다양한 소스로부터 Feautes를 ingest함- 데이터를 feature로 트랜스폼 - SageMaker Data Wragler에서 SageMaker Features Store로 바로 이동도 가능 - SageMaker Studio에서 확인도 가능 SageMaker Clarify- FM 끼리 평가함- 인사이트를 제공함 - 친근함이나 유머 등의 휴먼.. 2024. 10. 23. AWS AI Practitioner 23 SageMaker 개요 ML 모델을 빌딩하는 완전관리형 서비스전 절차를 한 곳에서 + 프로비저닝까지 - 데이터 수집 및 준비 - 빌드 트레이닝 - 전개 / 테스트 / 측정 Built in algorithm- 지도 알고리즘 ; 선형회귀 / KNN - 비지도 알고리즘 ; PCA(Principal Component Analysis) / K-means / Anomally Detection- 텍스트 - NLP / 요약 등 - 이미지 프로세싱 / 분류 디텍션 AMT(Automatice Model Tuning) - Objective 메트릭을 정의- AMT가 알아서 하이퍼파라미터를 정의함 - suboptimal configuration에 대한 시간을 줄여줌 Model 전개 & 추론 - 알아서 전개 - 오토스케일링 / 노 서버 - 매니지.. 2024. 10. 23. AWS AI Practitioner 22 HW EC2 for AI GPU-베이스 EC2 ; P3/4/5/ G/3/4... AWS Trainuium ;- 100B+ 파라미터- Trn 1 -> 16 티라늄 액셀러레이터- 50% 비용 절감 AWS Inferentia ; - ML 칩 - 추론에 적합한 칩 고성능 저비용 - lnf1/2 - 4배 이상의 처리량 70% 비용 절감 2024. 10. 18. AWS AI Practitioner 21 AWS Deepracer / Medical AWS Deepracer1/18 사이즈 -. RL딥레이서 콘솔로 트레이닝 3D 시뮬레이티드 환경에서 주행도 가능 프런트 카메라 - RL 모델이 캡쳐 이미지와이파이 커넥션 - 딥레이서 리그 -> 프라이즈 머니도 있음 Transcribe Medical / Comprehend Medical - STT / TTS - 리얼타임 배치 양쪽 지원 - PHI - 개인 건강 정보도 처리해줌 2024. 10. 18. AWS AI Practitioner 20 Amazon Kendra / Mechanical Turk / A2I Kendra - ML 완전관리형 문서 검색 서비스- Doc에서 답변을 찾아냄 - Kendra 내부에서 Knowledge Index를 생성 - 인크리멘탈 러닝 -> 사용자 인터랙션과 피드백을 통해 학습한다- 수동으로 파인튜닝 가능 Amazon Mechanical Turk - 크라우드소싱 마켓 플레이스- 가상 워크포스를 분산 가능하다 - A2I 등에 사용된다 Amazon A2I (Augmented AI)- 휴먼 리뷰 워크플로우에 사용 - A2I를 생성하고 작업을 요청할당할 수 있다 2024. 10. 15. AWS AI Practitoner 19 Amazon Personalize / Textract Amazon Personalize 리얼타임 개인화 추천 - 개인화 상품 추천 / 리랭킹 / 다이렉트 마케팅 - S3부터 인풋데이터를 받음 +Amazon Personalized API -> AP에서 -> 개인화 커스텀 API가 제공됨 Recipes- 알고리즘 ; 트레이닝 컨피규레이션 필요 Amazon Textract - text 추출 -> 데이터를 추출해냄- PDF 이미지 등 가능 예시에서 보듯이, 그냥 텍스트를 추출하는 것이 아니라,레이아웃 / 양식 / 테이블 등 컨텍스트까지 추출이 가능하다 그 외에도, 영수증 / ID 카드 등 비즈니스에서 바로 적용할 수 있는 데모들이 존재한다 2024. 10. 15. 이전 1 2 3 4 5 다음 반응형
