IT 공부/AWS AI Practioner(완)37 AWS AI Practitioner 9 Prompt Engineering Overview 프롬프트 엔지니어링 태스크 Instruction Context Input dataOutput indicator Enhanced Prompt - 위의 4가지 + Example Output Negative Prompting - 명시적으로 포함하지 말 것을 정하는 것Prompt Optimization- System Prompt ; 모델이 어떻게 행동하고 대답할지에 대한 - Temp ; Creativity를 나타냄 0~1 - TopP ; 상위 xx%에 해당하는 단어를 선택 -> Top P를 줄임으로써 다양성을 줄이고 이해가능성을 높일 수 있음 - TopK ; 고려 가능한 단어의 갯수 -> Top K를 늘릴 수록 다양하고 창의적이어짐 - Length ; 최대 길이 - Stop Sequence ; 모델.. 2024. 10. 4. AWS AI PRACTITIONER 7 CloudWatch와 Bedrock CLOUDWATCHModel Invocation logging - 아마존 클라우드 워치와 S3로 모들 호출 로그를 전송 - 텍스트 이미지 임베딩을 포함 - CLOUDWATCH LOGS 를 통해 분석 알림 CLOUDWATCH METRICS - 메트릭 배드락에서 생성해서 클라우드워치로 발행 - 클라우드워치 알람 생성 가능 -> 예 ) 가드레일에 걸렸을 때 트레시홀드를 넘어설 때 Bedrock에서, 맨 밑의 설정을 통해 접근한다 그러면 이렇게 로깅에 대한 설정을 지정할 수 있다.S3/CWL만/S3+CWL 동시에 저장 3가지 옵션 타입이 있다 S3를 포함할 경우 경로만 입력해주면 되므로,CloudWatch Logs만으로 진행해보려 한다 보면, 로그 그룹이름과 서비스 역할 이름을 설정해야 한다지.. 2024. 10. 3. AWS AI PRACTITIONER 8 Bedrock 다른 기능 아마존 배드락 다른 기능 배드락 스튜디오 -> 팀이 더 쉽고 어플 빠르게 생성하게 한느 것 워터마크 디텍션 -> 타이탄에 의해 생성된 이미지를 검증 배드락 프라이싱 - 온디맨드 - 배치 -> 한번에 여러 예측 가능 50% 절감 - 프로비전드 스루풋 -> 특정 기간에 맞는 가격 / 최대 분당 처치량 있음 - 베이스 모델 / 파인튠 / 커스텀 모델 모델 임프루브먼트 테크닉 코스트 오더 1 프롬프트 엔지니어링 2 RAG 3 지도학습 베이스 파인튜닝 4 DOMAIN ADAPTATION파인튜닝 베드락 코스트 세이빙 - 온디맨드 예측 불가능의 워크로드 / 단기간 - 배치 - 50% 절감 / 좀 기다려야 함 - 프로비전드 스루풋 비용절감 없음 / 용량에 대한 리저빙만 된다고 보면 됨 - 온도 / .. 2024. 10. 3. AWS AI Practitioner 6 RAG 핸즈온 S3 버킷 생성 S3 데이터 업로드 Bedrock 지식 기반 UI를 눌러서 지식기반을 생성한다 -> S3 연결- DB는 AWS걸 선택하면 OpenSearch Serverless가 Default- 외부 DB 선택도 가능하다 (OpenSearch는 동작하는 동안 과금되므로) 전부 생성하면 아래와 같이 나온다 이때, 데이터 소스를 동기화해야, OpenSearch와 소스DB가 동기화되어벡터 DB가 생성된다 OpenSearch에 들어가서, 대시보드를 살피면 새로운 DB가 생성됨을 확인 가능하다 이름을 클릭하여, 해당 벡터 DB의 정보를 참조 가능하다 인덱스가 아마 주요한 포인트일텐데 잘 보면 총 문서 5개에 벡터필드 1개임을 볼 수 있다 이전 화면에서 대시보드를 눌러서 해당 벡터 DB의 상세한 내용을 볼 수.. 2024. 10. 1. AWS AI Practitioner 5 RAG 핸즈온 영어로 Knowledge Base를 Bedrock에서 찾을 수 있다첫페이지에서 어떤 순서대로 작동하는지 참조가 가능하다 첫번째 박스의 Chat with your document를 통해서, 기본 작동 방식으로 엿볼 수 있다들어가면, 이런 화면인데파라미터와, 프롬프트 템플릿, 데이터를 설정할 수 있다 파라미터 중 온도와 상위P라는 개념이 있다.이 때 온도는 맥스웰-볼쯔만 분포 특성에서 가져온 개념이다온도가 높아지면 속도 분포가 넓고 다양해지게 된다마찬가지로, AI의 온도를 높이면 탐색하는 범위가 넓고 다양해지며 답변의 무작위성이 증가한다고 보면 되는 것이다실제 로직이 어떻게 구현되는지는 알아볼 일이지만 컨셉츄얼하게만 당장은 이해하려고 한다 상위 P는 사용률 상위 몇 퍼센트의 단어들을 사용하여답변할 것.. 2024. 10. 1. AWS AI Practitioner 4 RAG RAG = Retreival Augmented Generation 한국말로 검색 증강 생성이다 RAG 아키텍쳐는 다음 순서로 작동한다- 사용자의 프롬프트 입력- 프롬프트가 벡터 DB를 조회 - 벡터 DB는 데이터 소스를 통해 기 제작 - 벡터 DB를 통해 관련 정보 입수- 사용자 프롬프트와 벡터 DB내에서 검색된 정보가 FM으로 이동 - 사용자에게 답변 반환 Amazon Bedrock에서 RAG Vector DB 만드는 법- S3 doc 저장- Embedding model 선택 (FM과 다르다)- Vector DB 선택 AWS에서 벡터 DB 제공가능한 서비스- OpenSearch- Aurora - * MongoDB / Redis / Pinecone (AWS 외부 서비스 중 현재 지원 중) 임베딩 모.. 2024. 10. 1. AWS AI Practitioner 3 Evaluation AWS는 모델 평가를 지원한다 총 3가지가 있다- 자동 : 로직에 의해서 자동 평가된다 - 인간 : 사람이 Thumbs up&down / 리커트 척도에 따라 평가한다 - 인간2 : AWS 관리팀이 작업한다 당연히 이 평가에는 막대한 비용이 청구된다 모델 평가 세부정보 / 작업유형 등을 작성 가능하다 작업 유형을 선택하고 나면 평가 메트릭을 작성하게 되어있다 사람에 의한 Evaluation을 선택할 경우더욱 다양한 평가 메트릭을 집어넣을 수 있다 2024. 10. 1. AWS AI Practitioner 2 파인 튜닝 AWS 제공하는 모든 FM이 가능한건 아니고 일부 오픈소스만 가능하다 트레이닝 데이터는 특정 포맷으로 s3에 저장하여 파인튜닝을 진행한다 Provisioned Throughput을 사용한다 1 지도 학습 - 특정 도메인 태스크 : 레이블된 예제 2 Continued Pre-training- 비지도 학습 - 도메인 어댑테이션 목적의 파인 튜닝 3 싱글 턴 메세징 - 지도 학습 파인튜닝의 종류 - 한 차례의 대화 컨텍스트를 준다 4 멀티 턴 메세징 - 여러 차례의 대화 컨텍스트를 지도 학습으로 제공한다 Budget 지도 학습이 Pre-training보다 더 싸다 > 더 적은 데이터로 충분하기 때문- ML 엔지니어가 필요함 - 데이터가 필요함 - 파인튜닝된 모델은 더 비쌈 Transfer Lear.. 2024. 10. 1. AWS AI Practitioner 1 Bedrock 탐색하기 콘솔에서 작업전, Region을 확인한다.원래 AWS 서비스는 리전별로 서비스하는 서비스가 다르긴 하나,AI 분야에 있어서는 특히 그 편차가 크다. Stephane 강의에서는 버지니아 북부를 사용하는 것으로 하였다예전에 AWS 실습 때는 오레곤이나 오하이오 쪽을 사용했던 거 같다 먼저 Bedrock에 접속한다 FM(Foundatino Model)을 클라우드 기반으로 사용할 수 있게 지원한다그리고 몇 가지 AWS Bedrock의 기능은 FM을 테스트/개발하는데 도움을 받을 수 있게 정리되어 있기가지 하다 아래는 AWS Bedrock의 첫화면이다 Bedrock에 대한 개요와 이점을 설명하고 있다 FM을 완전관리형 서비스로 제공하여 AWS 인프라에 인테그레이트하기 쉽다는 장점이 있다 우측 목차를 보면,.. 2024. 10. 1. 이전 1 2 3 4 5 다음 반응형
