IT 공부146 AWS AI Practitioner 12 Amazon Q Apps / Developer Amazon Q Appss 자연어만 사용해서 AI app 만들 수 있음당연히 Amazon Q 데이터를 사용 Amazon Q Developer AWS 문서와 서비스 선택에 대해 답변 AWS 내에 있는 리소스에 대해서 답변 CLI 제시 분석 에러해결 트러블슈팅 AI 코드 컴패니언 IDE 확장 -> VSC VS JETBRAINS AMAZON Q Business에서 Amazon Q Apps 접근 권한을 갖게 되면아래처럼 Apps 메뉴를 통해 접근 가능하다우측 가장 큰 화면에서 이미 제작된 App을 테스트 가능하다 Customer Feedback Analyzer를 눌렀을 때 화면 변화다프롬프트로 이 App에대한 설명을 제공한다 생성하게 되면 아래와 같은 화면이 나온다우측 상단에서 Add cardㄹ를 통해서 .. 2024. 10. 4. AWS AI Practitioner 11 Amazon Q 완전 관리형 GEN AI 어시스턴트 Company's Knowledge & Data 베이스 - 답변 요약 생성 자동하- 루틴 액션 수행 Data Connectors - 40+ enterprise data와 연결 가능 플러그인 - 3rd 파티 서비스 ; 지라 서비스나우 젠데스크 등 - 다른 서드 파티와도 연결 가능 IAM Identity Center- authentification을 책임- 다른 계정 시스템과 인테그레이션 가능 Admin Control - 가드레일 설정 가능- 예 / Block specific words or topics - 예 / Allow only internal data referred - 글로벌 컨트롤 & 토픽 레벨 컨트롤 전부 가능 Amazon Q business에서 어플리.. 2024. 10. 4. AWS AI Practitioner 10 Prompt Engineering Techniques Zero Shot Prompting -> 직접 FM에게 묻는 방식 Few Shots Prompting -> 몇 가지 예시를 제시하고 FM에게 묻는 방식 CoT (Chain of Thouths)-> 시퀀스를 만들어서 FM이 작성하게 하는 방식 RAG -> 외부 데이터 소스를 통해 풍부한 답변을 만드는 방식 Prompt Templates -> 프롬프트 템플릿을 채우는 방식으로 인풋을 받아서 답변을 완성하게 할 수 있다 Prompt template injections -> 막는 법 ; 이런 시도를 막는 명료한 지시를 입력하는 것으로 막을 수 있다 2024. 10. 4. AWS AI Practitioner 9 Prompt Engineering Overview 프롬프트 엔지니어링 태스크 Instruction Context Input dataOutput indicator Enhanced Prompt - 위의 4가지 + Example Output Negative Prompting - 명시적으로 포함하지 말 것을 정하는 것Prompt Optimization- System Prompt ; 모델이 어떻게 행동하고 대답할지에 대한 - Temp ; Creativity를 나타냄 0~1 - TopP ; 상위 xx%에 해당하는 단어를 선택 -> Top P를 줄임으로써 다양성을 줄이고 이해가능성을 높일 수 있음 - TopK ; 고려 가능한 단어의 갯수 -> Top K를 늘릴 수록 다양하고 창의적이어짐 - Length ; 최대 길이 - Stop Sequence ; 모델.. 2024. 10. 4. AWS AI PRACTITIONER 7 CloudWatch와 Bedrock CLOUDWATCHModel Invocation logging - 아마존 클라우드 워치와 S3로 모들 호출 로그를 전송 - 텍스트 이미지 임베딩을 포함 - CLOUDWATCH LOGS 를 통해 분석 알림 CLOUDWATCH METRICS - 메트릭 배드락에서 생성해서 클라우드워치로 발행 - 클라우드워치 알람 생성 가능 -> 예 ) 가드레일에 걸렸을 때 트레시홀드를 넘어설 때 Bedrock에서, 맨 밑의 설정을 통해 접근한다 그러면 이렇게 로깅에 대한 설정을 지정할 수 있다.S3/CWL만/S3+CWL 동시에 저장 3가지 옵션 타입이 있다 S3를 포함할 경우 경로만 입력해주면 되므로,CloudWatch Logs만으로 진행해보려 한다 보면, 로그 그룹이름과 서비스 역할 이름을 설정해야 한다지.. 2024. 10. 3. AWS AI PRACTITIONER 8 Bedrock 다른 기능 아마존 배드락 다른 기능 배드락 스튜디오 -> 팀이 더 쉽고 어플 빠르게 생성하게 한느 것 워터마크 디텍션 -> 타이탄에 의해 생성된 이미지를 검증 배드락 프라이싱 - 온디맨드 - 배치 -> 한번에 여러 예측 가능 50% 절감 - 프로비전드 스루풋 -> 특정 기간에 맞는 가격 / 최대 분당 처치량 있음 - 베이스 모델 / 파인튠 / 커스텀 모델 모델 임프루브먼트 테크닉 코스트 오더 1 프롬프트 엔지니어링 2 RAG 3 지도학습 베이스 파인튜닝 4 DOMAIN ADAPTATION파인튜닝 베드락 코스트 세이빙 - 온디맨드 예측 불가능의 워크로드 / 단기간 - 배치 - 50% 절감 / 좀 기다려야 함 - 프로비전드 스루풋 비용절감 없음 / 용량에 대한 리저빙만 된다고 보면 됨 - 온도 / .. 2024. 10. 3. AWS AI Practitioner 6 RAG 핸즈온 S3 버킷 생성 S3 데이터 업로드 Bedrock 지식 기반 UI를 눌러서 지식기반을 생성한다 -> S3 연결- DB는 AWS걸 선택하면 OpenSearch Serverless가 Default- 외부 DB 선택도 가능하다 (OpenSearch는 동작하는 동안 과금되므로) 전부 생성하면 아래와 같이 나온다 이때, 데이터 소스를 동기화해야, OpenSearch와 소스DB가 동기화되어벡터 DB가 생성된다 OpenSearch에 들어가서, 대시보드를 살피면 새로운 DB가 생성됨을 확인 가능하다 이름을 클릭하여, 해당 벡터 DB의 정보를 참조 가능하다 인덱스가 아마 주요한 포인트일텐데 잘 보면 총 문서 5개에 벡터필드 1개임을 볼 수 있다 이전 화면에서 대시보드를 눌러서 해당 벡터 DB의 상세한 내용을 볼 수.. 2024. 10. 1. AWS AI Practitioner 5 RAG 핸즈온 영어로 Knowledge Base를 Bedrock에서 찾을 수 있다첫페이지에서 어떤 순서대로 작동하는지 참조가 가능하다 첫번째 박스의 Chat with your document를 통해서, 기본 작동 방식으로 엿볼 수 있다들어가면, 이런 화면인데파라미터와, 프롬프트 템플릿, 데이터를 설정할 수 있다 파라미터 중 온도와 상위P라는 개념이 있다.이 때 온도는 맥스웰-볼쯔만 분포 특성에서 가져온 개념이다온도가 높아지면 속도 분포가 넓고 다양해지게 된다마찬가지로, AI의 온도를 높이면 탐색하는 범위가 넓고 다양해지며 답변의 무작위성이 증가한다고 보면 되는 것이다실제 로직이 어떻게 구현되는지는 알아볼 일이지만 컨셉츄얼하게만 당장은 이해하려고 한다 상위 P는 사용률 상위 몇 퍼센트의 단어들을 사용하여답변할 것.. 2024. 10. 1. AWS AI Practitioner 4 RAG RAG = Retreival Augmented Generation 한국말로 검색 증강 생성이다 RAG 아키텍쳐는 다음 순서로 작동한다- 사용자의 프롬프트 입력- 프롬프트가 벡터 DB를 조회 - 벡터 DB는 데이터 소스를 통해 기 제작 - 벡터 DB를 통해 관련 정보 입수- 사용자 프롬프트와 벡터 DB내에서 검색된 정보가 FM으로 이동 - 사용자에게 답변 반환 Amazon Bedrock에서 RAG Vector DB 만드는 법- S3 doc 저장- Embedding model 선택 (FM과 다르다)- Vector DB 선택 AWS에서 벡터 DB 제공가능한 서비스- OpenSearch- Aurora - * MongoDB / Redis / Pinecone (AWS 외부 서비스 중 현재 지원 중) 임베딩 모.. 2024. 10. 1. 이전 1 ··· 8 9 10 11 12 13 14 ··· 17 다음 반응형
