어설픈 기획자의 시선 : GEMINI 1.5 PRO 발표

며칠 전 구글 Gemini 1.5 Pro가 발표되었습니다. 

이전에 유럽 쪽 스타트업에서 MoE(Mixture of Experts) 방식의 LLM이 충분한 성능을 냈다는 발표에 이어,

구글의 GEMINI 1.5 PRO는 빅테크 회사 중 첫번째 사례가 되겠습니다. 

 

MoE는 특정 분야에서 전문성을 갖는 작은 파라미터 숫자의 LLM으로 LLM을 구성하는 방식입니다. 

이에, 연산속도나 리소스 소모가 대폭 줄어 경제성이 대폭 올라갔다고 합니다, 

 

구글 제미나이 1.5 프로에서 주목할 점은, 한 번에 처리할 수 있는 토큰 갯수가 대폭 올라갔다는 점입니다 

기존 ChatGpt 4.0 대비 5배 정도 증가했다고 합니다, 

이 정도 수치는 특정 언어의 사전과 문법책을 인풋으로 한 번에 받는 정도의 수준이라고 하는데, 가늠이 잘 안되네요. 

또한, 역시나 멀티모달 LLM으로, 인풋으로 1시간 수준의 영상, 11시간 수준의 음성을 처리할 수 있다고 합니다. 

 

최근 들어, 우리나라 기술력이 너무 뒤쳐지는 느낌을 지울 수가 없네요. 

물론 본사-지사 차이는 있기 마련이지만, 당장 23년 11월 구글 코리아 서밋이 떠올랐습니다.  

처리하는 토큰 갯수의 증가가 성능과 꼭 비례하지 않는다고 했었거든요. 

그런데, 4개월도 안지나서, 경쟁 모델을 압도하는 토큰 갯수를 위시하는 LLM이 나오다니요.

이 뿐만 아니라, 12월 내부적으로 진행한 국내 AI업체의 세미나를 들을 기회가 있었는데, 

이미 구글에서 제공중인 RLHF 방식이 아직도 출시 요원한 것처럼 들었습니다. 

 

토큰 갯수 증가는 RAG를 채택하는 경우에 있어서도, 크게 효율을 높일 부분이 있지 않을까 싶습니다. 

RAG가 사람들의 기대치를 완벽하게 충족시켜주는 게 원리 상 원천적으로 불가능함에 있어서,

이 방식의 한계를 냉정하게 평가하는 편이었습니다. 

저는 개인적으로 크로스 도메인 KNOWELDGE를 창출할 수 있는 가능성에 관심이 높은 편이라서;;

하지만, 인풋으로 받아들일 수 있는 토큰 갯수가 사전 레벨이라면 얘기가 다를 거 같습니다.

벡터 디비 기반으로 KNOWELDGE 검색 후에도, 

소스 문서의 컨텍스트 일체를 LLM에서 다시 소화하여, 파인튜닝된 수준의 아웃풋을 낼 가능성이 생긴게 아닐까 싶습니다.