러닝 데이터를 해석하는 일은 LLM을 API로 대여와서 시킨다.
구글은 vertex ai 신규 계정을 만들면 30만원 상당의 크레딧을 준다.
요걸로 나름 요긴하게 여기저기에서 썼었는데…
이 프로젝트 시작하기 전에 다 써버렸다.
이것말고도 구글에서 무료로 제공 LLM이 있긴한데.. 데일리 호출 양이 적어서 불편하다.
해서 또 찾아보니 groq에서 제공하는 무료 LLM api가 제법 된다.
(아래 리스트를 기재해둠)
요녀석들은 대부분 rate minits 라는 제약이 있는데,
1분당 요청가능 횟수, 1일 요청 가능 횟수와 같은 것이다.
내가 만들고 있는 서비스는 리포트 하나를 만들기 위해서 다수(6회)의 LLM을 호출한다.
처음에는 병렬로 만들었는데 리포트 품질 안정성 검증을 위해서 리포트를 한번에 여러개 만들도록 돌렸더니 레이트 리미트 제약에 걸려 버린다.
분당 요청 가능 횟수를 피하기 위해서
요청 후 다음 요청전까지 딜레이 타임을 줘야했다.
또 모델마다 이 제약기준이 다 달라서…
사용하는 모델에 따라서 딜레이 타임을 바꿔줬다.
그런데.. 이 제약 사항이 변경되기도 하고..
다른 모델로 변경하면 또 제약 사항을 일일이 확인해야 되는데
이게 좀 귀찮아서 …. 머리를 굴려봤다.
첫번째 호출하면 groq는 제약사항에 대한 정보도 함께 반환해주는데,
이 때 이 정보를 읽고 레이트 리미트에 반영된 값을 변경해주는 방식이다.
지금 개발 돌리고 있는데… ㅎㅎ
결과는 나중에 확인하는 걸로
