패스트캠퍼스 환급챌린지 42일차 : 조대협의 항로 2 : 실전 LLM 애플리케이션 개발 로드맵 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

#패스트캠퍼스 #환급챌린지 #패스트캠퍼스후기 #습관형성 #직장인자기계발 #오공완

https://fastcampus.info/4n8ztzq

1. 학습 인증샷 5장
① 오늘자 날짜, 공부 시작 시각 포함 사진 1장
② 오늘자 날짜, 공부 종료 시각 포함 사진 1장
③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장
④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)
⑤ 마이페이지 - 학습통계 - 챌린지 대상 강의 완강률 캡쳐 사진 1장

오늘 들은 강의

01. Cache 기능을 활용해 LLM 출력에 대한 비용, 속도 제어 이론 

오늘 느낀 점

오늘은 캐시에 대해서 배웠다. 캐시의 경우 LLM 모델이 응답 속도가 느리고 비용이 크기 때문에 캐싱이 필수라고 느꼈으나 생각보다 캐싱 하기가 어려운 것 같다. 내용의 질문 자체가 매번 다르고, 맥락이 다르기 때문에 해당 캐시 는 어려울 것 같다. 물론 특정 키워드를 매핑해서 캐시하는 것은 좋을 것 같다.

채팅창의 경우 가끔 하단에 있는 채팅창 내용을 자동완성처럼 하는 그런 부분에 있어서는 큰 도움이 될 것 같다.

캐시 실습의 강의도 혼자 한번 해봤고, 어제 실습의 경우에도 강의를 듣긴 했지만 혼자 다시 복습 삼아 실습을 진행해 보았다.

캐시의 경우 미적용시 30초 이상, 적용시 1ms 도 안걸렸다. 근데 이제 대답이 같고 맥락에 문제가 있었다.

임베딩 모델로 캐싱하는 부분도 있었는데, 해당 부분도 결국은 좀 캐싱이라 보기가 어려웠다. 예를 들어 한국 명소 5개 골라줘와 10개 골라줘는 매우 유사하나, LLM 응답의 결과 갯수는 다를 것이기 때문이다.


오픈 AI 오픈 모델을 올려 보았는데, 임베딩 모델은 따로 올려야 하는지 궁금하기도 하다 

그래서 이런 다양한 변수들 때문에 캐시 전략을 단순히 질문고  응답식으로 구성하는 건 현실적으로 한계가 있는 것 같다. 결국 캐시도 상황에 따라 맞춤형으로 적용해야 하는데, 특히 LLM처럼 맥락과 문장 구조에 따라 달라지는 시스템에서는 더더욱 그렇다고 느꼈다. 그래도 이런 실습들을 통해 어떻게든 최적화해보려는 시도 자체가 중요하다고 생각하고, 단순한 키워드 매칭 캐시 외에도 벡터 기반 유사도 캐시나, 특정 패턴에 대한 캐시 등 다양한 방식이 있지 않을까 고민하게 되었다. 아직 완전히 이해하진 못했지만, 확실히 배워야 할 주제 중 하나라는 건 분명한 것 같다.

현재 회사에서는 캐싱을 쓰지 않지만, 캐싱은 필수다. DB에 조회할 데이터와 잘 바뀌지 않지만 DB에 부하를 주는 쿼리들은 캐싱을 해야 유저한테도, 디비한테도 좋은 것 같다. 

오늘도 하루 배웠다. 다음에 실습 강의로 들으면서 따라해 봐야겠다