패스트캠퍼스 환급챌린지 4일차 : 조대협의 항로 2 : 실전 LLM 애플리케이션 개발 로드맵 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

#패스트캠퍼스#환급챌린지 #패스트캠퍼스후기 #습관형성 #직장인자기계발 #오공완

https://fastcampus.info/4n8ztzq

1. 학습 인증샷 5장 
① 오늘자 날짜, 공부 시작 시각 포함 사진 1장
② 오늘자 날짜, 공부 종료 시각 포함 사진 1장
③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장
④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)
⑤ 마이페이지 - 학습통계 - 챌린지 대상 강의 완강률 캡쳐 사진 1장

오늘 들은 강의

Example Selector 실습, LLM Memory 개념 

오늘 느낀 점

오늘은 LangChain의 핵심 기능인 Memory와 동적 프롬프트(Dynamic Prompting)에 대해 학습했다. 

동적 프롬프트 개념은 어제 수강 하였지만, 그 다음 실습은 오늘 진행하게 되었다. OpenAI 가 예제였는데, OpenAI는 무료가 없는 것 같아, Gemini 로 예제를 변경해서 진행하였는데, 잘 동작 하였다.

 

동적 프롬프트는 실습으로 진행해 보니 신기한 면이 있었다. 단순히 길이나 단어 겹침으로 예시를 고르는 것을 넘어, 임베딩으로 문장의 유사도를 파악해 최적의 예시를 찾아주는 SemanticSimilarityExampleSelector는 매우 인상적이었다. 특히 여러 주제를 함께 질문했을 때, 각 주제에 맞는 예시를 다양하게, 중복 없이 뽑아주는 MaxMarginalRelevanceExampleSelector도 있었다. 코드 구현은 생각보다 랭체인에 다 되어 있는 것 같아 복잡하지는 앟게 느껴졌다. 

프롬프트에 예시를 주는 것은 기존 수업시간에 배운 LLM에게 환각 현상의 확률을 줄이고, 유용한 정보를 제공하는 것으로 기존 강의에서 배웠는데, 막상 예시의 경우엔 대답의 형태가 주어진 예제 형태를 유지 할 수 있다고 했다. 대답의 형태가 좀 fix 되어 있는 경우에 유용하다고 하였다. 

Memory는 대화 기록을 관리하는 기록하는 것이였다. 모든 대화를 기억하는 단순히 저장하는  Buffer 방식부터, 최신 k 개의 대화만 남기는 Window, 그리고 LLM으로 대화 전체를 요약하는 Summary 방식까지, 토큰 비용과 대화 품질 사이의 균형점을 어떻게 찾을지 깊이 고민하게 했다. 특히 최신 대화는 그대로 두고 오래된 대화만 요약하는 하이브리드 방식이 가장 실용적으로 느껴졌다. 제일 좋은 것은 어느정도 이상의 Token 일 때 요약하는 형태가 가장 좋아 보였다.  

 

결국 오늘 배운 두 기술은 LLM 프롬프트에 관한 내용이였다. 아직 RAG 를 배우진 않았지만 RAG를 배워서 적용해 보고 싶다. 추가로 패스트캠퍼스에서 LLMOps 강의를 하나 더 보고 있는데, 두개가 시너지 효과를 내면 좋겠다. 파이프라인을 구축하여 내부 문서 내에서 내용 기반으로 검색 할 수 있게 끔 만들어보고 싶다.