패스트캠퍼스 환급챌린지 40일차 : 조대협의 항로 2 : 실전 LLM 애플리케이션 개발 로드맵 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

#패스트캠퍼스 #환급챌린지 #패스트캠퍼스후기 #습관형성 #직장인자기계발 #오공완

https://fastcampus.info/4n8ztzq

1. 학습 인증샷 5장
① 오늘자 날짜, 공부 시작 시각 포함 사진 1장
② 오늘자 날짜, 공부 종료 시각 포함 사진 1장
③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장
④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)
⑤ 마이페이지 - 학습통계 - 챌린지 대상 강의 완강률 캡쳐 사진 1장

 

오늘 들은 강의

01. 프롬프트 템플릿을 활용한 프롬프트 제어 이론

 

오늘 느낀 점

LLM 쪽도 다양한 실험을 해보고 있다. 예전엔 클라우드에서만 모델을 돌리는 걸 생각했는데, 요즘은 로컬 환경에서 직접 서빙하는 게 관심사다. 

vLLM, llama.cpp, ollama 같은 오픈소스 도구들을 써봤는데, 각각 장단점이 있었다.  
vLLM은 서빙 속도는 꽤 빠른 편이지만 설정이 복잡하고, 간혹 응답이 끊기거나 멈추는 문제가 있었다.  뭔가 서빙도 사실 그렇게 빠른지 모르겠지만 ..아무튼 뭔가 잘 안되었었다. 

llama.cpp는 로컬에서 가볍게 테스트할 땐 꽤 괜찮았지만, API처럼 서빙하거나 여러 명이 동시에 써보진 못했는데, 일단 내가 받은 모델이 추론형 모델이다 보니생각하는 과정을 출력하는 시간도 제법 길었다. Ollama는 설치나 실행이 간편해서 접근성이 좋았지만, 원하는 대로 커스터마이징을 하려면 제약이 많았다. 그런 와중에 최근에는 Qwen3 모델을 로컬에서 직접 돌려보고 있다. 

지금 설정은 제대로 된 것 같다. 결과가 매우 잘 나온다.  

맥용으로도 최적화됐다고 해서 기대를 했는데, 처음엔 잘 안 tokenizer 설정이나 포맷이 조금만 어긋나도 응답이 제대로 안 오거나, 아예 모델이 뻗는 경우도 있었다. 
그래도 여러 포맷을 실험하면서 gguf로 변환해서 llama.cpp로 돌렸을 땐 꽤 괜찮은 결과가 나왔다.

특히 애플 실리콘 기반 맥북에선 성능도 만족스러웠다. 

모델 돌려서 그걸로 실습 해보니까 돈도 안나오고 좋다. 로컬에서 직접 LLM을 돌리는 게 제일 속 편하다는 생각이 든다. 다만 다른 사람들과 함께 쓰고 싶다면 보안이나 안정성 문제를 무시할 수 없고, 그 부분을 해결하려면 시간이 더 필요할 것 같다. 오늘도 많은 시행착오를 겪었지만, 하나하나 해결해나가는 재미가 있다. 아직 완벽하진 않지만, 로컬에서 내가 원하는 환경을 구축해간다는 것 자체가 꽤 뿌듯하다. 오늘도 화이팅이다. 아자아자!