패스트캠퍼스 환급챌린지 39일차 : 조대협의 항로 2 : 실전 LLM 애플리케이션 개발 로드맵 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

#패스트캠퍼스 #환급챌린지 #패스트캠퍼스후기 #습관형성 #직장인자기계발 #오공완

https://fastcampus.info/4n8ztzq

1. 학습 인증샷 5장 이상 포함
① 오늘자 날짜, 공부 시작 시각 포함 사진 1장
② 오늘자 날짜, 공부 종료 시각 포함 사진 1장
③ 1개 클립 수강 인증 사진 (강의장 목록 캡쳐, 강의 내용이 담긴 수강화면이 보이지 않도록) 1장
④ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)
⑤ 마이페이지 - 학습통계 - 챌린지 대상 강의 완강률 캡쳐 사진 1장

오늘 들은 강의

01. 실습 개발환경 설정 

오늘 느낀 점

오늘은 구글 코랩을 셋팅했다. 사실 예전에 해놓은게, 뭔가 다 날아가서 코랩은 좀 휘발성인거 같다. 이 실습을 위해 내 서버에 쥬피터허브를 깔아 보았다. 해당 시간이 매우 오래 걸렸는데, 결국은 잘 되었다. 근데 이게 잘 모르다 보니까 이게 폴더도 접근하고, 코드도 실행하는거다 보니 보안이 중요할 것 같았다. 보안은 중요할 것 같은데, 로그인이 잘 안되도 접속이 되다 보니까 이게 불안했다. 

그리고 LLM 의 경우도 Exaone 등 여러가지를 올려보았다. 그런데, 이게 잘 서빙이 안되는거 같다. 성능 부족은 아닌 것 같은데 매우 불안하고 응답이 잘 오지 않았다. vLLM, llama.cpp, ollama 를 해보았는데 다 좀 부족 하더라. 그런데, xlm 도 지금 조금 해보고 있는데, 맥 용이라 해서 약간 기대가 된다. 물론 로컬에서는 다들 응답이 빠른데, 이것만 느리다. 

그리고 LMStudio 도 있는데 그걸 설치를 해보고 싶은데 CLI 로 밖에 안 되니까 어려웠다. 

그래서 서버에 JupyterHub 깔면서 보안 문제에 신경을 썼어야 했는데, 솔직히 설정하는 게 복잡하고 어려웠다.

기본 설정으로 두면 로그인 없이 접속되는 게 너무 위험하니까, SSL도 적용하고 인증 방식도 바꿔야 했다. 그런데 설정이 꼬이면 아예 접속이 안 돼서 애를 먹었다. 결국 시간 들여서 인증 제대로 걸었는데, 그래도 혹시 모를 취약점이 있지 않을까 불안하다.

LLM 쪽도 마찬가지다. 여러 오픈소스 모델을 올려봤지만, 안정적인 서빙이 잘 안 된다. 자원 부족이 아니라 세팅 문제나 네트워크 지연, 또는 모델 최적화가 덜 된 탓 같다. 그래서 요즘은 로컬에서 돌리는 게 제일 속 편하다. 그래도 서버에 올려서 여러 명이 쓸 수 있게 하고 싶은데, 안정성 문제 때문에 쉽게 못 올리겠다. LMStudio도 CLI라서 쓰기 불편하고, GUI 버전 나오길 기다리는 중이다.

 

오늘도 화이팅이다. 아자아자!