🧩 배경 우리 팀은 다양한 프롬프트 기반의 워크플로우를 설계하고 있고 그에 따라 문서 처리 파이프라인에서 임베딩 모델 호출이 핵심 요소로 들어간다(어딜 가나 마찬가지 아니겠냐만,,) 글로 설명하깅네 상황이 꽤 복잡하지만 아무튼 중요한 건! 우린 LLM 기반 파이프라인이 자주 바뀌는 상황에 놓여 있다는 것.병렬 처리가 많은 만큼 모델 설정값 관리가 자연스러운 병목 포인트가 되었다. 전에 얼핏 선임님의 이야기를 들은 기억이 있는데.. 이 문제를 "체감"한 시점:문제를 "체감"한 시점은 단순히 성능 때문이 아니라, 로그 보다가 였다 같은 모델을 계속해서 다시 만들고 있다는 로그->반복->반복->또 반복->..->그래서 의심했고->파보게(?) 됐다💭 고민의 내용처음에는 단순히 "모델 응답 속도가 좀 느리네?..