장인테크 JanginTech

🧩 배경FastAPI로 LLM 기반 응답을 생성하는 실시간 WebSocket 스트리밍 서비스를 만들고 있었다(얘를 □ 라고 칭하겠다!)이 서비스는 구조적으로 응답 과정이 여러 단계로 나뉘어 있다. 1. msg1 : “분석을 시작합니다.”2. msg2 : “모델을 준비 중입니다.”3. msg3 : 결과 표시 직전의 안내 메시지4. LLM 응답 스트리밍5. 내부 데이터 조합 후, 히스토리 인덱스 저장 사용자 경험이 중요한 서비스라“순서·타이밍·전송 타이밍”이 3박의 합이 아주 중요했다.그런데 한 가지 문제가 있었다. LLM 응답 생성이 꽤 오래 걸린다는 점이다그래서 msg 3 -> LLM 응답 사이가 너무 멀어서 사용자 입장에선 멈춘 것처럼 보인다는 의견도 나왔다. 이 빈 구간을 보완하기 위해msg3를 2..

🧩 배경 설명1. 일단 내가 지금 몸 담고 있는 플젝이 REST 로그 적재는 구현되어 있는데 ws는 안 되어 있음2. 그래서 해야 됨3. 시도4. 그런데 새로 붙인 웹소켓 서비스는 로그 수집 구조가 전혀 다름을 깨달음(당연함) 💭 고민의 내용send_json() 이 호출될 때마다 로그가 수백 건씩 쌓임.resToken이 738인 응답이 스트리밍 되면 ,,, 적어도 738+@ 건이 쌓이는 거임 그 하나의 리시브마다;;REST처럼 최종 하나만 남겨야 됨 🛠️ 해결을 위한 시도들1. 구글링검색 키워드: FastAPI Websocket, Logging, Websocket 로그 적재간지러운 부분을 딱 긁어줄 기술블로그를 찾을 수 없었음 2. 직접 시도Tabp 클래스 만들어서 send_json() 을 ..