Websocket: 비동기 이벤트 루프 자유롭게 조작하기

🧩 배경

FastAPI로 LLM 기반 응답을 생성하는 실시간 WebSocket 스트리밍 서비스를 만들고 있었다(얘를 □ 라고 칭하겠다!)

이 서비스는 구조적으로 응답 과정이 여러 단계로 나뉘어 있다.

 

1. msg1 : “분석을 시작합니다.”

2. msg2 : “모델을 준비 중입니다.”

3. msg3 : 결과 표시 직전의 안내 메시지

4. LLM 응답 스트리밍

5. 내부 데이터 조합 후, 히스토리 인덱스 저장

 

사용자 경험이 중요한 서비스라

“순서·타이밍·전송 타이밍”이 3박의 합이 아주 중요했다.
그런데 한 가지 문제가 있었다.

 

LLM 응답 생성이 꽤 오래 걸린다는 점이다

그래서 msg 3 -> LLM 응답 사이가 너무 멀어서 사용자 입장에선 멈춘 것처럼 보인다는 의견도 나왔다.

 

이 빈 구간을 보완하기 위해

msg3를 2초 뒤에 뿌리자는 의견이 나왔고 코드에 적용해보려고 했다.

말하기 좀 민망하지만.. UX 착시를 이용해 답변이 더 빨리 나온 것처럼 보이게 하고자했다..ㅎ😓

 

💭 고민의 내용

팀원 분과의 의논 당시 끄적였던 메모

 

내 의도는 아주 간단했다.

msg1 (즉시 표시)
↓
msg2 (즉시 표시)
↓
msg3 (원래는 바로 떠야 하지만 LLM 응답 처리가 너무 오래 걸려서 msg2를 더 오래 보여주기 위해 → 2초 뒤에 표시)
↓
LLM 실제 응답 스트리밍 시작 (딜레이 없이 즉시!)

즉,

1. 메시지 표시 순서는 유지

2. msg3을 2초 뒤에 뿌림(msg2는 2초 더 보여주는 꼴)

3. 이거랑 별게로 스트리밍은 진행되어야 함

이 3가지를 충족하는 코드가 필요했다.

 

그런데 문제는... msg3이 모든 연산이 끝난 뒤에 등장한다는 것이었다.

 

내가 만든 delay_send가 실행까진 가는데 연산이 다 끝난 뒤에 전송됐다.

 

그러니까

msg1 -> msg2 -> LLM 응답 -> msg3

와 같은 말도 안 되는 로직을 만든 거다ㅜㅜ

 

UX 개선은커녕 더 이상해지고 말았다

 

 

🛠️ 해결을 위한 시도들

꽤 많은 시도를 했다

•  asyncio.create_task, loop.create_task 다 써봄
• await asyncio.sleep(0)로 루프 양보 시도
• await asyncio.to_thread로 분리 시도
• WebSocketTap 내부 await 제거
• 내부 플러시 조사

별별 걸 다해본 결론은 이거였다

Websocket 메시지 전송 send_json() 은
같은 event loop 안에 있으면 내 맘대로 할 수가 없다

 

이벤트 루프가 다른 작업 때문에 바쁘면 delay가 끝나도 send_json은 뿌릴 기회를 얻을 수가 없는 것이다.

 

해결책

답은 의외로 간단한 것이었다

delay_send를 이벤트 루프에서 분리시키면 된다!

즉

1. delay는 스레드에서 처리

2. delay 끝나면 스레드 안에서 asyncio.run()으로 직접 쏘기

이렇게 하면 send_json은 메인 루프가 뭘하고있던 상관없이  'delay 한 뒤에 msg3 전송'을 실행할 수 있다.

 

메인 루프

• 여러 연산들..
• LLM 연산 메서드()

별도 스레드

• sleep(2)
• asyncio.run(ws.send_json(msg3))

 

📈 변화

내가 원하던 흐름이 만들어졌다!

이제 메시지가 정확히 2초 뒤 뜨고 그 사이에 연산은 자연스럽게 병행된다.

 

실제 LLM 연산 시간은 여전히 7초대지만

UX적으로는 5초처럼 느껴지게 했다 😊😊

 

📌 회고 & 다음 목표

이번 문제를 겪으며 크게 배웠다:

 

비동기 코드는 단순히 await를 많이 쓰는 게 아니라,
“루프가 언제 누구에게 기회를 주는가”를 이해해야 했다.
다음 목표는 asyncio 내부 event loop를 직접 커스터마이징해
I/O-heavy 작업에서도 완벽한 타이밍 제어를 시도해보는 것.