장인테크 JanginTech

🧩 배경배포 다음 날이라 간만에 찾아온 평화로운 시간~ 커피 한 잔 마시며 어제 배포한 코드를 다시 훑어봤다. 분명 기능은 잘 돌아가고 있었지만 어딘가 모르게 마음 한구석이 간지러웠다."지금은 문제없지만, 데이터 구조가 조금이라도 바뀌면 바로 터지는 거 아냐?" 하는 불안함도 있고 뭔가 더 좋은 구현방법이 있을 것 같고(100%)마침 시간도 좀 남겠다 이 찜찜함을 '근거 있는 코드'로 바꿔보기로 했다. 💭 고민의 내용가장 문제는 인덱스(i)에 의존하는 루프였다. LLM에 프롬프트를 던지고 응답을 받아올 때, 나는 당연히 보낸 순서대로 돌아올 거라 믿고 tmp_list[i] 같은 식으로 데이터를 매핑했다.그런데 문득 겁이 났다. "만약 네트워크가 튀어서 순서가 뒤바뀌면? 중간에 하나가 누락되면?" 내 ..

입사 후 10개월 된 내가 끄적였던 생각들.. 지금 보면 또 아닌 것(?)들이 꽤 보이는데..노션에 짱박혀있던걸 이곳으로 꺼내본다.. 🧩 배경: 마주한 거대한 숙제 입사 후 약 10개월, 사수님이랑 이사님의 가이드 아래 RAG 시스템의 기초를 다져왔다. '제발 에러만 나지 마라..!' 초기엔 AWS Bedrock이랑 OpenSearch 기반이었고, 당시 목표는 일단 데이터가 들어가고 답변이 나오는 것이었다.하지만 서비스가 점차 구체화되고 있는 시점에서 회사의 인프라 전략이 Azure로 바뀌었다.그러면서 마이그레이션이라는 거대한 숙제가 떨어졌다😲 💭 고민의 내용: 내가 짰지만 좀 너무하네..ㅎㅎ;;과거의 나는 *FAQ를 그냥 '글자가 적힌 표'로만 봤다. HTML에서 테이블 보이면 기계적으로 긁어..

🧩 배경FastAPI로 LLM 기반 응답을 생성하는 실시간 WebSocket 스트리밍 서비스를 만들고 있었다(얘를 □ 라고 칭하겠다!)이 서비스는 구조적으로 응답 과정이 여러 단계로 나뉘어 있다. 1. msg1 : “분석을 시작합니다.”2. msg2 : “모델을 준비 중입니다.”3. msg3 : 결과 표시 직전의 안내 메시지4. LLM 응답 스트리밍5. 내부 데이터 조합 후, 히스토리 인덱스 저장 사용자 경험이 중요한 서비스라“순서·타이밍·전송 타이밍”이 3박의 합이 아주 중요했다.그런데 한 가지 문제가 있었다. LLM 응답 생성이 꽤 오래 걸린다는 점이다그래서 msg 3 -> LLM 응답 사이가 너무 멀어서 사용자 입장에선 멈춘 것처럼 보인다는 의견도 나왔다. 이 빈 구간을 보완하기 위해msg3를 2..

현재상태:아직 업계가 명확히 정의되지 않은 상태라고 생각한다.AI 개발자? 백엔드? 엔터프라이즈/B2B 검색/지식 시스템 쪽 경험은 있음(내가 그동안 해왔던 거!) 내 방향성, 업계 전문성은 의도적으로 내가 고정하지 않으면 안 될 것 같다는 생각이 든다. 비교하는 거 별로 좋아하진 않는데.."같은 직무 내에서 "내가 상대적으로 더 잘하는 세부 분야/스킬이 있는가?" 1. 프롬프트 잘 짜는 거(차별성x)2. python api(누구나 함) 하지만 나는 이러한 고민들과 함께했다:1. 다중 서비스에서 검색/RAG가 망가지지 않게 설계하기2. 레거시 -> 신규로 전환할 때 쿼리/인덱스 타협(그니까, url 이름은 이대로가도 되는지? 아 이걸 바꾸면 다른 거랑 또 통일성이 깨지는데.. 왜 이 부분만 이렇게 설계..

🧩 배경오늘 드디어 리팩토링 할 수 있는 틈새시간이 주어진 날!!최근 코드 리팩토링 과정에서 반복되는 로직(주석으로 미리 표시해놨지롱)을 정리하고 사용하고 있는 멀티스레딩으로 문서 적재를 병렬 처리하는 구조를 좀 다듬으려고 했다 우선 내 삽질 기록 전에 내가 하고 있는 과업에 대해 간단히 설명1. 문서(html)를 청크(seq)로 쪼개서 적재하기 때문에, response는 문서 단위로 성공/실패/미분류된 문서 청킹 아이디 를 모아주어야 한다.1-1. 단순히 스레드가 몇 개 성공했는지가 중요한 게 아니라: A문서는 총 3개의 청크중 1개 성공, 2개 실패B문서는 총 15개의 청크중 15개 성공, 0개 실패이렇게 문서 청크 단위로 상태를 집계해야 나중에 통계/로직강화 등에 쓰일 수 있다! 2. 여기서, 스..

June 8, 2025 4:32 PM FastAPI 실습을 위해 미니콘다 설치하다가 만난 오류와 오류 해결 과정을 기록해보려고 한다. 📌 파이썬 버전 문제?찾아보니, 미니콘다가 파이썬 지원 버전을 축소해서 내가 갖고 있는 버전이 안 먹을 수도 있다는 걸 어디서 발견했다.근데그럴 리가 있나? 확인해 보자. 명령어: conda search "^python$"버젓이 있다. 📌 콘다 캐시 충돌?1. 캐시 삭제 및 메타데이터 정리2. 콘다 업데이트3. 채널 재설정4. 재시도했는데도 역시나 같은.. 오류다. 📌 default 채널?python은 잘 나오고(3.9.7), conda에서도 해당 버전을 지원해 준다면conda가 해당 버전의 python 패키지를 default 채널에서 못 찾고 있는 게 ..

언어 모델을 호출할 때 입력되는 텍스트를 '프롬프트'라고 한다. https://honge1122.tistory.com/106 [LangChain] Chat 모델 API 호출하기우선 랭체인 말고 파이썬 소스코드를 통해 API 호출을 해보려고 했는데,  openai.error.RateLimitError 에러가 떴다.  1. ⚠️RateLimitError?OpenAI API를 사용할 때 발생하는 오류로, 현재 할당량을 초과했음honge1122.tistory.com예전에 언어 모델 호출 실습으로 썼던 코드를 다시 가져와보겠다.  User라는 role로 gpt-3.5-turbo 모델을 호출해서 텍스트에 대한 결과를 요청하고 있다. 간단한 애플리케이션이면 위처럼 사용해도 큰 문제는 없지만 실제로 언어 모델을 활용한..

1. 호출import jsonimport openairesponse = openai.Completion.create( # ChatCompletion이 아닌 Completion 사용 engine="gpt-3.5-turbo-instruct", # model이 아닌 engine을 사용 prompt="오늘 너무 추워서 ", stop=".", max_tokens=50, temperature=0.5, n=2,)print(json.dumps(response, indent=2, ensure_ascii=False)) 요청할 메시지를 messages에 담아 정의하는 Chat 모델과는 달리,Complete 모델을 쓸 때는 prompt로 단일 메시지를 직접 지정한다. ..

우선 랭체인 말고 파이썬 소스코드를 통해 API 호출을 해보려고 했는데,  openai.error.RateLimitError 에러가 떴다.  1. ⚠️RateLimitError?OpenAI API를 사용할 때 발생하는 오류로, 현재 할당량을 초과했음을 의미한다.속도제한(1분) 기다려라, 토큰 더 적게 해라 등 여러 가지 해봤는데 다 무용지물이었다 ㅜAPI 키도 방금 만들었고, 계정도 문제없는데 뭐가 문제지 서치만 하다가 문득 카드 등록을 안 했다는 사실이 떠올랐다. https://platform.openai.com/settings/organization/billing/overview 소름 돋게도 카드 등록하고(openai한테 팔천얼마 뜯기고) 터미널 명령어 재실행하니까 정상적으로 호출된 것을 확인할 수 ..

랭체인 쓸라면 파이썬이 필요하다. 파이썬 3.10, 3.11 버전에서 테스트된 내용이라 11로 맞춰서 다운로드할 것이다.난 윈도우에서 VSCode로 랭체인을 실행할 것이므로, 내가 정리하는 모든 내용은 윈도우 기준이 되겠다.  1. Python 3.11 download마이크로소프트 스토어에서 python3를 검색하고 10 or 11을 다운로드한다.  그런 다음, Visual Studio Code를 다운로드하면 되는데 이미 깔려있으니 이 과정 기록은 생략하겠다.  VSCode  켜서 실습할 폴더 만들어주고, 파이썬 깔려있는지 확인해보겠다.다들 알겠지만 사진과 같이 버전이 다 나와야 정상 다운 완료 됐다는 의미다.혹시나 해서 말하겠는데 버전 없이 " Python"만 출력된다면 그건 잘못된 거다.다음 단계로 ..