일단 하고 보는 사람

나중보단 지금에 집중하되, 지금보단 나중에 완벽해지자💪🏻

langchain 6

[RAG 서비스별 설계] 세션 기반 RAG vs 단건 질의 RAG, 운영하면서 생긴 차이들

2026-03-02: 작성 (03일 배포)2026-03-03 18시 27분: 단어 '채널'을 '사용 서비스'로 수정 🧩 배경회사에서 내부 지식문서를 기반으로 답변을 생성하는 자유질의 서비스를 운영하고 있다.흥미로운 점은 같은 파이프라인을 공유하면서도 서로 다른 서비스에서 동작 방식이 조금씩 다르다는 거다.외부인의 입장에서 무슨 소리인가 싶을 수도 있겠지만서비스별로 사용 목적에 차이가 있다보니히스토리 사용 여부, 필터 정책, 검색 결과 개수(K라고 하겠다), 프롬프트 커스터마이징 같은 요소들이 자연스럽게 갈라져 있었다. 이에 대한 설명을 듣고 싶어 하는 팀원들에게 로직을 설명하기로 했다.당연하게도 팀원들이 다 같은 일을 하는 것은 아닌 데다, 이 업무는 내가 전적으로 맡았다정작 내가 “왜 이렇게 설계됐..

LLM 2026.03.03

💭 긴 텍스트 벡터화: 벡터화도 결국 사람처럼 "맥락"이 필요하다

https://honge1122.tistory.com/124 [나의 고민] 코드 짜고 나면 항상 찝찝해요요즘 부쩍 고민이 늘어 줄글을 쓰던 날이 늘었다.근데 맘 속의 응어리(?)가 풀리지 않아어떻게 할까 고민하다가이 과정을 나름 정리해서 어딘가 업로드(?)하는 것이 좋을 것 같다는 생각이 들었honge1122.tistory.com위 고민을 기록하고 나서 좋은 점:회사에서 과업을 미리 끝냈을 때 바로 주석으로 달려가서(?) 리팩토링을 할 기회를 get 할 수 있다!!! 🧩 배경 - 왜 이런 고민을 하게 되었는가? (팀 구조, 업무 환경 등)팀에서 내가 맡은 과업 중 하나로, Azure OpenAI 기반으로 LLM 응답을 임베딩/검색 등을 처리하는 로직을 짜야한다.당연한 말이지만 LLM(글 작성기..

LLM 2025.08.17

[Language Model] gpt 사용하기: Model I/O로 무엇을 할 수 있는지❓❓

언어 모델을 호출할 때 입력되는 텍스트를 '프롬프트'라고 한다. https://honge1122.tistory.com/106 [LangChain] Chat 모델 API 호출하기우선 랭체인 말고 파이썬 소스코드를 통해 API 호출을 해보려고 했는데,  openai.error.RateLimitError 에러가 떴다.  1. ⚠️RateLimitError?OpenAI API를 사용할 때 발생하는 오류로, 현재 할당량을 초과했음honge1122.tistory.com예전에 언어 모델 호출 실습으로 썼던 코드를 다시 가져와보겠다.  User라는 role로 gpt-3.5-turbo 모델을 호출해서 텍스트에 대한 결과를 요청하고 있다. 간단한 애플리케이션이면 위처럼 사용해도 큰 문제는 없지만 실제로 언어 모델을 활용한..

LLM 2025.02.05

[OpenAI] Complete 모델 API 호출하기

1. 호출import jsonimport openairesponse = openai.Completion.create( # ChatCompletion이 아닌 Completion 사용 engine="gpt-3.5-turbo-instruct", # model이 아닌 engine을 사용 prompt="오늘 너무 추워서 ", stop=".", max_tokens=50, temperature=0.5, n=2,)print(json.dumps(response, indent=2, ensure_ascii=False)) 요청할 메시지를 messages에 담아 정의하는 Chat 모델과는 달리,Complete 모델을 쓸 때는 prompt로 단일 메시지를 직접 지정한다. ..

LLM 2025.02.05

[LangChain] Chat 모델 API 호출하기

우선 랭체인 말고 파이썬 소스코드를 통해 API 호출을 해보려고 했는데,  openai.error.RateLimitError 에러가 떴다.  1. ⚠️RateLimitError?OpenAI API를 사용할 때 발생하는 오류로, 현재 할당량을 초과했음을 의미한다.속도제한(1분) 기다려라, 토큰 더 적게 해라 등 여러 가지 해봤는데 다 무용지물이었다 ㅜAPI 키도 방금 만들었고, 계정도 문제없는데 뭐가 문제지 서치만 하다가 문득 카드 등록을 안 했다는 사실이 떠올랐다. https://platform.openai.com/settings/organization/billing/overview 소름 돋게도 카드 등록하고(openai한테 팔천얼마 뜯기고) 터미널 명령어 재실행하니까 정상적으로 호출된 것을 확인할 수 ..

LLM 2025.01.15

[LangChain] LangChain 환경 세팅

랭체인 쓸라면 파이썬이 필요하다. 파이썬 3.10, 3.11 버전에서 테스트된 내용이라 11로 맞춰서 다운로드할 것이다.난 윈도우에서 VSCode로 랭체인을 실행할 것이므로, 내가 정리하는 모든 내용은 윈도우 기준이 되겠다.  1. Python 3.11 download마이크로소프트 스토어에서 python3를 검색하고 10 or 11을 다운로드한다.  그런 다음, Visual Studio Code를 다운로드하면 되는데 이미 깔려있으니 이 과정 기록은 생략하겠다.  VSCode  켜서 실습할 폴더 만들어주고, 파이썬 깔려있는지 확인해보겠다.다들 알겠지만 사진과 같이 버전이 다 나와야 정상 다운 완료 됐다는 의미다.혹시나 해서 말하겠는데 버전 없이 " Python"만 출력된다면 그건 잘못된 거다.다음 단계로 ..

LLM 2025.01.07