장인테크 JanginTech

현재상태:아직 업계가 명확히 정의되지 않은 상태라고 생각한다.AI 개발자? 백엔드? 엔터프라이즈/B2B 검색/지식 시스템 쪽 경험은 있음(내가 그동안 해왔던 거!) 내 방향성, 업계 전문성은 의도적으로 내가 고정하지 않으면 안 될 것 같다는 생각이 든다. 비교하는 거 별로 좋아하진 않는데.."같은 직무 내에서 "내가 상대적으로 더 잘하는 세부 분야/스킬이 있는가?" 1. 프롬프트 잘 짜는 거(차별성x)2. python api(누구나 함) 하지만 나는 이러한 고민들과 함께했다:1. 다중 서비스에서 검색/RAG가 망가지지 않게 설계하기2. 레거시 -> 신규로 전환할 때 쿼리/인덱스 타협(그니까, url 이름은 이대로가도 되는지? 아 이걸 바꾸면 다른 거랑 또 통일성이 깨지는데.. 왜 이 부분만 이렇게 설계..

🧩 배경내가 맡은 일 요약 ver:방대한 양의 HTML 웹 문서를 파싱 -> LLM을 통해 자연어 문장 만들기 -> 벡터화 -> 기타 작업 -> ai search에 적재하기 자세한 ver:외부 데이터 HTML 웹 문서를 파싱하고 LLM을 활용해 자연어 문장으로 변환하는 로직을 담당하고 있다.이 데이터는 Azure AI SEARCH에 적재된다.적재된 데이터를 가지고 다양한 후속 RAG 및 연산(하이브리드 검색 등)을 거치게 될 것이다. 문제는 수많은 클라이언트가 작성한 문서들이라 눈으로 볼 땐 비슷해 보여도 실제 태그를 까보면 그 구조는 천차만별이라는 점이다.이런 태그 난장판(?) 속에서 LLM이 이해할 수 있도록 데이터를 깔끔하게 정리하여 던저주는 선봉장 역할을 맡고 있다 LLM에 던지는 데이터는:문서..

Tistory에는 너무 오랜만에 기록하는 거 같은데,, 일단 내가 하고 있는 일중 하나는 바로 LLM 데이터 쌓는 작업이다. 자세히 쓸 순 없지만 Azure AI Search에 적재한 HTML 문서에 특정 키워드에 대한 특정 항목을 특정 포맷에 맞춰 요약 출력하는 로직을 구현하다가 겪은 일이다. 📌 LLM 호출 결과의 부재.. 대체 왜?????그렇다. LLM 기반 RAG 로직 짜다가 겪은 일이다.데이터 흐름상 서치필드에 관한 파라미터도 정상적으로 흘러가고, 디버깅 과정에서도 query 값과 document 모두 이상이 없었다.너무 답답해서 각 필드 하나하나 뜯어봤는데 정. 확. 히. 일치했다. 그러나 LLM 호출 이후 반환값과 쿼리가 모두 빈 문자열로 처리되는 현상이 발생했다 😢처음에는 금방 해결할 ..

https://www.aladin.co.kr/shop/wproduct.aspx?itemid=358914912&ptid=14&srsltid=afmboorgmrfnwyrwfvjpj2apzilawcqstkdmzjcqgesyytsnyw2zjths Azure OpenAI로 ChatGPT와 LLM 시스템 쉽고 빠르게 구축하기 : 알라딘단계별로 배우는 효율적인 AI 시스템 구축법. 빠르게 발전하는 AI 기술의 중심에는 마이크로소프트 Azure OpenAI가 있다. 이 책은 실무에서 바로 활용할 수 있도록 생성형 AI와 ChatGPT 모델의 도입부터www.aladin.co.kr 위 책을 읽고 개인적으로 느낀 부분들을 공유해보고자 한다.  ✨ 책을 만나게 된 계기 최근 몇 년 사이 생성형 AI는 단순한 기술 트렌드를 넘..