🧩 배경내가 맡은 일 요약 ver:방대한 양의 HTML 웹 문서를 파싱 -> LLM을 통해 자연어 문장 만들기 -> 벡터화 -> 기타 작업 -> ai search에 적재하기 자세한 ver:외부 데이터 HTML 웹 문서를 파싱하고 LLM을 활용해 자연어 문장으로 변환하는 로직을 담당하고 있다.이 데이터는 Azure AI SEARCH에 적재된다.적재된 데이터를 가지고 다양한 후속 RAG 및 연산(하이브리드 검색 등)을 거치게 될 것이다. 문제는 수많은 클라이언트가 작성한 문서들이라 눈으로 볼 땐 비슷해 보여도 실제 태그를 까보면 그 구조는 천차만별이라는 점이다.이런 태그 난장판(?) 속에서 LLM이 이해할 수 있도록 데이터를 깔끔하게 정리하여 던저주는 선봉장 역할을 맡고 있다 LLM에 던지는 데이터는:문서..