본문 바로가기

rag22

[논문 리뷰] SoK: Agentic Retrieval-Augmented Generation (RAG): Taxonomy, Architectures, Evaluation, and Research Directions Agentic RAG 서베이 논문(Singh et al., 2501.09136)을 읽은 후 이 논문을 발견했다. SoK(Systematization of Knowledge) 논문은 단순한 서베이가 아니다. 기존 연구들을 수학적으로 정형화하고 체계적으로 재정립하는 데 초점을 둔다.Singh et al.이 "무엇이 있는가"를 정리했다면, 이 논문은 "왜 그것이 Agentic RAG인가"를 수학적으로 증명하고, 기존 평가 방법의 구조적 한계와 시스템 리스크까지 다룬다.1. 이 논문의 핵심 기여Singh et al.과 가장 큰 차이점부터 짚고 가면:관점Singh et al. (2501.09136)이 논문 (2603.07379)접근 방식아키텍처 분류 중심수학적 정형화 + 분류핵심 기여7가지 아키텍처 Taxonom.. 2026. 4. 24.
[논문 리뷰] Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG 랩 세미나를 준비하다가 RAG 관련 서베이 논문을 읽게 됐다. 단순히 RAG의 최신 트렌드를 정리한 수준이 아니라, Agentic RAG 시스템 전체에 대한 분류 체계(Taxonomy) 를 새로 제안한 논문이라 꽤 인상적이었다.1. 왜 Agentic RAG인가?문제의식 : 3단계 논리① LLM의 근본적 한계GPT, LLaMA 같은 LLM은 정적인 사전 학습 데이터에만 의존하기 때문에:오래된 정보를 사실처럼 답함없는 내용을 지어냄 (Hallucination)현실이 바뀌어도 적응하지 못함② RAG가 해결사로 나왔지만 그것도 한계RAG는 추론 시점에 외부 데이터를 실시간으로 끌어와 LLM에 붙이는 방식이다. 그런데 전통적인 RAG 파이프라인은 정적이고 선형이라서:복잡한 멀티스텝 추론 불가깊은 맥락적 이해 부족.. 2026. 4. 24.
[논문 리뷰] Large Language Models Are Natural Video Popularity Predictors [논문 리뷰] LLM은 자연스러운 비디오 인기 예측기다 — VLM+LLM 기반 멀티모달 접근법1. 문제 정의 — 기존 연구의 한계비디오 인기 예측은 콘텐츠 제작자, 소셜 미디어 플랫폼, 광고주들에게 매우 중요한 과제다. 그러나 기존 연구는 두 가지 근본적인 문제를 안고 있었다. 첫째, post-hoc user engagement data에 대한 과의존이다. 업로더 평판, 조회수·댓글·좋아요 수, 외부 소셜 네트워크 규모 같은 사후적 집계 지표는 초기 사용자 반응을 반영할 뿐, 비디오 콘텐츠 자체의 품질을 포착하지 못한다.둘째, 멀티모달 데이터 처리 능력의 부재다. 텍스트, 음성, 시각적 콘텐츠가 복합적으로 얽혀 있는 비디오 데이터를 기존의 전통적 방법들은 통합적으로 처리하기 어렵다.셋째, 인기도의 1차원.. 2026. 4. 13.
[논문 리뷰] Large Language Models Are Natural Video Popularity Predictors LLM이 YouTube 영상의 인기도를 예측할 수 있다는 아이디어를 다룬 논문 리뷰를 시작하겠다.이 논문은 기존 연구들이 조회수, 좋아요 수 같은 사후적(post-hoc) 메타데이터에 의존하던 영상 인기 예측을 영상 콘텐츠 자체의 내재적 품질에 집중하는 방식으로 전환한다는 아이디어를 제안한다.Motivation : 왜 기존 방법이 부족한가?영상 인기 예측은 콘텐츠 제작자, 소셜 미디어 플랫폼, 광고주들에게 매우 중요한 과제다.기존 연구들은 주로 다음과 같은 특성에 의존했다.uploader reputation, view/comment/like counts, external social network size...이런 지표들은 영상이 올라간 이후 발생하는 초기 사용자 반응을 반영하기 때문에, 영상 콘텐츠 자.. 2026. 3. 25.
[논문 리뷰] Compressing Context to Enhance Inference Efficiency of Large Language Models LLM의 추론 효율을 높이기 위한 Context 압축 기법, Selective Context에 대한 논문 리뷰를 시작하겠다.이 논문은 LLM이 긴 Context를 처리할 때 발생하는 메모리·속도 문제를 해결하기 위해, 입력 Context에서 중복된(redundant) 내용을 자동으로 제거하는 방법을 제안한다.Motivation (왜 이 연구가 필요한가?)요즘 LLM을 활용할 때 RAG(Retrieval-Augmented Generation) 를 많이 사용한다.RAG : 모델이 학습하지 않은 정보를 Context로 주어 Hallucination(환각)을 줄이는 방식그런데 만약 이 Context가 점점 길어진다면 어떻게 될까?문제 1 : 메모리와 속도 Transformer 기반 LLM은 Self-Attent.. 2026. 3. 25.
GDG : AI 개발코스 Week12 RAG 구조 설계RAG는 세 가지 요소로 구성했다.파인튜닝한 Qwen 2.5 모델법률 PDF를 임베딩한 벡터 데이터베이스검색 결과를 프롬프트에 포함해 답변을 생성하는 파이프라인질문이 들어오면 먼저 관련 문서를 검색하고, 검색된 문서를 바탕으로 모델이 답변을 생성하도록 했다.법률 PDF 처리 및 벡터 DB 구축우선 국가공무원법 PDF 파일을 불러왔다. 텍스트를 추출한 뒤 약 500자 단위로 문단을 나눴다.각 문단을 SentenceTransformer로 임베딩한 뒤, ChromaDB에 저장했다.벡터 DB는 Google Drive에 저장하여, 다른 파일에서도 동일한 DB를 그대로 사용할 수 있도록 했다.파인튜닝한 모델 로드RAG 코드에서는 Unsloth를 사용하지 않았다.대신 HuggingFace와 PEFT를.. 2026. 2. 20.
GDG : AI 개발코스 Week10 10주 차에는 팀원이 파인튜닝한 모델을 테스트해 보고 RAG Pipeline 관련 토의를 진행했습니다.학습방식Unsloth 및 필수 라이브러리 설치unsloth 라이브러리를 설치하여 LLM 파인튜닝 속도를 최적화 & colab-new 옵션은 Colab 환경에 맞춰 설정.xformers, trl, peft, accelerate, bitsandbytes 등 파인튜닝에 필요한 주요 라이브러리들을 추가 설치.Unsloth 로드 확인unsloth에서 FastLanguageModel을 임포트 하고, "Unsloth & Xformers 설치 완료! 🚀" 메시지를 출력하여 라이브러리 로드 및 패치가 성공적으로 이루어졌는지 확인.모델 및 토크나이저 불러오기Unsloth의 FastLanguageModel을 사용하여 un.. 2026. 2. 2.
GDG : AI 개발코스 Week9 9주 차에는 새로 바꾼 전처리 데이터로 모델 학습 진행을 조금 진행했다.전처리의 핵심: [근거 - 설명 - 결론] 프레임워크가공의 핵심은 모든 데이터를 [판단 근거 → 상세 설명 → 최종 결론]이라는 3단계 구조로 통일한 것입니다.판단 근거에는 해당 사안에 적용되는 정확한 법령 조항을 명시했고,상세 설명에는 그 법령이 왜 이 사안에 적용되는지 추론 과정을 넣었으며,최종 결론에는 교사가 바로 확인할 수 있는 답변을 배치했습니다.이는 저희가 사용할 경량 모델에게 '답'만 외우게 하는 것이 아니라, 어떤 근거를 찾아 어떻게 사고해야 하는지 그 '사고의 사슬(Chain of Thoutgh)'을 이식하기 위한 설계였습니다.데이터 성격별 맞춤형 프롬프트 설계특히 모든 데이터를 일괄적으로 처리하지 않았습니다. 데이터.. 2026. 1. 28.
GDG : AI 개발코스 Week8 8주 차에는 데이터 전처리를 처음부터 다시 뜯어고쳤다..!왜냐하면 여러 문제점들을 전혀 고려하지 않고 전처리를 진행했기 때문이다.현재 문제점Qwen2.5-14b는 너무 크다. 심지어 Qwen2.5-7b도 크기 때문에, Qwen2.5-3b를 Base Model로 정해야 할 거 같다.전처리한 데이터(jsonl)가 RAG를 사용하기에 어려울 수 있다.정리 : Qwen2.5-3B 모델 사용 + RAG 도입으로 인해 데이터 전처리를 다시 해야 한다.앞으로 해야 할 것1. 데이터 전처리 다시 하기.‣ QA 데이터 전처리 방식‣ SUM 데이터 전처리 방식‣ 수정된 프롬프트 예시‣ 예상 결과이를 통해 RAG활용을 잘하는 모델이 된다(공무원 말투+참고문서 활용+법적논리 전개하는 태도 & 지능)2. 데이터 전처리 후, 모.. 2026. 1. 19.
[LangGraph] Tutorial LangGraph 공부를 하게 된 경위현재 반학기 빠르게 졸업프로젝트를 시작했다. 우리 팀의 목표는 RAG를 활용한 투자 조언 서비스 구현이었다. 팀은 두 명으로 나(AI)와 아는 형(Backend)으로 알차게 진행 중이었다. 나는 LangChain을 활용하여 RAG Pipeline까지 짜고 교수님에게 발표를 진행했는데, 교수님이 LangGraph라는 것을 활용하는 것은 어떻게 생각하는지 여쭤보셔서 LangGraph로 진행하게 되었다..! LangGraph를 이론적으로 배우긴 했지만, 빠른 시일 내에 적용하기 어려울 거 같아서 LangChain으로 하려 했지만,, 그래도 어쩌겠어. 시작해야지공부 방법https://github.com/teddynote-lab/langgraph-tutorial?tab=rea.. 2025. 11. 14.

티스토리툴바