본문 바로가기

llm11

[논문 리뷰] Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG 랩 세미나를 준비하다가 RAG 관련 서베이 논문을 읽게 됐다. 단순히 RAG의 최신 트렌드를 정리한 수준이 아니라, Agentic RAG 시스템 전체에 대한 분류 체계(Taxonomy) 를 새로 제안한 논문이라 꽤 인상적이었다.1. 왜 Agentic RAG인가?문제의식 : 3단계 논리① LLM의 근본적 한계GPT, LLaMA 같은 LLM은 정적인 사전 학습 데이터에만 의존하기 때문에:오래된 정보를 사실처럼 답함없는 내용을 지어냄 (Hallucination)현실이 바뀌어도 적응하지 못함② RAG가 해결사로 나왔지만 그것도 한계RAG는 추론 시점에 외부 데이터를 실시간으로 끌어와 LLM에 붙이는 방식이다. 그런데 전통적인 RAG 파이프라인은 정적이고 선형이라서:복잡한 멀티스텝 추론 불가깊은 맥락적 이해 부족.. 2026. 4. 24.
[논문 리뷰] Large Language Models Are Natural Video Popularity Predictors [논문 리뷰] LLM은 자연스러운 비디오 인기 예측기다 — VLM+LLM 기반 멀티모달 접근법1. 문제 정의 — 기존 연구의 한계비디오 인기 예측은 콘텐츠 제작자, 소셜 미디어 플랫폼, 광고주들에게 매우 중요한 과제다. 그러나 기존 연구는 두 가지 근본적인 문제를 안고 있었다. 첫째, post-hoc user engagement data에 대한 과의존이다. 업로더 평판, 조회수·댓글·좋아요 수, 외부 소셜 네트워크 규모 같은 사후적 집계 지표는 초기 사용자 반응을 반영할 뿐, 비디오 콘텐츠 자체의 품질을 포착하지 못한다.둘째, 멀티모달 데이터 처리 능력의 부재다. 텍스트, 음성, 시각적 콘텐츠가 복합적으로 얽혀 있는 비디오 데이터를 기존의 전통적 방법들은 통합적으로 처리하기 어렵다.셋째, 인기도의 1차원.. 2026. 4. 13.
[논문 리뷰] Large Language Models Are Natural Video Popularity Predictors LLM이 YouTube 영상의 인기도를 예측할 수 있다는 아이디어를 다룬 논문 리뷰를 시작하겠다.이 논문은 기존 연구들이 조회수, 좋아요 수 같은 사후적(post-hoc) 메타데이터에 의존하던 영상 인기 예측을 영상 콘텐츠 자체의 내재적 품질에 집중하는 방식으로 전환한다는 아이디어를 제안한다.Motivation : 왜 기존 방법이 부족한가?영상 인기 예측은 콘텐츠 제작자, 소셜 미디어 플랫폼, 광고주들에게 매우 중요한 과제다.기존 연구들은 주로 다음과 같은 특성에 의존했다.uploader reputation, view/comment/like counts, external social network size...이런 지표들은 영상이 올라간 이후 발생하는 초기 사용자 반응을 반영하기 때문에, 영상 콘텐츠 자.. 2026. 3. 25.
[논문 리뷰] Compressing Context to Enhance Inference Efficiency of Large Language Models LLM의 추론 효율을 높이기 위한 Context 압축 기법, Selective Context에 대한 논문 리뷰를 시작하겠다.이 논문은 LLM이 긴 Context를 처리할 때 발생하는 메모리·속도 문제를 해결하기 위해, 입력 Context에서 중복된(redundant) 내용을 자동으로 제거하는 방법을 제안한다.Motivation (왜 이 연구가 필요한가?)요즘 LLM을 활용할 때 RAG(Retrieval-Augmented Generation) 를 많이 사용한다.RAG : 모델이 학습하지 않은 정보를 Context로 주어 Hallucination(환각)을 줄이는 방식그런데 만약 이 Context가 점점 길어진다면 어떻게 될까?문제 1 : 메모리와 속도 Transformer 기반 LLM은 Self-Attent.. 2026. 3. 25.
[논문 리뷰] Modular RAG Transforming RAG Systems into LEGO-like Reconfigurable Frameworks 논문 탐구: Modular RAG, RAG 시스템을 레고처럼 조립하다현재 진행 중인 DEVOCEAN 오픈랩 프로그램(Advanced RAG Technique 기반 비즈니스 특화 생성형 AI서비스 개발에 대한 연구)에서 진행한 논문 발표를 블로그에 작성해 보겠습니다~ 오늘 소개해드릴 논문은 바로 2024년에 나온 "Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks"입니다.이 논문은 RAG의 발전 과정을 체계적으로 정리하고, RAG 시스템을 마치 레고 블록처럼 유연하게 조립할 수 있는 '모듈형(Modular)' 패러다임을 제안합니다.복잡해 보이는 RAG 시스템을 어떻게 레고처럼 조립한다는 걸까요? 이 논문의 핵심을 파.. 2025. 9. 24.
[LangChain & RAG 공부] 출력 파서 지난번 배운 PART 2의 '프롬프트'에 이어서,PART 2의 Chapter 6인 '출력 파서'에 대해서 배울 것이다.Chapter 6. 출력 파서 : LLM의 출력값을 더 유용하고 구조화된 형태로 해석해서 변환(파싱)하는 역할 주로 LangChain 프레임워크에서 다양한 종류의 '출력 데이터'를 파싱하고 처리하는 데 활용된다. 즉, 출력 파서를 사용해서 LLM의 응답을 구조화한다! 두 개의 output을 보면, 출력 파서 사용 전은 '우리가 원하는 핵심내용'이 빠져 있을 수 있다.출력 파서를 사용하면 위처럼 JSON 형식으로 구조화된 답변을 얻을 수 있다.(JSON : 파이썬의 딕셔너리처럼 key : value의 항목이 쌍으로 묶인 형식) 여기서 보낸 사람, 이메일 주소, 날짜 형식처럼 사전에 정의된 .. 2025. 8. 6.
[LangChain & RAG 공부] 프롬프트 오늘부터 PART 2 '프롬프트와 출력 파서'에 대해서 배울 것이다.PART 2는 Chapter5와 Chapter6으로 이루어져 있다.Chapter 05. 프롬프트프롬프트 단계 : 리트리버(retriever)에서 검색된 문서들을 바탕으로 언어 모델이 사용할 질문이나 명령을 생성하는 과정'RAG 이해' 게시글에서 사용했던 그림을 가져왔다.빨간 네모로 표시된 RAG 과정 이후 만나는 것이 Prompt이다. LLM 프롬프트 템플릿 : AI 모델과의 상호작용을 표준화하고 효율적으로 만들어 주는 구조화된 텍스트 형식5.1 프롬프트 템플릿 만들지시 사항(Instruction)사용자가 입력한 질문(Question)검색된 정보인 문맥(Context)c.f.1.당신은 질문-답변(Question-Answer) Task를 .. 2025. 8. 1.
[LangChain & RAG 공부] LangChain 시작하기2 이어서 PART 1의 CHAPTER4 "LangChain 시작하기'를 마저 진행하겠다.저번 시간에는 체인에 이것저것을 추가하면서 LLM에 대해 배워보았다.Chapter 04. LangChain 시작하기4.7 batch() 함수로 일괄 처리하기Runnable이라는 프로토콜을 사용해서 '사용자 정의 체인'을 만들 것이다. Runnable : LangChain에서 프롬프트 템플릿, LLM 호출기, 출력 파서 등 다양한 컴포넌트들을 연결하고 실행하는 방식을 표준화한 공통 인터페이스 Runnable 프로토콜 : 표준화된 인터페이스를 제공해 사용자의 요구에 맞게 체인을 호출할 수 있다. Runnable 표준 인터페이스stream() : 응답의 청크를 스트리밍 한다.invoke() : 입력에 대해 체인을 호출한다.b.. 2025. 7. 31.
[LangChain & RAG 공부] LangChain 시작 Chapter 04. LangChain 시작하기이제 실습을 시작해 보자.이 책의 저자가 깃허브에 올려놓은 프로젝트를 다운로드하였다. (이제 돈 쓸 시간..!)4.1 ChatOpenAI 주요 매개변수와 출력OpenAI 사의 채팅 전용 Large Language Model(LLM)이다.즉, 우리는 Chat GPT를 가져와서 사용할 것이다. 여러 가지 매개변수가 존재한다.temperature샘플링 온도(답변을 얼마나 창의적으로 할 것인지)0~2 사이의 값을 선택한다(높을수록 출력을 더 무작위 하게 만들고, 낮을수록 더 집중되고 결정론적으로 만든다.).max_tokens채팅 완성에서 생성할 토큰의 최대 개수값 미지정 시, 모델에서 허용된 최대 토큰 수까지 허용model_name적용가능한 모델 리스트c.f. gp.. 2025. 7. 29.
[LangChain & RAG 공부] 환경 설정 & LLM 기본 용어 Chapter 02. 환경 설정나는 맥북을 사용 중이라 책에서 Part.02 MacOS에서 환경 설치를 따라했다. 이 책이 정말 잘 되어있는 게, 내가 따라 하면서 단 한 번도 막힌 적이 없었다..!나는 이런 실습 전 환경 설치에서 막힐 때가 정말 많았었다. 왜 그런지는 모르겠지만..환경 설치 중, pyenv와 poetry를 설치했다.pyenv : 파이썬의 버전을 선택해서 실행할 수 있게 도와주는 도구이다.poetry : LangChain을 배울 때 파이썬의 다양한 기능을 사용하기 위해 많은 파이썬 패키지를 설치하게 된다. 이때 패키지 충돌을 관리해 주는 도구이다. 환경 설치가 완료되면 VS Code까지 설치해 주었다.이제 OpenAI API Key와 LangSmith Key를 발급받자.1. OpenAI.. 2025. 7. 25.

티스토리툴바