[LLM] 텍스트 분할(TextSplit) 문서 분할은 RAG 시스템의 두 번째 단계로, 로드된 문서들을 효율적으로 처리하고 시스템이 정보를 보다 잘 활용할 수 있도록 준비하는 과정이다.크고 복잡한 문서를 LLM이 받아들일 수 있는 효율적인 작은 규모의 조각으로 나누는 작업이다. 01. 문자 텍스트 분할(CharacterTextSplitter)기본적으로 \n\n을 기준으로 문자 단위로 텍스트를 분할하고 청크의 크기를 문자 수로 측정한다.텍스트 분할 방식 : 단일 문자 기준청크 크기 측정 방식 :  문자 수 기준  CharacterTextSplitter를 사용하여 텍스트를 청크(chunk)로 분할할 수 있다.# 패키지 설치pip install -qU langchain-text-splittersfrom la..

[LLM] 도큐먼트 로더(Document Loader)도큐먼트 로더 (Document Loader)01. 논문(arxiv)Arxiv는 200만 편의 학술 논문을 위한 오픈 액세스 아카이브다.ArxivLoader를 사용해서 논문을 로드할 수 있다.# 패키지 설치pip install -qU arxivpip install -qU pymupdf# 로더 importfrom langchain_community.document_loaders import ArxivLoader# ArxivLoader를 사용하여 arXiv에서 문서를 로드합# query - 검색할 논문의 arXiv ID# load_max_docs - 로드할 최대 문서 수를 지정합니다.docs = ArxivLoader(query="1605.08386", l..

[LLM] 체인(Chains) - 문서 체인 문서 체인(Documents Chain)02-1. stuff documents chain문서 체인 중 가장 간단한 방식인 stuff documents chain은 문서 목록을 가져와서 모두 프롬프트에 삽입한 다음,그 프롬프트를 LLM에 전달한다. 이 체인은 문서의 크기가 작고, 몇개만 전달되는 애플리케이션에 적합하다. 그럼 예시로 사용자로부터 입력 받은 문장을 요약하는 요청을 처리하기위한 프롬프트 템플릿을 정의해보자.from langchain_community.llms import Ollamafrom langchain_core.prompts import ChatPromptTemplatefrom langchain.chains.combine_documents im..

[LLM] 체인(Chains) - 대화형 체인체인(Chain) 생성 단계는 이전의 7단계 과정을 모두 하나로 묶어 하나의 RAG 파이프라인으로 조립하여 완성하는 단계다.LCEL(LangChain Expression Language) 문법을 사용하여 이전 7단계의 전 과정을 하나의 체인으로 묶는다. 💡 LangChain Expression Language체인을 쉽게 구성할 수 있는 선언적 방식으로 랭체인을 더 쉽게 사용할 수 있게 해준다.LCEL 식은 파이프(|) 문자를 사용해 변수를 체인으로 연결한다.chain = prompt | model | output_parser서로 다른 구성 요소를 연결하고 한 구성 요소의 출력을 다음 구성 요소의 입력으로 전달한다. 대화형 체인(Conversation Chai..

[LLM] RAG (Retrieval-Augmented Generation)AI와 자연어 처리(NLP) 기술이 발전함에 따라, 우리는 점점 더 정교하고 똑똑한 언어 모델을을 접할 수 있게 되었다.그중에서도 RAG는 대규모 언어 모델의 한계를 극복하기 위해 고안되었다. RAG란 무엇인가?RAG는 Retrieval-Augmented Generation의 약자로 "검색 기반 생성"을 의미한다. 이는 단순히 주어진 입력에 대해 답변을 생성하는 기존의 언어 모델들과는 달리,외부 데이터베이스나 지식 그래프에서 관련 정보를 검색한 후 이를 바탕으로 답변을 생성하는 방식을 취한다. 이를 통해 모델이 훈련 데이터에 없는 정보에 대해서도 더 정확하고 풍부한 답변을 제공할 수 있다. RAG의 작동 원리RAG의 작동 원리는 ..

[LLM] 올라마 모델에 랭체인 적용하기Ollama 공식 문서의 튜토리얼python: https://github.com/ollama/ollama/blob/main/docs/tutorials/langchainpy.mdjava script: https://github.com/ollama/ollama/blob/main/docs/tutorials/langchainjs.md  llama2에서 호메로스의 오디세이아에 대해 정보를 요청하면 다음과 같은 답변을 얻을 수 있다. 💻 죄송합니다만 저는 언어모델이 큰 관계로 현실에 존재하지 않는 개인이나 가족에 대한 정보를 제공할 수 없습니다.Neleus는 실제 인물이나 캐릭터가 아니므로 가족이나 기타 개인 정보가 없습니다. 혼란을 드려 죄송합니다. 제가 더 도와드릴 일이..

[LLM] 랭체인(LangChain)랭체인(LangChaing)랭체인(LangChaing)은 언어 모델 기반의 애플리케이션을 개발하는 프레임워크다. 여러 LLM을 처리하는 작업은 복잡하며, 언어 모델을 사용한 프로그래밍은 어려울 수 있다.이때 사용하는 것이 랭체인이다. 랭체인을 사용해 문서 또는 구조화된 데이터에 대한 Q&A를 요약, 분석, 생성하고 이해하거나API와 상호작용하고 생성형 AI를 활용하는 여러 애플리케이션을 만들 수 있다. 랭체인의 주요 요소언어 모델은 랭체인을 통해 데이터 소스와 연결되고 상호작용한다.랭체인의 주요 요소는 모듈식 추상화 및 추상화 구현의 모음으로 구성된다. 랭체인은 추상화라는 것을 통해 LLM 애플리케이션의 프로그래밍을 간소화한다.💡 추상화사용자에게 불필요한 세부사항을 ..

저번 포스팅에서 LM Studio에 대해서 간략하게 설명을 했었는데,또다른 로컬 LLM을 활용할 수 있는 툴인 올라마에 대해서 알아보고자 한다. 올라마(Ollama)올라마는 GUI인 LM Studio와 달리 CLI로 로컬 LLM을 구성하여 활용할 수 있다. Mistral, Llama 3 등 다양한 오픈소스 LLM을 지원한다. 올라마에서 지원하는 모델은 아래에서 확인 할 수 있다. libraryGet up and running with large language models.ollama.com+) Open WebUI도 지원한다. GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)User-friendly We..

[LLM] LM StudioLM Studio는 컴퓨터에서 로컬 LLM을 실행하기 위한 데스크톱 애플리케이션이다.localhost에서 실행되는 API 서버를 통해 LM Studio 내에서 로드한 LLM을 사용할 수 있다. 요청과 응답은 OpenAI의 API 형식을 따르며,현재 OpenAI를 사용하는 코드가 localhost:PORT 대신 로컬 LLM을 사용하도록 지정한다. 지원하는 EndpointGET /v1/modelsPOST /v1/chat/completionsPOST /v1/embeddings POST /v1/completions 로컬 서버 구성1. 공식 홈페이지에서 OS에 맞는 LM Studio를 설치한다. 👾 LM Studio - Discover and run local LL..