LLM 9

Ollama와 Gemma3를 활용한 함수 호출

이 글은 Arjun Prabhulal님의 동의 하에 그분의 깊이 있는 분석과 자료를 사용하여 작성했습니다. 원문은 [Function calling with Gemma3 using Ollama]에서 확인하실 수 있습니다. 독자 여러분께 더욱 유익한 정보를 전달할 수 있도록 귀한 내용을 공유해 주신 Arjun Prabhulal님께 다시 한번 감사드립니다.함수 호출(Function Calling)은 모델이 자연어와 실제 세계의 액션 및 데이터 사이의 다리 역할을 하도록 지원하는 기능입니다. 이번 글에서는 구글의 강력한 오픈소스 LLM인 Gemma 3와 Ollama를 사용하여 실시간 검색을 수행하는 함수 호출 기능을 활성화하는 방법을 자세히 살펴보겠습니다. 로컬 LLM 모델이 API나 파이썬 함수와 같은 외부 ..

Cook AI 2025.05.20

Context7 MCP: LLM 코드 생성의 한계를 넘어서는 최신 정보 활용법

안녕하세요! IT 업계에서 LLM(대규모 언어 모델)은 정말 많은 변화를 가져왔죠. 하지만 LLM이 학습한 데이터가 최신이 아니어서 가끔은 부정확하거나 심지어 존재하지 않는 코드를 만들어내는 경우, 다들 한 번쯤 경험해 보셨을 거예요. 오늘은 바로 이런 문제를 해결해 줄 수 있는 멋진 도구, Context7 MCP (Model Context Protocol)에 대해 이야기해 보려고 합니다. 제 경험상 Context7 MCP를 활용하면 LLM이 항상 최신 라이브러리 문서와 코드 예제를 참고하게 되어서, 개발자들이 훨씬 더 정확하고 효율적으로 코딩하는 데 큰 도움을 받을 수 있더라고요.그래서, Context7 MCP가 정확히 뭔가요?Context7 MCP는 Upstash 팀에서 개발하고 꾸준히 관리하고 있는..

Cook AI 2025.05.10

LLM Cache 사용하기

주요 내용🤖 langchain_openai 라이브러리를 사용해 AI 챗봇 생성🌐 요약을 위한 PromptTemplate 사용⏱️ 코드 실행 시간 측정하기💾 InMemoryCache와 SQLiteCache로 캐싱 전략 구현# .env 파일에서 환경 변수를 로드합니다.from dotenv import load_dotenvload_dotenv()아래 코드는 langchain_openai 라이브러리에서 ChatOpenAI 클래스를 임포트 하고, gpt-4o-mini 모델을 사용하여 챗봇 인스턴스를 생성합니다. ChatOpenAI 클래스는 OpenAI의 언어 모델을 활용하여 대화형 AI를 구현할 수 있게 해 주며, 여기서는 gpt-4o-mini 모델을 사용하여 인스턴스를 초기화합니다.from langchai..

Cook AI 2024.08.14

LLM Agent 기반 구글 캘린더 자동 예약 서비스 구성하기

주요 내용Google 캘린더 API 설정 및 인증 과정 🛠️OpenAI GPT를 이용한 자연어 처리 및 일정 관리 🤖JSON 형식으로 일정 등록 및 관리 방법 📅1. 구글 캘린더 API 사용하기1-1. 일정 구글 API 연동하기 참고하여 OAuth 인증정보를 담은 파일을 다운로드하여야 합니다.1-2. [1-1]에서 생성한 client_secret_xxx.json 파일을 credentials.json라는 이름으로 변경해 주고 적당한 곳으로 이동시킵니다.1-3 구글 캘린더 API / calendar ID 설정아래 코드는 Google 캘린더 API를 사용하기 위한 설정 정보를 포함하고 있습니다. 사용자는 자신의 Google 캘린더 API 키(google_calendar_api_key)와 캘린더 ID(ca..

Cook AI 2024.08.09

LCEL을 사용하여 간단한 LLM 애플리케이션 구축

주요 내용📦 python-dotenv, langchain 등의 패키지 조용한 설치 방법🌐 . env 파일로부터 환경 변수 로드 및 관리🔗 LCEL을 사용한 LangChain 컴포넌트들의 chaining 기법 소개🚀 FastAPI와 uvicorn을 활용한 API 서버 구축 및 실행 방법🌍 다양한 언어로의 텍스트 번역 및 처리 기능 구현python-dotenv, langchain, langchain-cli, langchain-openai, langserve, uvicorn 패키지들을 조용히 업데이트하며 설치하는 방법을 설명합니다. 사용자는 이 명령어를 실행하여 필요한 패키지들을 최신 버전으로 업데이트하고 설치할 수 있습니다. 이 과정은 출력을 최소화하여 진행됩니다.%pip install -qU py..

Cook AI 2024.08.04

RAG 기반 커스텀 검색 결과로 답변 생성하기

주요 내용🛠 . env 파일을 사용한 환경 변수 관리로 코드 보안 강화📁 DirectoryLoader와 PyPDFLoader를 통한 다양한 형식의 문서 로드🤖 langchain_openai 라이브러리를 활용한 언어 모델과 프롬프트 템플릿의 사용🔍 비동기 검색과 BM25 Retriever로 효율적인 문서 검색 및 결과 병합💡 LLM을 사용하여 관련 쿼리 생성 및 답변 추출load_dotenv 함수를 호출함으로써,. env 파일 내에 정의된 환경 변수들이 프로그램의 환경 변수로 로드됩니다. 이는 보안이 중요한 정보(예: 데이터베이스 비밀번호, API 키 등)를 코드에 직접 하드코딩하지 않고 관리할 수 있는 효과적인 방법을 제공합니다.# .env 파일에서 환경 변수를 로드합니다.from dotenv ..

Cook AI 2024.08.04

OpenAI LLM 사용해보기 - 멀티모달

주요 내용🔒 . env 파일로 중요 정보 관리🤖 멀티모달 gpt-4o와 gpt-4-turbo 모델 소개🚀 langchain_openai와 multimodal 라이브러리를 사용한 AI 모델 초기화 및 스트리밍dotenv 라이브러리를 사용하여. env 파일로부터 환경 변수를 로드한다. 이를 통해 API 키와 같은 중요한 정보를 코드에 직접 하드코딩하지 않고 안전하게 관리할 수 있다.from dotenv import load_dotenv# .env로부터 API KEY 정보 가져오기load_dotenv()멀티모달은 텍스트, 이미지, 오디오, 비디오를 통합하여 처리하는 기술이나 접근 방식입니다. gpt-4o 또는 gpt-4-turbo 모델은 이미지 인식 기능(vision)이 포함되어 있습니다.이 코드는 la..

Cook AI 2024.08.03

OpenAI LLM 사용해보기 - 스트리밍

이 글에서는. env 파일과 gpt-3.5-turbo 모델을 사용하는 실용적인 예제를 제공합니다.주요 내용🔒 . env 파일을 사용해 중요 정보를 안전하게 관리하는 방법🤖 OpenAI gpt-3.5-turbo 모델을 활용하여 챗봇을 만드는 과정⚙️ ChatOpenAI 클래스와 llm.stream 메서드를 통한 실시간 AI 응답 구현dotenv 라이브러리를 사용하여. env 파일로부터 환경 변수를 로드합니다. 이를 통해 API 키와 같은 중요한 정보를 코드에 직접 하드코딩하지 않고 안전하게 관리할 수 있습니다. load_dotenv 함수는. env 파일에서 환경 변수를 읽어와 현재 환경에 로드합니다.from dotenv import load_dotenv# .env로부터 API KEY 정보 가져오기loa..

Cook AI 2024.08.03

OpenAI LLM 사용해보기 - 기본

주요 내용from dotenv import load_dotenv# .env로부터 API KEY 정보 가져오기load_dotenv()Truefrom langchain_openai import ChatOpenAI# OpenAI Chat 전용 LLM 객체 생성# https://api.python.langchain.com/en/latest/chat_models/langchain_openai.chat_models.base.ChatOpenAI.htmlllm = ChatOpenAI( temperature=0.1, # 창의성 (0.0 ~ 2.0) max_tokens=2048, # 채팅 결과로 생성되는 토큰의 최대개수 model_name="gpt-3.5-turbo", # 모델명)# 질의 내용ques..

Cook AI 2024.08.03