FastAPI, LLM 연동하기 (2) - FastAPI 사용 가이드
·
AI
async, await지난 포스팅에서 FastAPI, ASGI 등에 대해서 알아보았다.비동기 함수 개발을 위한 async, await 키워드에 대해서 알아보도록 하자Flask의 async, awaitFlask에서도 async, await 키워드를 지원하기는 한다고 한다.하지만 ASGI방식으로 동작하는 것은 아니며, 기존에 생각하던 비동기 방식과는 조금 다르게 동작한다.기본적으로 Flask는 WSGI + Thread per Request 구조 비동기 요청이 들어오면 이벤트 루프를 생성해서 처리→ 하지만 다른 스레드와 이벤트 루프를 공유하지는 않는다. 한 Request 내에서 여러 개의 비동기 이벤트를 처리해야 할 때 유용하게 쓸 수 있음참고 링크 : https://teus-kiwiee.tistory.com..
MCP & A2A
·
AI
Agent to Agent의 약자로, 에이전트끼리 통신하기 위한 표준 프로토콜 / SDK / 서버 프레임워크를 말한다.AI Agent란 ?AI 에이전트는 인간의 개입 없이 고객 문의를 이해하고 응답할 수 있는 지능형 시스템입니다. 머신 러닝과 자연어 처리(NLP)를 기반으로 간단한 질문에 대한 답변부터 복잡한 문제 해결, 멀티태스킹까지 다양한 작업을 처리할 수 있습니다.예시를 들어보면 이런 것들이 있을 것이다.업무 보조형 에이전트이메일 요약 Agent → Gmail 같은 곳에서 메일 본문 요약해주기Task 관리 Agent → "회의 잡아줘", "Jira 티켓 생성해줘" 같은 요청 처리정보 검색 & 분석 Agent날씨 검색 Agent → 외부 날씨 API 호출 후 결과 반환뉴스 크롤링 Agent → 특정 ..
FastAPI, LLM 연동하기 (1) - FastAPI 사용 가이드
·
AI
일단 하고 싶은 것 → 채팅(String)을 Input으로 보내서 스트리밍 방식으로 LLM에게 응답 받기 이걸 위해서 필요한 것들에 대해 공부를 해 볼 것이다.외부로부터 채팅을 입력받을 서버가 필요 = FastAPI채팅 내용을 기반으로 LLM에게 질의 = LangChain ? Langgraph ?응답 생성하여 리턴FastAPI, uvicornFastAPI란 현대적이고 빠르며, 파이썬 표준 타입 힌트에 기초한 Python3.6+의 API를 빌드하기 위한 비동기 웹 프레임워크이다. 이 프레임워크로 작성된 코드를 구동하기 위해서 어떤 명령어가 필요한지 대강 살펴보면 다음과 같다.uvicorn main:app --host 0.0.0.0 --port 8080 --reloadFastAPI 자체는 HTTP를 통해 들..