Category: Generative AI

LLaVA-NeXT-Video 모델 소개 LLaVA-NeXT-Video 모델은 LLaVA-NeXT의 후속 모델로, 비디오 이해 능력을 강화한 대형 멀티모달 모델 (Large Multimodal Model, LMM)입니다. 이 모델은 주로 텍스트-이미지 데이터로 학습된 LLaVA-NeXT를 기반으로 하여 비디오 데이터에 대한 성능을 향상시키기 위해 개발되었습니다. 주요 특징 제로샷(Zero-shot) 비디오 표현 능력: LLaVA-NeXT-Video는 AnyRes 기술을 활용하여 고해상도 이미지를 여러 이미지로 분할하고, 이를 사전 학습된 비전 트랜스포머 […]

이 글에서는 Multimodal LLM과 Multimodal Embedding을 활용하여 Multimodal RAG를 구현하는 몇 가지 방법을 제안하고, 하나의 예시 애플리케이션으로 패션 상품 검색을 위한 챗봇 구현 방안을 소개합니다. 주요 기술 개념 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 대규모 언어 모델 (Large Language Model, LLM)이 응답을 생성하기 전에, 외부 지식 소스를 참조하여 보다 정확하고 풍부한 답변을 생성하도록 개발된 기술입니다. […]

인공지능, 특히 대형 언어 모델(LLM)의 개발 및 배포 분야에서 Langfuse는 혁신적인 플랫폼으로 부상하고 있습니다. Langfuse는 개발팀이 공동으로 LLM 애플리케이션을 디버깅하고, 분석하며, 반복 개선을 할 수 있도록 도와주는 오픈 소스 LLM 엔지니어링 플랫폼입니다. 이 블로그 포스팅에서는 AWS Cloud Development Kit (CDK)를 활용하여 Amazon Elastic Container Registry (ECR) 및 Amazon Elastic Container Service (ECS)와 AWS Fargate를 사용하여 […]

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Model, LLM)과 효율적인 데이터 검색 기능을 결합하여 정확하고 관련성 높은 응답을 생성하는 유망한 생성형 AI 기술입니다[1, 2]. RAG 방식은 최신 정보를 반영함으로써 답변의 부정확성이나 환각을 줄일 수 있어 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 다양한 자연어 처리 작업에서 인상적인 성능을 보임에도 불구하고보다 […]

KT의 ‘AI Food Tag’는 사진 속 음식의 종류와 영양 성분을 알려 주는 인공지능(AI) 기반 식이 관리 솔루션입니다. KT가 개발한 Vision 모델은 레이블(Label)이 없는 대용량 이미지 데이터로 학습한 사전 학습 모델이 적용되어,  다양한 음식들의 영양 성분과 칼로리 정보를 분석하여 당뇨 등 만성질환 환자의 식단 관리에 도움을 줄 수 있습니다. 이러한 ‘AI Food Tag’ 모델의 학습 성능 […]

2023년 6월부터 AWS 서울 리전에서 EC2 G5인스턴스를 사용할 수 있게 되었습니다. 여기서는 Falcon Foundation Model을 Amazon SageMaker JumpStart를 이용해 AWS 서울 리전의 EC2 G5에 설치하고, 웹 브라우저 기반의 Chatbot을 생성하는 방법에 대해 설명합니다. Falcon FM은 HuggingFace의 Open LLM Leaderboard에서 상위권(2023년 7월 기준)에 위치할 만큼 우수한 성능을 가지고 있으면서도, 아파치 2.0 라이선스 정책에 따라 상용을 포함하여 누구나 자유롭게 사용할 […]

이 글은 AWS Machine Learning Blog에 게시된 Interactively fine-tune Falcon-40B and other LLMs on Amazon SageMaker Studio notebooks using QLoRA by Sean Morgan, Philipp Schmid, and Lauren Mullennex를 한국어로 번역 및 편집하였습니다. 대규모 언어 모델(LLM; Large Language Models)을 파인튜닝(Fine-tuning) 하면 오픈 소스 파운데이션 모델(Foundation model)을 개선하여 도메인별 작업에서 더욱 향상된 성능을 끌어낼 수 있습니다. 이 […]