가상현실 크로스플랫폼 미술관 V-ART V-ART: Cross-Platform Virtual Reality Art Museum

개요Overview

V-ART는 가상 전시 공간에서 작품을 관람하고, 작품에 관해 질문하며 해설을 받을 수 있는 크로스플랫폼 VR 미술관입니다. 동국대학교 종합설계 프로젝트로 ㈜요요인터렉티브와 10개월간 산학과제를 수행했으며, 작품 정보를 검색해 답변에 활용하는 LLM 기반 AI 도슨트와 RAG 파이프라인을 서비스에 통합했습니다.

V-ART is a cross-platform VR art museum where visitors can explore exhibitions, ask questions about artworks, and receive explanations. Developed through a ten-month capstone collaboration between Dongguk University and ㈜요요인터렉티브, the service integrates an LLM-based AI docent with a retrieval-augmented generation (RAG) pipeline that supplies artwork information for its answers.

해결하고자 한 문제Problem

가상 전시에 대한 수요가 증가했지만, 기존 플랫폼은 단순 관람 중심으로 구성되어 작품에 관한 텍스트 정보가 부족하고 사용자와 작품 사이의 상호작용도 제한적이었습니다. 작품별 질문에 응답하려면 이미지·메타데이터를 검색 가능한 형태로 정리하고, VR 클라이언트와 AI 서버 사이의 응답 지연을 고려한 데이터베이스를 구축해야 했습니다.

Virtual exhibition platforms offered limited textual information and few ways to interact with artworks beyond viewing them. Supporting artwork-specific questions required organizing images and metadata for retrieval, while accounting for response latency between the VR client and the AI server.

접근 방법Approach

• 작품 정보의 벡터화: 작품 이미지와 메타데이터에서 설명·키워드를 구성하고, 관련 정보를 벡터 문서로 저장해 의미 기반 검색이 가능한 데이터베이스를 구축했습니다.
• Semantic Search 기반 질의응답: 사용자 질의와 메타데이터를 바탕으로 관련 작가·작품 정보를 검색하고, 검색 결과를 질문·프롬프트와 함께 LLM에 전달하는 RAG 흐름을 구성했습니다.
• AI 도슨트와 VR 연동: 검색한 작품 정보를 바탕으로 생성한 답변과 해설을 VR 클라이언트에 제공했습니다. 클라이언트–AI 서버 간 응답 지연 문제에 대응하기 위해 RAG용 데이터베이스를 구축했습니다.

• Artwork embeddings: Organized descriptions and keywords derived from artwork images and metadata into vector documents, creating a database for semantic retrieval.
• Semantic search and question answering: Retrieved relevant artist and artwork information using the visitor's query and metadata, then supplied that context alongside the query and prompt to the LLM.
• AI docent integration: Returned generated answers and explanations to the VR client. A database supporting the RAG pipeline addressed the client–AI server latency bottleneck.

담당 역할My Role

데이터베이스 구축 및 서버 개발을 담당했습니다. 작품 정보의 벡터화와 Semantic Search를 지원하는 RAG용 데이터베이스를 구축하고, 검색 결과를 활용한 AI 질의응답·설명을 VR 서비스와 연결하는 서버 개발에 참여했습니다.

I was responsible for database construction and server development. My work included building the RAG database for artwork embeddings and semantic search, and developing the server that connects retrieval-based AI answers and explanations to the VR service.

결과Results

• Semantic Search 기반 질의응답과 LLM 생성형 설명을 통합한 크로스플랫폼 VR 미술관 서비스 구현.
• 10개월간의 산학과제를 통해 작품 데이터 처리, RAG용 데이터베이스 구축, AI 서버 개발 경험 확보.

• Implemented a cross-platform VR art museum integrating semantic-search question answering with LLM-generated explanations.
• Completed a ten-month industry–university project, gaining experience in artwork data processing, RAG database construction, and AI server development.