요약본 발명에 따른 증강현실 콘텐츠 제공 방법은 적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 있어서, 증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및 상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계;를 포함할 수 있다.
대표 청구항적어도 하나의 프로세서에 의하여 실행되는 손가락 재활 훈련을 위한 증강현실(AR: Augmented Reality) 콘텐츠 제공 방법에 의해 제공되는 증강현실 콘텐츠를 이용한 손가락 재활 훈련 시스템에 있어서, 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법은,증강현실 공간의 좌표계를 생성하는 단계; 모델링된 객체를 이용하여 가상의 배경 객체 및 상기 배경 객체에 결합되는 적어도 하나의 재활 도구 객체를 생성하고, 상기 생성된 배경 객체 및 재활 도구 객체를 상기 증강현실 공간에 불러오는 단계; 및상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계; 를 포함하고,상기 배경 객체 및 재활 도구 객체를 증강현실 공간에 불러오는 단계 이후, 환자가 상기 증강현실 콘텐츠를 이용하여 손가락 재활 훈련을 수행할 때, 재활 훈련을 보조할 수 있도록 재활 훈련 보조 프로그램을 생성하는 단계를 더 포함하고, 상기 재활 훈련 보조 프로그램을 생성하는 단계는, 착용형 증강현실 디바이스에서 선택된 타겟 재활 도구 객체에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 결합되는 상기 배경 객체의 결합부위에 강조 표시를 설정하는 과정과, 상기 타겟 재활 도구 객체가 상기 배경 객체의 결합부위에 기설정된 거리 이내로 근접한 경우, 상기 타겟 재활 도구 객체가 상기 배경 객체에 자동으로 결합하도록 설정하는 과정을 포함하고.상기 배경 객체 및 재활 도구 객체의 크기와, 회전, 및 배치 위치를 결정한 후 콘텐츠 DB에 저장하여 증강현실 콘텐츠를 생성하는 단계에서 배경 객체와 재활 도구 객체를 편집하기 위한 인터페이스를 제공하고,상기 증강현실 공간의 좌표계를 생성하는 단계는 특정 장소에 마커를 설치한 후 이를 촬영하고, 촬영된 카메라 영상에 마커를 기준으로 가상 좌표를 생성하는 것;을 특징으로 하고,손가락 재활 훈련 시스템은, 환자의 머리 부위에 착용되어 상기 환자의 손가락 부위를 촬영하고, 상기 촬영되는 손가락에 대응되는 손가락 모델을 생성한 후 이를 증강현실 콘텐츠 상에 반영하여 출력하는 착용형 증강현실 디바이스; 상기 환자의 손가락 재활 훈련을 위한 증강현실 콘텐츠가 저장되고, 상기 착용형 증강현실 디바이스를 이용하여 재활 훈련을 수행하는 상기 환자의 손가락 운동 정보를 저장하는 서버; 및 상기 서버로부터 상기 환자의 손가락 운동 정보를 제공받아 화면에 출력하는 모니터링부;를 포함하고, 상기 착용형 증강현실 디바이스는 HMD(Head Mounted Display) 또는 EDG(Eye Glasses-type Display)를 포함하고, 착용형 증강현실 디바이스는, 상기 환자의 머리 부위에 착용되는 본체부와, 상기 본체부를 착용하였을 때 환자의 양측 눈이 배치되는 부위에 설치되는 광학 투시형 디스플레이(Optical See-Through Display)와, 상기 본체부의 전방에 설치된 비전 센서를 이용하여 상기 환자의 손가락 움직임을 연속적으로 촬영하여 복수의 손가락 영상 프레임을 획득한 후, 상기 손가락 영상 프레임들 간의 화소값 차이를 산출하여 상기 환자의 손가락 움직임 경로를 추적하는 손가락 경로 추적 모듈과, 상기 본체부의 전방에 설치된 RGB-D 카메라를 이용하여 상기 환자가 주시하는 방향을 촬영하는 촬영 모듈과, 상기 서버와 무선 또는 유선 통신을 위한 통신 모듈;을 포함하고, 상기 서버는, 상기 환자의 정보를 입력하기 위한 입력부와, 상기 촬영 모듈로부터 획득한 RGB-D 데이터를 수신하고, 상기 RGB-D 데이터를 ICP(Iterative Closest Point) 알고리즘 또는 SLAM(Simultaneous Localization And Mapping) 알고리즘에 적용하여 상기 착용형 증강현실 디바이스의 자세를 추정하는 자세 추정부와, 상기 증강현실 콘텐츠의 좌표계와, 상기 촬영 모듈에 의해 촬영된 영상의 좌표계를 일치시키는 공간 동기화부와, 상기 손가락 경로 추적 모듈로부터 획득한 데이터를 이용하여 상기 증강현실 콘텐츠에 포함된 가상의 객체와 상호작용을 수행하는 상기 환자의 손가락 움직임 유형을 판단하는 판단부와, 상기 환자의 정보와, 상기 환자의 손가락 운동 정보와, 상기 증강현실 콘텐츠를 저장하는 데이터 저장부와, 상기 착용형 증강현실 디바이스와 무선 또는 유선 통신을 위한 통신 모듈을 포함하고, 상기 데이터 저장부(250)는 설정 데이터가 저장되는 설정 DB(254)를 포함하고, 상기 설정 데이터는 소리, 하이라이팅 레벨, 배경객체 투명도, 재활 도구 객체와의 상호작용 민감도, 상호작용 난이도, 재활도구 객체와 배경 객체가 자동으로 결합되는 거리값을 포함하고, 상기 판단부는 기계 학습(Machine Learning)을 이용하여 손가락 움직임 경로에 따른 손가락 움직임 유형을 분류하고, 상기 손가락 경로 추적 모듈로부터 기설정된 시간 동안 수신된 상기 환자의 손가락 움직임 경로를 상기 기계 학습의 학습 데이터로 활용하여 상기 환자의 손가락 움직임 유형을 판단하는며, 판단부의 손가락 움직임 유형 분류에 k-NN 알고리즘이 사용되는 것;을 특징으로 하는, 손가락 재활 훈련 시스템.
