요약본 발명은 데이터베이스 및 연산기능을 가진 제어서버에 의해 수행되는, 생성형 AI 기반 건설현장 안전관리 방법에 관한 것이다. 본 발명은 데이터셋 구축부(100)에서, 건설객체, 작업자 또는 구조물 중 적어도 하나에 관한 건설현장 이미지가 수집되고, 전처리되어, 생성형 비전-언어 모델(VLM)에 입력가능한 입력 데이터셋이 구축되는 S100 단계; 프롬프트 생성부(200)에서, 상기 입력 데이터셋에 대한 입력 프롬프트 및 퓨샷(few-shot) 예시 프롬프트를 포함하는 최종 프롬프트가 생성되는 S200 단계; 지시-응답 데이터 생성부(300)에서, S100 단계에서 구축된 입력 데이터셋과 S200 단계에서 생성된 프롬프트가 생성형 비전-언어 모델(VLM)에 입력되고, 기 설정된 지시 유형에 대한 지시-응답 데이터가 생성되는 S300 단계; 제1 파인튜닝부(400)에서, 생성형 비전-언어 모델(VLM)에 속한 비전 인식부에 대한 부분 파인튜닝이 독립적으로 우선 수행하는 S400 단계; 및 제2 파인튜닝부(500)에서, S400 단계가 수행된 비전 인식부가 포함된 생성형 비전-언어 모델(VLM)에 대한 전체 파인 튜닝이 수행되는 S500 단계;가 포함된다.
