AI-Hub

데이터 변경이력

데이터 히스토리

소개

학술논문 구조 이해를 위해 논문 내 텍스트, 이미지를 포함한 멀티모달 데이터 구축

구축목적

학술·연구 분야 업무 보조 서비스 개발 실증의 지원을 통한 AI 일상화 촉진
한국어 학술논문의 멀티모달 학습을 위한 원천데이터 확보
학술논문 표절 검사 서비스를 운영하는 주관기관을 통해 상용 AI 서비스 적용

데이터 구축 규모

논문 분야 분포

논문 학술지 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

Qwen2-VL 모델
시각-언어 모델의 인지 능력이 비약적인 향상이 이뤄진 모델

기존 모델의 시각 처리 과정에서의 해상도 사전 결정 접근 방식을 다시 정의하여 업그레이드를 진행한 모델로, Naive Dynamic 메커니즘을 도입하여 다양한 해상도를 가져 다양한 수의 시각적 토큰을 가진 이미지를 동적으로 처리할 수 있습니다.
위 접근 방식을 통해 인간의 인지 과정과 매우 유사한 형태로, 보다 효율적이고 정확하게 시각적인 표현을 생성합니다.
또한, 해당 모델은 Multimodal Rotary Position Embedding(M-RoPE)를 통합하여 텍스트, 이미지, 동영상의 위치 정보를 효과적으로 융합할 수 있습니다.
이미지와 동영상을 함께 처리할 수 있는 통합 패러다임을 채택하여 모델의 시각적 인지 능령을 향상시킬 수 있었습니다.
대형 Multimodal 모델의 잠재력을 파악하고자 거대 시각-언어 모델들의(Large Vision-Language Models, LVLMs)의 스케일링 법칙을 조사하였고, OpenAI GPT, Anthropic Claude와 같은 타 주요 모델 대비 뛰어난 성능을 발휘합니다.

Figure 1. 다국어 OCR 및 이미지 텍스트 및 다량의 문서 이해가 가능

* 파라미터의 크기가 커질수록 모델 성능이 비례하여 상승한다는 법칙

Figure 2. Qwen2-VL 모델의 전체적인 구조를 시각화
선명도·해상도·종횡비에 관계없이 이미지에 포함된 컨텐츠 식별·이해가 가능

본 과제에서는 Qwen2-VL 모델 중 비용-성능간 최적화를 이룬 Qwen2-VL-7B를 채택하여 시각과 관련한 광범위한 업무에 있어 강력한 성능을 얻을 수 있었습니다.

Qwen2-VL의 주요 강점은 다음과 같습니다.

다양한 해상도와 종횡비를 넘나드는 이해 성능: 시각 성능 벤치마크인 DocVQA, InfoVQA, RealWorldQA, MTVQA, MathVista 등에서 높은 성능을 냈습니다.

다국어 지원: 글로벌 사용자를 위해 영어, 중국어를 포함하여 대다수의 유럽권 언어, 일본어, 한국어, 아랍어, 베트남어 등 다양한 언어의 이미지 내 텍스트 이해를 지원합니다

강력한 문서 구문 분석 기능: 단순한 텍스트 인식을 넘어 종합적인 문서 구문 분석으로 나아가 다국어를 지원하는 것은 물론이고 필기체, 표, 차트, 화학 공식 및 악보 등의 다양한 형태의 문서를 처리하는데 탁월한 능력을 지니고 있습니다.

포맷을 넘나드는 객체 인식: 한 단계 더 진보된 공간 추론을 통해 절대 좌표계와 JSON 형식을 지원하여 개체 감지, 객체 수 인식, 인식 정확도 등이 향상되었습니다.

컴퓨터 및 모바일 기기를 위한 향상된 에이전트 기능: 더 나은 추론, 근거 밝혀내기, 의사결정 능력을 활용하여 컴퓨터와 스마트폰에서의 에이전트 기능을 강화하였습니다.

설명서 및 활용가이드 다운로드

데이터 구성

어노테이션 포맷

데이터 포맷
- 원천데이터(원문) : PDF(논문)
- 원천데이터 예시

- 원천데이터(포스터) : PPTX
- 원천데이터 예시

- 가공데이터: JSON
- 가공데이터 예시

{
    "raw_data_meta_info": {
        "doc_id": "8323",
        "doc_origin": "기술혁신학회지",
        "doc_issued": "한국기술혁신학회",
        "doc_category": "복합학",
        "doc_base": "등재",
        "doc_pissn": "1598-2912",
        "doc_eissn": "",
        "doc_volume": "25",
        "doc_no": "5",
        "doc_page_start": 995,
        "doc_page_end": 1024,
        "doc_page_count": 30,
        "doc_title": "출연연 구성원이 인식하는 조직공정성과 연구 자율성이 긍정심리자본을 통해 조직성과에 미치는 영향",
        "doc_subtitle": "The Effects of Organizational Justice and Research Autonomy on Job Performance through Positive Psychological Capital Perceived by Employees of Government-Supported Institutes",
        "doc_language": "한국어",
        "doc_keyword": "정부출연연구기관|긍정심리자본|조직공정성|연구자율성|직무성과|Government-Supported Institute|Positive Psychological Capital|Organizational Justice|Research Autonomy|Job Performance",
        "doc_year": "2022",
        "doc_doi": "",
        "doc_url": "https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002893547",
        "doc_author": [
            {
                "author_id": "CRT001715259",
                "author_name_kr": "서영욱",
                "author_name_en": "Young Wook Seo",
                "author_aff": "대전대학교",
                "author_email": ""
            },
            {
                "author_id": "CRT002838170",
                "author_name_kr": "배재성",
                "author_name_en": "Jae Sung Pae",
                "author_aff": "한국표준과학연구원",
                "author_email": ""
            },
            {
                "author_id": "CRT002838171",
                "author_name_kr": "이소정",
                "author_name_en": "So Jeong Lee",
                "author_aff": "대전대학교",
                "author_email": ""
            }
        ]
    },
    "source_data_meta_info": {
        "source_data_id": "ART002893547",
        "source_image_include": "Y"
    },
    "training_data_info": {
        "section_info": [
            {
                "paragraph_id": "para_1",
                "page": "1",
                "location": "[971548, 6897456, 13520967, 7961544]",
                "procede": "Y",
                "original_text": "본 연구는 정부출연연구기관(출연연) 구성원들이 인식하는....",
                "original_cnt": "82",
                "summary_cnt": "48"
            },
            {
                "paragraph_id": "para_3",
                "page": "1",
                "location": "[959835, 16831088, 13520967, 8029620]",
                "procede": "Y",
                "original_text": "과학기술정부출연연구기관(출연연)은 ...",
                "summary_text": "배경: 과학기술 정부출연연구기관은 ...",
                "original_cnt": "237",
                "summary_cnt": "56"
            },
            {
                "paragraph_id": "para_4",
                "page": "1",
                "location": "[959833, 26993604, 13520967, 7570078]",
                "procede": "Y",
                "original_text": "1) 정부출연연구기관과학기술 ...",
                "summary_text": "조직공정성: 조직공정성은...“,
                "original_cnt": "1462",
                "summary_cnt": "43"
            },
            {
                "paragraph_id": "para_5",
                "page": "1",
                "location": "[959833, 37031316, 13520967, 4546798]",
                "procede": "Y",
                "original_text": "...",
                "summary_text": "연구모형: 출연 구성원들이 인...",
                "original_cnt": "1141",
                "summary_cnt": "27"
            },
            {
                "paragraph_id": "para_6",
                "page": "1",
                "location": "[15586261, 16750711, 13837634, 4570793]",
                "procede": "Y",
                "original_text": "1) 자료수집 및 표본 특성본 연구를 ...",
                "summary_text": "조직공정성: 조직공정성이 ...",
                "original_cnt": "889",
                "summary_cnt": "20"
            },
            {
                "paragraph_id": "para_7",
                "page": "1",
                "location": "[15794412, 38473090, 13520967, 3022466]",
                "procede": "Y",
                "original_text": "1) 연구 결과 및 시사점본 연구는 ...",
                "summary_text": "정책 제안: 연구소의 성과를...",
                "original_cnt": "853",
                "summary_cnt": "17"
            },
            {
                "paragraph_id": "title_1",
                "page": "1",
                "location": "[605066, 5477817, 14253934, 1252382]",
                "procede": "Y",
                "original_text": "요약",
                "summary_text": "요약",
                "original_cnt": "1",
                "summary_cnt": "1"
            },
            {
                "paragraph_id": "title_2",
                "page": "1",
                "location": "[593353, 15411449, 14253934, 1252382]",
                "procede": "Y",
                "original_text": "1. 서론",
                "summary_text": "1. 서론",
                "original_cnt": "2",
                "summary_cnt": "2"
            },
            {
                "paragraph_id": "title_3",
                "page": "1",
                "location": "[593351, 25643027, 14253934, 1252382]",
                "procede": "Y",
                "original_text": "2. 이론적 배경 및 선행연구",
                "summary_text": "2. 이론적 배경 및 선행연구",
                "original_cnt": "5",
                "summary_cnt": "5"
            },
            {
                "paragraph_id": "title_4",
                "page": "1",
                "location": "[593351, 35498400, 14253934, 1252382]",
                "procede": "Y",
                "original_text": "3. 연구모형 및 가설 설정",
                "summary_text": "3. 연구모형 및 가설 설정",
                "original_cnt": "5",
                "summary_cnt": "5"
            },
            {
                "paragraph_id": "title_5",
                "page": "1",
                "location": "[15416212, 15411449, 14253934, 1252382]",
                "procede": "Y",
                "original_text": "4. 분석 결과",
                "summary_text": "4. 분석 결과",
                "original_cnt": "3",
                "summary_cnt": "3"
            },
            {
                "paragraph_id": "title_6",
                "page": "1",
                "location": "[15427930, 37022732, 14253934, 1252382]",
                "procede": "Y",
                "original_text": "5. 결론",
                "summary_text": "5. 결론",
                "original_cnt": "2",
                "summary_cnt": "2"
            }
        ],
        "image_info": [
            {
                "image_id": 1,
                "image_name": "그림 6",
                "image_caption": "출연연은 공공기관운영법에 ...",
                "image_category": "PI",
                "image_page": "1",
                "image_location": "[16871507, 5765327, 11366774, 8873417]",
                "image_file_name": "./pptx_image/ST_0028_0008323_slide_1_그림 6.png"
            },
            {
                "image_id": 2,
                "image_name": "그림 9",
                "image_caption": "본 연구의 측정항목에 대한 ...",
                "image_category": "TA",
                "image_page": "1",
                "image_location": "[17831236, 21442671, 9297531, 7568014]",
                "image_file_name": "./pptx_image/ST_0028_0008323_slide_1_그림 9.png"
            },
            {
                "image_id": 3,
                "image_name": "그림 11",
                "image_caption": "본 연구 결과, 긍정심리자본의 ....",
                "image_category": "PI",
                "image_page": "1",
                "image_location": "[18039819, 29287782, 8880363, 6836809]",
                "image_file_name": "./pptx_image/ST_0028_0008323_slide_1_그림 11.png"
            }
        ]
    }
}

실제 예시

데이터셋 구축 담당자

수행기관(주관) : ㈜무하유

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처