콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#제조

NEW 바이오·의료 논문 간 연계분석 데이터

바이오 의료 논문 간 연계 분석 데이터 이미지 아이콘
  • 분야한국어
  • 유형 텍스트
구축년도 : 2022 갱신년월 : 2023-11 조회수 : 3,423 다운로드 : 121 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.2 2023-11-15 데이터 최종 개방
    1.1 2023-06-07 非안심존 데이터 전환
    1.0 2023-04-30 데이터 개방(Beta Version)

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2023-12-08 산출물 전체 공개

    소개

    더 빠르고 안전한 신약개발을 위해 바이오·의료 논문 기반 생물학적 상호 연관성 데이터 추출 및 분석 인공지능 신약개발 솔루션(Bio NLP) 개발을 위한 학습 데이터 구축 사업

    구축목적

    2만개의 논문 내 생물학적 상호 연관성 정보를 추출하여 Bio NLP 인공지능 학습 데이터를 구축함. (5대 질환별 4천 개, 총 2만 개의 데이터 구축)
  • 데이터 통계  

    데이터 구축 규모

    데이터 종류 원문 데이터 원문 데이터 규모 가공 데이터 규모 최종 데이터 구축 규모
    형태
    대장암 PDF 4,000 건 7,600 건 4,000 건
    (Colorectal cancer)
    유방암 PDF 4,000 건 7,600 건 4,000 건
    (Breast cancer)
    당뇨병 PDF 4,000 건 7,600 건 4,000 건
    (Diabets)
    전립선암 PDF 4,000 건 7,600 건 4,000 건
    (Prostatic carcinoma)
    심근경색 PDF 4,000 건 7,600 건 4,000 건
    (MI)
    총계   20,000 건 38,000 건 20,000 건

     

     데이터 분포 

     * 구축 데이터 용도별 데이터 분포   

     
    구분 포맷 수량 비율
    AI 학습모델 데이터 분포 학습용 데이터 JSON 18,000 건 90%
    테스트 데이터 JSON 2,000 건 10%
    합계 20,000 건 100%
    모델 학습 과정별 데이터 분포 Training Set JSON 17,000 건 85%
    Validation Set JSON 1,000 건 5%
    Test Set JSON 2,000 건 10%
    합계 20,000 건 100%

     

     * 학습용 데이터(18,000개)와 테스트 데이터(2,000개)의 관계 정보 비율

     
     
    관계명 학습 데이터 비율 테스트 데이터 비율
    Associate 19,788 36.43% 2,496 38.22%
    Reduces 3,637 6.70% 446 6.83%
    Suppress 2,752 5.07% 301 4.61%
    Inhibit 9,038 16.64% 992 15.19%
    Regulate 7,476 13.76% 838 12.83%
    Stimulate 5,801 10.68% 679 10.40%
    Treat 2,485 4.58% 306 4.69%
    Prevent 1,494 2.75% 208 3.19%
    Biomarker 1,845 3.40% 264 4.04%
    Total 54,316 100.00% 6,530 100.00%

     

     

  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 설명서 다운로드 저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 상세 설명서 다운로드 AI 모델 다운로드

    활용 모델
    모델학습  
                      
    인공지능 기반 바이오·의료 논문 간 상호연관성 추출 모델의 데이터 구축 구성도는 아래 그림과 같음. 모델 학습 과정별 데이터는 학습용(Training) 85%, 검증용(Validation) 5%, 시험용(Test) 10% 의 비율로 구성함.  
    AI 학습 모델 단계별 구축 구조 도식

    서비스 활용 시나리오

    ∎ General Bio-NLP 개발
    본 과제의 학습데이터, 모델을 바탕으로 바이오·의료 논문 기반 자연어처리(NLP) 인공지능 서비스를 개발할 수 있음. 논문을 비롯한 비정형 데이터를 분석하고 상호연관성을 추출하여 신약개발 및 의료 연구에 사용될 수 있음
    ∎ 질병 특화 NLP(NER/RE) 개발 
    본 과제에서 구축한 5대 질병 중 하나를 선택하여 확장하거나 동일 구조로 다른 질병의 데이터를 학습시켜서 모델을 개발할 수 있으며 그러한 모델은 특정 질병에 특화된 세분화되고 자세한 예측 결과를 도출 할 수 있음.
    ∎ Knowledge Graph based AI Drug Discovery 개발
    신약개발 인공지능 솔루션 개발 업체에서 Knowledge Graph 기반의 Drug Discovery 인공지능 솔루션 및 서비스를 개발함에 있어서 본 과제의 학습 데이터 및 모델이 활용될 수 있음. 

     

    기타 정보
    유의사항      
    ∎ 저작권 관련
    논문 데이터를 학습 데이터로 사용함에 있어 각 논문별로 선언하는 저작권 방식을 구체적으로 확인하여 적용해야 함. ‘수집’, ‘수정’, ‘재배포’, ‘상업성 유무’ 등의 라이선스 조건에 맞춰 저작권 관리가 필요하며, 사전 전문 법무법인 혹은 변호사 법률 검토를 권장함.  
    ∎ 개인정보 처리
    논문을 비롯한 비정형 데이터를 수집, 가공하는 과정에서 논문의 저자 이름 등의 개인 정보는 저작권과 다른 법적 검토를 통해 사용해야 함. 가능한 사용하지 않는 것을 권장함.
    ∎ 학습데이터 품질관리
    논문 데이터를 학습 데이터로 사용할 때 가능한 권위가 있는 소스를 통해서 원시데이터를 수집해야 함. 학습모델의 성격상 전혀 다른 결과를 도출하는 신뢰할 수 없는 학습데이터의 양이 많아질수록 전체 네트워크의 품질이 현저하게 떨어짐. 

     

  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 바이오, 의료 분야 개체명 인식 기반 개체 간 관계추출 모델 성능 Prediction BERT F1-Score 0.95 점 0.96 점

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 포맷    

    원문데이터 포맷 예시   

    제목
    CYP17 5'-UTR MspA1 polymorphism and the risk of premenopausal breast cancer in a German population-based case–control study
    논문 고유번호 PMC1175058
    카테고리 Breast cancer(유방암)
    논문 발행기관 BioMed Central Ltd. 
    논문 학술지 Breast Cancer Research
    논문 참조 링크 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1175058/
    원문(PDF)

    논문 원문 첫 페이지 스크린샷

    구분 No 속성명 속성 및 내용
    필수  1 sourcid 해당 문서의 PMC 고유번호 
    필수 2 link 해당 문서 원본 URL
    필수 3 text 문서에서 추출된 Text
    필수 4 entities[] 문서의 모든 Entity 정보 
    필수 5 entityId Entity ID로서 Entity의 시작글자 자릿수_끝글자 자릿수
    필수 6 span Entity의 위치 정보
    필수 7 begin Entity의 시작글자 자릿수
    필수 8 end Entity의 끝글자 자릿수
    필수 9 entityType Entity의 분류 정보
    필수 10 entityName Entity에 해당되는 텍스트
    필수 11 id Entity 레퍼런스 정보
    필수 12 relation_info[] Relation 정보
    필수 13 subjectID Subject에 해당되는 Entity ID
    필수 14 subjectText Subject에 해당되는 Text
    필수 15 rel_name Subject와 Object의 관계 분류 (타입)
    필수 16 object_ID Object에 해당되는 Entity ID
    필수 17 objectText Object에 해당되는 Text
    선택 1 publisher 논문(해당 문서) 발행기관 정보
    선택 2 journal 논문(해당 문서) 발표 학술지 정보

     

    어노테이션 포맷

    구분 속성명 타입 필수 설명
    여부
    1 sourcid string Y 원시데이터 고유번호
    2 publisher string   논문 발행기관
    3 journal string   학술지
    4 link string Y 원시데이터 참조 링크
    5 text string Y 원시데이터 텍스트 추출 내용
    6 entities[]   Y Entity 정보
      6-1 entityId string Y Entity별 고유아이디
    6-2 span object Y Entity 위치 정보
      6-2-1 begin number Y 텍스트의 시작 위치
    6-2-2 end number Y 텍스트의 종료 위치
    6-3 entityType string Y Entity 분류 정보
    6-4 entityName string Y Entity에 해당되는 텍스트
    6-5 id string Y Entity 레퍼런스정보
    7 relation_info[]   Y Relation 정보
      7-1 subjectID string Y Arg1에 해당되는 EntityID
    7-2 subjectText string Y Arg1에 해당되는 텍스트
    7-3 rel_name string Y 관계 분류
    7-4 objectID string Y Arg2에 해당되는 EntityID
    7-5 objectText string Y Arg2에 해당되는 텍스트

     

    실제 예시

    JSON 형식

    {    "sourcid": "Breast cancer(유방암)",
        "publisher": "BioMed Central",
        "journal": "Breast Cancer Research",
        "link": "https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1175058/",
        "text": "CYP17 5'-UTR MspA1 polymorphism and the risk of premenopausal breast cancer in a German population-based case-control study   Introduction Studies on the association between the cytochrome P450c17alpha gene (CYP17) 5'-untranslated region MspA1 genetic polymorphism and breast cancer risk have yielded inconsistent results. Higher levels of estrogen have been reported among young nulliparous women with the A2 allele. Therefore we assessed the impact of CYP17 genotypes on the risk of premenopausal breast cancer, with emphasis on parity. Methods We used data from a population-based case-control study of women aged below 51 years conducted from 1992 to 1995 in Germany. Analyses were restricted to clearly premenopausal women with complete information on CYP17 and encompassed 527 case subjects and 904 controls, 99.5% of whom were of European descent.
    [원천데이터의 텍스트 내용이 이어짐, 이하 생략]
    (Entity 시작)
       "entities": [
            {
                "entityId": "0_12",
                "span": {
                    "begin": 0,
                    "end": 12
                },
                "entityType": "gene",
                "entityName": "CYP17 5'-UTR",
                "id": "UMLS:C1420099"
            },
            {
                "entityId": "48_75",
                "span": {
                    "begin": 48,
                    "end": 75
                },
                "entityType": "disease",
                "entityName": "premenopausal breast cancer",
                "id": "UMLS:C0741682"
            },
    [원천데이터 전체의 Entity가 이어짐, 이하 생략]
    (Relation 시작)
     "relation_info": [
            {
                "subjectID": "1080_1091",
                "subjectText": "CYP17 A1/A2",
                "rel_name": "associate",
                "objectId": "1170_1183",
                "objectText": "breast cancer"
            },
            {
                "subjectID": "1461_1463",
                "subjectText": "A1",
                "rel_name": "associate",
                "objectId": "1537_1547",
                "objectText": "A2 alleles"
            }
        ]
    }
    예시 화면 이미지
    JSON 형식 파일 스크린샷
  • 데이터셋 구축 담당자

    수행기관(주관) : (주)아리바이오
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    김진우 02-2637-0009 / 070-4128-4402 zinukim@aribio.com 총괄책임자
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    ㈜로뎀마이크로시스템 작업 플랫폼 개발, 데이터 수집 및 기타 S/W개발
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    김진우 02-2637-0009 / 070-4128-4402 zinukim@aribio.com
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.