콘텐츠로 건너뛰기 메뉴로 건너뛰기 푸터로 건너뛰기
데이터를 불러오고 있습니다
데이터를 저장하고 있습니다
#사회과학 # AI 기반 번역 # 사회과학 분야 전문 번역기 # 사회과학 분야 용어사전 개발 # 사회과학 한영 말뭉치

한국어-영어 번역 말뭉치(사회과학)

한국어-영어 번역 말뭉치(사회과학)
  • 분야한국어
  • 유형 텍스트
구축년도 : 2020 갱신년월 : 2022-01 조회수 : 5,215 다운로드 : 1,101 용량 :
샘플 데이터 ?

샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며,
데이터에 따라서 민감한 정보는 일부 마스킹(*) 처리가 되어 있을 수 있습니다.

※ 내국인만 데이터 신청이 가능합니다.

  • 데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.3 2022-01-24 데이터 추가 개방
    1.2 2021-08-02 데이터 추가 개방
    1.1 2021-07-20 데이터 추가 개방
    1.0 2021-06-18 데이터 최초 개방

    데이터 히스토리

    데이터 히스토리
    일자 변경내용 비고
    2024-07-01 산출물 추가 공개 AI모델
    2023-10-10 저작도구 소스코드, AI모델 소스코드 등록

    소개

    사회과학(정치, 경제, 금융, 행정, 교육, 법률 등) 분야 등 한-영 번역 정확도가 상대적으로 낮은 분야의 데이터 구축을 통해 AI 기반 번역 기술 개발에 활용할 수 있는 학습 데이터셋을 구축하여 보다 원활한 사회과학 분야 관련 정보 소통 도모

    구축목적

    사회 과학 분야(법률, 교육, 경제, 문화/관광/예술)의 한-영 말뭉치 150만 문장 구축. 인공지능 번역 학습에 활용되기 위한 데이터셋
  • 구축 내용 및 제공 데이터량

    • 한국학술정보등의 분야별 원천 데이터를 확보한 후 사회과학(법률, 교육, 경제, 문화/관광/예술) 150만개 말뭉치 구축
       
    구축 내용 및 제공 데이터량
    데이터셋 대분야 소분야 목표수량
    기술과학 ICT(35만) 통신 195,000
    빅데이터 65,000
    컴퓨터 90,000
    전기(15만) 에너지 53,000
    배터리 51,000
    설비 46,000
    전자(15만) 반도체 52,000
    디스플레이 43,000
    무선통신 55,000
    기계(35만) 재료공학 87,000
    열처리 47,000
    의공학 101,000
    동력기관 115,000
    의학(50만) 가정의학 125,000
    병리학 130,000
    간호학 60,000
    내과학 140,000
    외과학 45,000
    구축 내용 및 제공 데이터량
    데이터셋 대분야 소분야 목표수량
    사회과학 법률(50만) 법률연구 250,000
    세법 80,000
    민법 40,000
    형법 60,000
    판례 70,000
    교육(40만) 초중고등교육 200,000
    에듀테크 18,000
    평생교육 55,000
    대학교육 58,000
    교육공학 69,000
    경제(30만) 경제/경영 190,000
    금융 68,000
    조세/재정 42,000
    문화(9만) 출판 10,000
    공연 74,000
    공예 6,000
    관광(10만) 관광학 60,000
    여행 20,000
    호텔관광 20,000
    예술(11만) 음악 45,000
    미술 30,000
    무용 35,000
  • 저작도구 설명서 및 저작도구 다운로드

    저작도구 다운로드
  • AI 모델 상세 설명서 다운로드

    AI 모델 다운로드
  • 데이터 성능 점수

    측정값 (%)
    기준값 (%)

    데이터 성능 지표

    데이터 성능 지표
    번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수
    1 기계 번역과 reference 유사도 (문화&관광 분야 번역기 모델 성능) Machine Translation Transformer BLEU 0.6 0.66

    ※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.

    ※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)

  • 설명서 및 활용가이드 다운로드

    데이터 설명서 다운로드 구축활용가이드 다운로드

    데이터 변경이력

    데이터 변경이력
    버전 일자 변경내용 비고
    1.3 2022.01.24 데이터 추가 개방  
    1.2 2021.08.02 데이터 추가 개방  
    1.1 2021.07.20 데이터 추가 개방  
    1.0 2021.06.18 데이터 최초 개방  

    구축 목적

    • 사회 과학 분야(법률, 교육, 경제, 문화/관광/예술)의 한-영 말뭉치 150만 문장 구축. 인공지능 번역 학습에 활용되기 위한 데이터셋

    활용 분야

    • 국회도서관, 한국관광공사에서 활용 가능한 기계번역 서비스 제공

    주요 키워드

    • 말뭉치, 한-영말뭉치, 기계번역 데이터셋

    소개

    • 한국학술정보등의 분야별 원천 데이터를 확보한 후 정제된 텍스트 추출하여 전문 번역가가 번역하고, 번역대학원 교수진의 전문 감수를 통해 사회과학 분야 150만개 한-영말뭉치 구축
       

    한국어-영어 번역 말뭉치(사회과학) 소개 프로세스 예시 이미지

    구축 내용 및 제공 데이터량

    • 한국학술정보등의 분야별 원천 데이터를 확보한 후 사회과학(법률, 교육, 경제, 문화/관광/예술) 150만개 말뭉치 구축
       
    구축 내용 및 제공 데이터량
    데이터셋 대분야 소분야 목표수량
    기술과학 ICT(35만) 통신 195,000
    빅데이터 65,000
    컴퓨터 90,000
    전기(15만) 에너지 53,000
    배터리 51,000
    설비 46,000
    전자(15만) 반도체 52,000
    디스플레이 43,000
    무선통신 55,000
    기계(35만) 재료공학 87,000
    열처리 47,000
    의공학 101,000
    동력기관 115,000
    의학(50만) 가정의학 125,000
    병리학 130,000
    간호학 60,000
    내과학 140,000
    외과학 45,000
    구축 내용 및 제공 데이터량
    데이터셋 대분야 소분야 목표수량
    사회과학 법률(50만) 법률연구 250,000
    세법 80,000
    민법 40,000
    형법 60,000
    판례 70,000
    교육(40만) 초중고등교육 200,000
    에듀테크 18,000
    평생교육 55,000
    대학교육 58,000
    교육공학 69,000
    경제(30만) 경제/경영 190,000
    금융 68,000
    조세/재정 42,000
    문화(9만) 출판 10,000
    공연 74,000
    공예 6,000
    관광(10만) 관광학 60,000
    여행 20,000
    호텔관광 20,000
    예술(11만) 음악 45,000
    미술 30,000
    무용 35,000

    대표도면

    한국어-영어 번역 말뭉치(사회과학) 대표도면 예시 이미지

    필요성

    • 기계번역 서비스와 전문 번역인력을 연계할 수 있도록 응용 서비스를 제공하여 번역가 영역과 기술 영역간의 벨류 체인 형성 및 가치 극대화
    • 기술적으로 중요한 위치를 차지하는 기술문서, 학술논문, 법률 문서, 관광 안내 홍보물 등을 빠르게 접근할 수 있는 번역 서비스를 제공함으로써 국내 지식 산업 발전에 기여
    • 전문 분야별 한영, 영한 말뭉치를 구축함으로써 기계학습을 위한 방대한 데이터 구축 및 인공지능 기반의 전문 분야 기계번역 성능 향상
    • 전문 분야별 기계 번역 결과를 학습 목적으로도 활용함으로써 일반 번역가의 역량 강화에 기여

    데이터 구조

    • 데이터 구성
      수행기관 (참여)
      Key Description Type
      sn 데이터 번호 String
      file_name 정제된 원본 문서명 String
      data_set 기술과학/사회과학 구분 String
      domain 데이터 대분야 String
      subdomain 데이터 소분야 String
      source 원문 출처 String
      ko 한국어 문장 String
      mt 기계번역 문장 String
      en 영어 문장 String
      source_language 원문 언어 코드 String
      target_language 번역문 언어 코드 String
      license 라이선스 String
      style 문체 String

       

    • 어노테이션 포맷
      수행기관 (참여)
      No 항목 타입 필수여부
      한글명 영문명
      1 데이터 data JsonArray Y
      1-1 데이터 번호 sn String Y
      1-2 정제된 원본 문서명 file_name String Y
      1-3 기술과학/사회과학 구분 data_set String Y
      1-4 데이터 대분야 domain String Y
      1-5 데이터 소분야 subdomain String Y
      1-6 원문 출처 source String Y
      1-7 한국어 문장 ko String Y
      1-8 기계번역 문장 mt String Y
      1-9 영어 문장 en String Y
      1-10 원문 언어 코드 source_language String Y
      1-11 번역문 언어 코드 target_language String Y
      1-12 라이선스 license String Y
      1-13 문체 style String Y
  • 데이터셋 구축 담당자

    수행기관(주관) : 트위그팜
    수행기관(주관)
    책임자명 전화번호 대표이메일 담당업무
    백선호 02-1833-5926 ceo@twigfarm.net · 데이터 구축, 정제 및 운영 총괄 · 응용 서비스 개발
    수행기관(참여)
    수행기관(참여)
    기관명 담당업무
    렉스코드 · 원천 데이터 정제
    · 번역 및 기술 감수
    · 말뭉치 데이터 구축
    TTA · ICT 분야 기술 감수
    · 저작도구 및 서비스 품질 검증
    네이버 · 말뭉치 데이터 품질 검증
    에프앤제이 · 원천 데이터 정제
    · 장애우 인력 교육
    데이터 관련 문의처
    데이터 관련 문의처
    담당자명 전화번호 이메일
    백선호(트위그팜) 02-1833-5926 ceo@twigfarm.net
보건의료 데이터 개방 안내

보건의료 데이터는 온라인 및 오프라인 안심존을 통해 개방됩니다.

안심존이란 안심존 이용메뉴얼 안심존 이용신청
  • 인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
    * 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
    * 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석

    1. AI 허브 접속
      신청자
    2. 안심존
      사용신청
      신청자신청서류 제출*
    3. 심사구축기관
    4. 승인구축기관
    5. 데이터 분석 활용신청자
    6. 분석모델반출신청자
  • 1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
    2. 기관생명윤리위원회(IRB) 승인된 연구계획서
    3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
    4. 안심존 이용 신청서 [다운로드]
    5. 보안서약서 [다운로드]
    ※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다.

  • 신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의

데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.

API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.

리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.

※ 파일 병합 리눅스 명령어

find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"

- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.

- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.

※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.