AI-Hub

데이터 변경이력

데이터 히스토리

소개

농산어촌 기술 및 전문용어를 전파하고 언어장벽 해소를 위해 농산어촌 관련 전문도서, 논문, 웹/저널과 작업 상황 시나리오를 기반으로 구축한 한국어 말뭉치(문어체, 구어체, 대화체) 400만 문장을 외국어 4종(베트남어, 인도네시아어, 캄보디아어(크메르어), 태국어)으로 각 400만 문장 씩 번역한 병렬 말뭉치

구축목적

농산어촌에 근로하는 외국인 노동자에게 농산어촌 기술 및 전문용어를 전파하고, 언어장벽을 허물기 위한 한국어-외국어 병렬 말뭉치 구축

1. 데이터 구축 규모

2. 데이터 분포
 - 언어 분포

 - 문장 유형 분포

 - 말뭉치 주제 소분류

AI 모델 상세 설명서 다운로드

학습 모델 : Llama 3.1 8B instruct 
 • Transformer Decoder 구조
 • 80억 개의 파라미터
 • Instruction-tuning 을 통한 학습
 • 1500억 개의 다국어 토큰을 통한 학습

 • Instruction tuning을 위한 데이터 처리
  - System message: You are a useful translation AI. 
    Please translate the sentence given in Korean into {target_language}
  - Input: {korean_text}
  - Label: {target_text}
    여기에서 {target_language}는 ‘Vietnamese’, ‘Indonesian’, ‘Thai’, ‘Cambodian’ 중 하나이고, {korean_text}는 번역 대상이 되는 한국어 텍스트

 • 학습 알고리즘 : Causal Language Modeling (CLM)

 • 학습 진행 과정

설명서 및 활용가이드 다운로드

1. 데이터 구성

2. 어노테이션 포맷

3. 예시

JSON 예시

{
    "metadata": {
        "filename": "1_1_A_A_0000002",
        "type": "도서",
        "title": "사과_재배.pdf",
        "url": "https://dl.nanet.go.kr/search,
        "category": "농림축산",
        "sub_category": "작물생산",
        "terminology": "과수, 기관, 사과, 설립",
        "terminology_count": 4
    },
    "corpus": {
        "ko_info": [
            {
                "ko_txt": "그 후 1958년에 원예시 험장이 설립되어 괴수연구가 수행되었으며, 1991년 말 원예시험장에서 과수연구소가 분리되면서 산하기관으로 대구사과연구소가 설립되어 사과연구를 전담하게 되었다.",
                "word_segment": 19,
                "speaker_id": null
            }
        ],
        "vi_info": [
            {
                "vi_txt": "Sau đó, vào năm 1958, một phòng thí nghiệm làm vườn được thành lập và tiến hành nghiên cứu về quái vật. Cuối năm 1991, khi Viện nghiên cứu Orchard được tách ra khỏi phòng thí nghiệm làm vườn, Viện nghiên cứu táo Daegu được thành lập như một tổ chức trực thuộc và chịu trách nhiệm quản lý. nghiên cứu táo.",
                "word_segment": 62,
                "speaker_id": null
            }
        ],
        "in_info": [
            {
                "in_txt": "Kemudian pada tahun 1958 didirikan laboratorium hortikultura dan dilakukan penelitian terhadap monster. Pada akhir tahun 1991, ketika Orchard Research Institute dipisahkan dari laboratorium hortikultura, Daegu Apple Research Institute didirikan sebagai organisasi afiliasi dan mengambil alih. penelitian apel.",
                "word_segment": 37,
                "speaker_id": null
            }
        ],
        "th_info": [
            {
                "th_txt": "หลังจากนั้นในปี พ.ศ. 2501 ได้มีการจัดตั้งห้องปฏิบัติการพืชสวนขึ้นและดำเนินการวิจัยเกี่ยวกับสัตว์ประหลาด ในปลายปี พ.ศ. 2534 เมื่อสถาบันวิจัยออร์ชาร์ดถูกแยกออกจากห้องปฏิบัติการพืชสวน สถาบันวิจัยแอปเปิ้ลแทกูได้ก่อตั้งขึ้นเป็นองค์กรในเครือและรับผิดชอบ การวิจัยแอปเปิ้ล",
                "word_segment": 264,
                "speaker_id": null
            }
        ],
        "ca_info": [
            {
                "ca_txt": "បន្ទាប់មកនៅឆ្នាំ 1958 មន្ទីរពិសោធន៍សាកវប្បកម្មមួយត្រូវបានបង្កើតឡើង ហើយការស្រាវជ្រាវលើសត្វចម្លែកត្រូវបានធ្វើឡើងនៅចុងបញ្ចប់នៃឆ្នាំ 1991 នៅពេលដែលវិទ្យាស្ថានស្រាវជ្រាវ Orchard ត្រូវបានបំបែកចេញពីមន្ទីរពិសោធន៍សាកវប្បកម្ម វិទ្យាស្ថានស្រាវជ្រាវ Apple Daegu ត្រូវបានបង្កើតឡើងជាអង្គការដែលពាក់ព័ន្ធ និងទទួលបន្ទុក។ ការស្រាវជ្រាវផ្លែប៉ោម។",
                "word_segment": 14,
                "speaker_id": null
            }
        ]
    }
}

데이터셋 구축 담당자

수행기관(주관) : ㈜오픈유아이

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처