AI-Hub

데이터 변경이력

데이터 히스토리

소개

초거대AI에 적합한 캄보디아 문화·규범·문화·관습·예절 관련 학습데이터 구축 과제로서
- 크메르어 말뭉치 학습데이터 1억 어절 이상 (영어, 한국어 번역본도 구축)
- 크메르어 InstructionQ/A, AI성능평가 데이터 구축

구축목적

- 비영어권 국가와의 협력 및 해외진출을 위해 캄보디아의 규범·문화·관습·예절 등을 학습할 수 있는 데이터 구축
- 캄보디아 문화,규범,관습을 담은 말뭉치데이터와 LLM개발을 통하여 캄보디아의 AI모델 성능 향상과 기술 발전에 기여

○ 데이터 구축 규모

● 주제 대분류별 구축 규모

● 주제 중분류별 구축 규모

○ 데이터 분포
● 자료 유형별 분포: 저서, 논문, 기사, 문서, 직접작성, 기타

● 크메르어 어절 수 분포

● 한국어 어절 수 분포

● 영어 어절 수 분포

● 질의응답 어절 수 분포(instruction)

● 질의응답 어절 수 분포(input)

● 질의응답 어절 수 분포(ouput)

● 질의응답 유형 분포: 선택형, 요약형, 질문답변형

● 성능 평가 데이터 어절 수 분포(MMLU)

● 성능 평가 데이터 어절 수 분포(HellaSwag)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

<모델학습>
● 모델은 GPT-3를 베이스로 하는 Llama-3 8B를 사용하였으며 질문 답변, 번역, 대화, 작문 등 자연어처리 임무에서 높은 품질의 텍스트를 생성 할 수 있는 언어모델로 구축하였다. 모델 학습을 위한 데이터는 전체 1억 어절에 해당하며 주제별로 분류되어 있으며 (문화/예술/교육, 사회/산업, 정치/경제, 종교, 과학/의학, 역사/지리/관광, 일상생활/음식, 스포츠/기타)으로 구성하였고 인스트럭션튜닝을 하도록 각 5,000건의 Instruction Q/A데이터 구축 및 AI 성능평가데이터 각 2,000건을 구축
● 전체 데이터로 사전학습을 수행하였고 Instruction Q/A데이터로 파인튜닝을 하여 크메르어에 적합한 LLM언어모델로 개발함

● LLM모델 AI 성능평가

● 데이터 셋 분할

<서비스 활용 시나리오>
● 크메르어 말뭉치 데이터를 활용하여 인공지능 챗봇 및 대화 시스템의 개발과 향상에 활용할 수 있으며, 학습 완료된 AI 모델의 캄보디아 정부 및 국내기업 대상으로 AI 모델 상품 수출 추진 가능
● 산업 및 물류 분야에서 스와힐리어, 크메르어 데이터를 기반으로 한 기술 수요를 충족시킬 수 있고, 풍부한 캄보디아 관련 정보의 제공을 통해, 한국 기업의 현지 시장 진출과 빠른 현지화를 지원함
● 크메르어 초거대 AI 말뭉치 데이터를 구축하고 모델을 학습함으로써 크메르어를 이해하는 능력을 향상시킬 수 있게 되고 이를 활용하여 문화 교류 및 관광 분야에서 캄보디아의 문화적 특성, 관용어 및 자연스러운 표현 방식 등에 대한 AI LLM모델의 이해의 수준을 높일 수 있음

설명서 및 활용가이드 다운로드

○ 데이터 설명
-  크메르어에 대한 대규모 말뭉치 구축 (1억 어절 이상)
-  캄보디아의 문화, 규범, 관습, 예절에 대한 구조화된 데이터 구축
-  한국어, 영어, 크메르어 언어를 포함한 3개 국가 언어로 구축
-  Instruction tuning방식으로 LLM모델의 성능을 높이기 위한 Instruction QA 데이터 구축
-  문화적 맥락을 고려한 대화 생성 능력 평가를 위한 성능평가 데이터 구축

○ 데이터 형태 및 포맷

○ 라벨링 데이터 어노테이션 명세

○ 라벨링 데이터 어노테이션 포맷(말뭉치 데이터)

● 라벨링 데이터 예시(말뭉치데이터, JSON)

{
    "dataset": "글로벌 문화규범 데이터(크메르어)",
    "version": "1.0",
    "document_id": "02_001_240910_00006",
    "worker_id": "001",
    "created_date": "20240910",
    "issue_date": "20240910",
    "writer_ko": "관광부",
    "writer_kh": "ក្រសួងទេសចរណ៍",
    "copyrighter_ko": "관광부",
    "copyrighter_sw": "ក្រសួងទេសចរណ៍",
    "origin_extension": "HTML",
    "data_sources": "https://tourismcambodia.org/blog/about-cambodia/geography-1546847541",
    "data_type": "문서",
    "word_count": "469",
    "file_size": "5.05kb",
    "encoding_type": "UTF-8",
    "data_kh": {
        "topic_kh": " ប្រវត្តិសាស្រ្ត/ភូមិសាស្ត្រ/ទេសចរណ៍",
        "keyword_kh": "ភូមិសាស្ត្រ, ប្រវត្តិសាស្រ្ត",
        "title_kh": "ភូមិសាស្ត្រ",
        "text_kh": "ព្រះរាជាណាចក្រ  កម្ពុជា អតីតកម្ពុជា គឺជាប្រជាជាតិអាស៊ីអាគ្នេយ៍ ដែលមានព្រំប្រទល់ជាប់ប្រទេសថៃ ឡាវ វៀតណាម និងឈូងសមុទ្រថៃ។ រាជធានីគឺ ភ្នំពេញ។ ផែនទី ប្រទេសកម្ពុជា ស្ថិតនៅភាគនិរតីនៃឧបទ្វីបឥណ្ឌូចិន ប្រទេសកម្ពុជាមានផ្ទៃដីសរុប ១៨១.០៣៥ គីឡូម៉ែត្រក្រឡា និងមានព្រំប្រទល់ជាប់ប្រទេសថៃ ខាងលិច និងពាយ័ព្យ លាវ ឦសាន វៀតណាម ខាងកើតឈូងសមុទ្រថៃ ខាងលិចនិរតី។ កូអរដោនេភូមិសាស្ត្ររបស់ប្រទេសកម្ពុជាគឺ 13 00 N, 105 00 E. ផ្ទៃដីប្រទេសកម្ពុជាភាគច្រើនជាវាលទំនាប មានភ្នំនៅភាគនិរតី និងខាងជើង។ លក្ខណៈរូបវន្តសំខាន់ពីររបស់ប្រទេសកម្ពុជា គឺទន្លេមេគង្គដែលហូរពីខាងជើងទៅខាងត្បូងនៃប្រទេស និងបឹងទន្លេសាប។ ធនធានធម្មជាតិរួមមាន ប្រេង និងឧស្ម័ន ឈើ ត្បូង រ៉ែដែក ម៉ង់ហ្គាណែស ផូស្វាត សក្តានុពលវារីអគ្គីសនី។ ចំនួនប្រជាជន ប្រជាជនកម្ពុជាមានប្រមាណ ១៦ លាននាក់។ កៅសិបភាគរយនៃអ្នកស្រុកជាជនជាតិខ្មែរ។ នៅសល់គឺចាម (ខ្មែរឥស្លាម), ចិន, វៀតណាម, ឥណ្ឌា, ថៃ, ព្នង, កួយ, ស្ទៀង, តាមីល ។ល។ ដង់ស៊ីតេប្រជាជនគឺ 78/km2 ។ អាកាសធាតុ ដូចតំបន់អាស៊ីអាគ្នេយ៍ភាគច្រើនដែរ អាកាសធាតុរបស់ប្រទេសកម្ពុជាគឺក្តៅ និងកក់ក្តៅស្ទើរតែពេញមួយឆ្នាំ។ អាកាសធាតុត្រូវបានគ្របដណ្តប់ដោយវដ្តរដូវវស្សាប្រចាំឆ្នាំនៃរដូវវស្សា និងប្រាំង។ រដូវវស្សាមានរយៈពេលពីខែឧសភាដល់ខែតុលា ហើយរដូវប្រាំងចាប់ពីខែវិច្ឆិកាដល់ខែមេសា។ ខែធ្នូ ដល់ខែមករា គឺជាខែដែលត្រជាក់បំផុត ចំណែកខែដែលក្តៅបំផុតគឺនៅខែមេសា។ សីតុណ្ហភាពជាមធ្យមគឺប្រហែល ២៧-២៨ អង្សាសេ។ ទង់ជាតិ ទង់ជាតិកម្ពុជាតំណាងឱ្យពាក្យស្លោករបស់ប្រទេសជាតិ សាសនា ព្រះមហាក្សត្រ។ ឆ្នូត​ពណ៌​ខៀវ​ធំ​ពីរ​តំណាង​ឱ្យ​រាជវង្ស ហើយ​ឆ្នូត​ក្រហម​កណ្តាល​តំណាង​ឱ្យ​ជាតិ ។ រូបភាពនៃប្រាសាទពណ៌សតំណាងឱ្យសាសនារបស់ប្រទេសជាតិ។ ផ្កាជាតិ ផ្ការំដួល​តូច​ពណ៌​លឿង ជា​ផ្កា​ជាតិ​នៃ​ព្រះរាជាណាចក្រ​កម្ពុជា។ តាំងពីបុរាណកាលមក ស្ត្រីខ្មែរតែងតែត្រូវបានគេប្រៀបធៀបទៅនឹងផ្ការំដួល ដោយសារតែក្លិនក្រអូបទាក់ទាញ។ ក្លិនក្រអូបពិសេសដែលលេចធ្លោនៅពេលរសៀល ហើយអាចធ្វើដំណើរបានឆ្ងាយជាមួយនឹងខ្យល់។ ជាមួយនឹងដើមដ៏រឹងមាំរបស់វាដែលមានប្រវែងរហូតដល់ 30 សង់ទីម៉ែត្រ ដើមរំដួលអាចលូតលាស់ដល់កម្ពស់ 12 ម៉ែត្រ។ រុក្ខជាតិទាំងនេះកំពុងត្រូវបានដាំដើម្បីបង្កើនសួនសាធារណៈ។"
    },
    "data_ko": {
        "topic_ko":"역사/지리/관광",
        "keyword_ko": "지리, 역사",
        "title_ko":"지리학",
        "text_ko":"캄보디아 왕국은 고대 캄보디아로, 태국, 라오스, 베트남과 접경하며 태국만에 인접한 동남아시아 국가입니다. 수도는 프놈펜입니다. 캄보디아의 지도는 인도차이나 반도의 북부에 위치해 있으며, 총 면적은 181,035 평방킬로미터입니다. 캄보디아는 서쪽으로 태국과 접하고, 동쪽으로는 라오스와 베트남, 남쪽으로는 태국만에 인접해 있습니다. 캄보디아의 지리적 좌표는 13°00′N, 105°00′E입니다. 캄보디아의 대부분은 저지대이며, 북부와 북동부에는 산지가 있습니다. 캄보디아의 주요 지형적 특징은 메콩강이 북쪽에서 남쪽으로 흐르고, 톤레삽 호수가 있습니다. 자원으로는 석유와 천연가스, 목재, 고무, 철광석, 망간, 인산염, 수력 발전 잠재력이 있습니다. 인구 캄보디아의 인구는 약 1600만 명입니다. 주민의 대부분은 캄보디아 민족인 크메르족이며, 나머지는 이슬람 크메르족, 중국인, 베트남인, 인도인, 태국인 등입니다. 인구 밀도는 78명/평방킬로미터입니다. 기후 대부분의 동남아시아 지역과 마찬가지로, 캄보디아의 기후는 덥고 고온다습하며 거의 전년 내내 그러합니다. 기후는 매년 우기와 건기로 나뉘어 있습니다. 우기는 5월부터 10월까지 지속되며, 건기는 11월부터 4월까지입니다. 12월과 1월은 가장 추운 달이며, 4월은 가장 더운 달입니다. 평균 기온은 약 27-28도입니다. 국기 캄보디아 국기는 국가의 슬로건과 종교, 왕권을 상징합니다. 두 개의 큰 파란색 띠는 왕조를, 중앙의 빨간 띠는 국가를 상징합니다. 백색의 앙코르 와트 이미지는 국가의 종교를 상징합니다. 국화 캄보디아의 국화는 노란색의 롯나우 꽃입니다. 고대부터 캄보디아 여성들은 롯나우 꽃에 비유되어 왔으며, 그 향기가 매혹적입니다. 이 특별한 향기는 오후에 더욱 두드러지며 바람을 타고 멀리 퍼질 수 있습니다. 강한 줄기를 가진 이 식물은 최대 30센티미터까지 자라며, 높이는 12미터에 이를 수 있습니다. 이 식물들은 공공 정원을 위해 재배되고 있습니다."
    },
    "data_en": {
        "topic_en":" History/Geography/Tourism",
        "keyword_en": "Geography, History",
        "title_en":"Geography",
        "text_en":"The Kingdom of Cambodia, formerly known as Ancient Cambodia, is a Southeast Asian nation bordered by Thailand, Laos, Vietnam, and the Gulf of Thailand. The capital is Phnom Penh. The country of Cambodia is located in the northern part of the Indochina Peninsula, covering a total area of 181,035 square kilometers. It shares borders with Thailand to the west and northwest, Laos to the north, and Vietnam to the east and south. The geographical coordinates of Cambodia are 13°00′N, 105°00′E. The terrain of Cambodia consists mainly of lowland plains, with mountains in the northwest and north. Two significant geographical features of Cambodia are the Mekong River, which flows from north to south through the country, and the Tonle Sap Lake. Natural resources include oil and natural gas, timber, rubber, iron ore, manganese, phosphate, and hydroelectric potential. Population The population of Cambodia is approximately 16 million people. The majority are of Khmer ethnicity, while the rest include Cham (Muslim Khmer), Chinese, Vietnamese, Indian, Thai, Phnong, Kuy, Stieng, and Tamils. The population density is 78 people per square kilometer. Climate Like most of Southeast Asia, Cambodia's climate is hot and humid almost year-round. The weather is characterized by a yearly cycle of monsoon and dry seasons. The monsoon season lasts from May to October, while the dry season runs from November to April. December and January are the coldest months, while April is the hottest. The average temperature is about 27-28 degrees Celsius. National Flag The national flag of Cambodia represents the motto of the nation, religion, and monarchy. The two large blue stripes symbolize the royal family, while the central red stripe represents the nation. The image of the white temple symbolizes the country's religion. National Flower The yellow rattan flower is the national flower of the Kingdom of Cambodia. Since ancient times, Khmer women have often been compared to the rattan flower due to its attractive fragrance. This special scent becomes prominent in the afternoon and can travel far with the wind. With a sturdy stem that can grow up to 30 centimeters, the rattan can reach heights of 12 meters. These plants are being cultivated to enhance public gardens."
    }
}

○ 라벨링 데이터 어노테이션 포맷(InstructionQA 데이터)

● 라벨링 데이터 예시(InstructionQA 데이터, JSON)

    "document_id": "02_001_240910_00006",
    "topic_sw": "ប្រវត្តិសាស្រ្ត/ភូមិសាស្ត្រ/ទេសចរណ៍",
    "topic_ko": "역사/지리/관광",
    "instruction": "តើក្រុមជនជាតិមួយណាដែលមានចំនួន 90% នៃប្រជាជនកម្ពុជា?",
    "input": "ជនជាតិខ្មែរ, ជនជាតិតាមិល, ជនជាតិព្នង, ជនជាតិគួយ",
    "output": "ជនជាតិខ្មែរ"

○ 라벨링 데이터 어노테이션 포맷(성능평가 데이터(MMLU))

● 라벨링 데이터 예시(성능평가 데이터(MMLU), JSON)

   "dataset": "크메르어 규범 문화 데이터",
   "version": "1.0",
   "text_url": "MMLU/02.역사및지리및관광",
   "task": "MMLU",
   "document_id": ["02_001_240910_00006"],
   "question_id": "MLU_KM_00113",
   "question": "តើរបស់មួយណាដែលមិនមែនជានិមិត្តរូបនៃទង់ជាតិកម្ពុជា?",
   "options": ["ប្រទេស","សាសនា","ស្តេច","ប្រជាជន"],
   "answer": "D",
   "answer_index": 4,
   "cot_content": “ទង់ជាតិកម្ពុជាតំណាងឱ្យពាក្យស្លោករបស់ប្រទេសជាតិ សាសនា ព្រះមហាក្សត្រ។ ឆ្នូត​ពណ៌​ខៀវ​ធំ​ពីរ​តំណាង​ឱ្យ​រាជវង្ស ហើយ​ឆ្នូត​ក្រហម​កណ្តាល​តំណាង​ឱ្យ​ជាតិ ។ រូបភាពនៃប្រាសាទពណ៌សតំណាងឱ្យសាសនារបស់ប្រទេសជាតិ។"

○ 라벨링 데이터 어노테이션 포맷(성능평가 데이터(HellaSwag))

● 라벨링 데이터 예시(성능평가 데이터(HellaSwag), JSON)

   "dataset": "크메르어 규범 문화 데이터",
   "version": "1.0",
   "text_url": "HellaSwag/02.역사및지리및관광",
   "task": "HellaSwag",
   "document_id": ["02_001_240910_00006"],
   "question_id": "HLS_KM_00110",
   "activity": "ការប្រៀបធៀបផ្កាតំណាងជាតិខ្មែរ",
   "question_a": "ផ្ការំដួល​ជា​ផ្កា​តូច​ពណ៌​លឿង ដែល​ជា​ផ្កាតំណាង​ជាតិ​នៃ​ព្រះរាជាណាចក្រ​កម្ពុជា។ តាំងពីបុរាណកាលមក ស្ត្រីខ្មែរតែងតែត្រូវបានគេប្រៀបធៀបទៅនឹងផ្ការំដួល។",
   "question_b": "មូលហេតុនោះគឺ",
   "question": "ផ្ការំដួល​ជា​ផ្កា​តូច​ពណ៌​លឿង ដែល​ជា​ផ្កា​ជាតិ​នៃ​ព្រះរាជាណាចក្រ​កម្ពុជា។ តាំងពីបុរាណកាលមក ស្ត្រីខ្មែរតែងតែត្រូវបានគេប្រៀបធៀបទៅនឹងផ្ការំដួល។ មូលហេតុនោះគឺ",
   "options": ["ដោយសារ​បុរស​ខ្មែរ​រឹងមាំ។","ដោយសារ​តែ​ខ្មែរ​ស្អប់​ផ្កា។","ដោយសារតែក្លិនដ៏ទាក់ទាញនៃផ្កា។","​ដោយសារ​តែ​ផ្កា​នេះ​ត្រូវ​បាន​គេ​យក​មក​ធ្វើ​ជា​តែ​យកមកទទួលទាន។"],
   "answer": "C",
   "answer_index": 3

데이터셋 구축 담당자

수행기관(주관) : ㈜딥로딩

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처