AI-Hub

데이터 변경이력

데이터 히스토리

소개

초거대AI에 적합한 탄자니아 문화·규범·문화·관습·예절 관련 학습데이터 구축 과제로서
- 스와힐리어 말뭉치 학습데이터 1억 어절 이상 (영어, 한국어 번역본도 구축)
- 스와힐리어 InstructionQ/A, AI성능평가 데이터 구축

구축목적

- 비영어권 국가와의 협력 및 해외진출을 위해 탄자니아의 규범·문화·관습·예절 등을 학습할 수 있는 데이터 구축
- 탄자니아 문화,규범,관습을 담은 말뭉치데이터와 LLM개발을 통하여 탄자니아의 AI모델 성능 향상과 기술 발전에 기여

○ 데이터 구축 규모

● 주제 대분류별 구축 규모

● 주제 중분류별 구축 규모

○ 데이터 분포
● 자료 유형별 분포: 저서, 논문, 기사, 문서, 직접작성, 기타

● 스와힐리어 어절 수 분포

● 한국어 어절 수 분포

● 영어 어절 수 분포

● 질의응답 어절 수 분포(instruction)

● 질의응답 어절 수 분포(input)

● 질의응답 어절 수 분포(ouput)

● 질의응답 유형 분포: 선택형, 요약형, 질문답변형

● 성능 평가 데이터 어절 수 분포(MMLU)

● 성능 평가 데이터 어절 수 분포(HellaSwag)

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

<모델학습>
● 모델은 GPT-3를 베이스로 하는 Llama-3 8B를 사용하였으며 질문 답변, 번역, 대화, 작문 등 자연어처리 임무에서 높은 품질의 텍스트를 생성 할 수 있는 언어모델로 구축하였다. 모델 학습을 위한 데이터는 전체 1억 어절에 해당하며 주제별로 분류되어 있으며 (문화/예술/교육, 사회/산업, 정치/경제, 종교, 과학/의학, 역사/지리/관광, 일상생활/음식, 스포츠/기타)으로 구성하였고 인스트럭션튜닝을 하도록 각 5,000건의 Instruction Q/A데이터 구축 및 AI 성능평가데이터 각 2,000건을 구축
● 전체 데이터로 사전학습을 수행하였고 Instruction Q/A데이터로 파인튜닝을 하여 스와힐리에 적합한 LLM언어모델로 개발함

● LLM모델 AI 성능평가

● 데이터셋 분할

<서비스 활용 시나리오>
● 아프리카 농촌지도 서비스
  - 아프리카 우간다에서 사용하기 위한 AI 농촌지도서비스 개발
  - 우간다 관계부처, 기관, 대학 대상 사업추진계획 설명 함
  - 농업축산수산부 관계자 면담과 국립농업연구기구 관계자 면담으로 농촌관련 기존 구축한 e-service 업그레이드 및 scale-up을 AI로 제공하는것에 대한 협의 진행 함
  - 마케렐레 대학 총장, 부총장과 협의 회의 및 협조 공문 받음
  - 우간다 월드뱅크 농업 경제 담당자 협의 함

설명서 및 활용가이드 다운로드

○ 데이터 설명
-  스와힐리어에 대한 대규모 말뭉치 구축 (1억 어절 이상)
-  탄자니아의 문화, 규범, 관습, 예절에 대한 구조화된 데이터 구축
-  한국어, 영어, 스와힐리어 언어를 포함한 3개 국가 언어로 구축
-  Instruction tuning방식으로 LLM모델의 성능을 높이기 위한 Instruction QA 데이터 구축
-  문화적 맥락을 고려한 대화 생성 능력 평가를 위한 성능평가 데이터 구축

○ 데이터 형태 및 포맷

○ 라벨링 데이터 어노테이션 명세

○ 라벨링 데이터 어노테이션 포맷(말뭉치 데이터)

● 라벨링 데이터 예시(말뭉치데이터, JSON)

{
    "dataset": "글로벌 문화규범 데이터(스와힐리어)",
    "version": "1.0",
    "document_id": "02_001_240909_00001",
    "created_date": "20240909",
    "issue_date": "20240909",
    "writer_ko": "탄자니아 도도마 지역 본부",
    "writer_sw": "Mkoa wa Dodoma",
    "copyrighter_ko": "탄자니아 도도마 지역 본부",
    "copyrighter_sw": "Mkoa wa Dodoma, Tanzania",
    "origin_extension": "HTML",
    "data_sources": "https://dodoma.go.tz/kongwa",
    "data_type": "문서",
    "word_count": "499",
    "file_size": "2.71kb",
    "encoding_type": "UTF-8",
    "data_sw": {
        "topic_sw": "Historia/Jiografia/Utalii",
        "keyword_sw": "Eneo, Historia, Jiografia",
        "title_sw": "Historia ya Kongwa",
        "text_sw": "Utangulizi:Halmashauriya Wilaya ya Kongwa ni miongoni mwa wilaya saba (7) za mkoa wa Dodoma, ilianzishwa mwaka1996 chini ya sheria  ya Serikali za Mitaa ya mwaka 1982 kifungu Na. 8 naNa. 9. Wilaya ina ukubwa wa eneo la kilometa za mraba 4,041 ambapo eneo linalofaa kwa kilimo naufugaji ni hekta 363,690.Wilaya ina Tarafa 3 za Kongwa, Mlali na Zoissa, Kata 22, Vijiji 87,Vitongoji 383 naMamlaka za miji midogo miwili ya Kongwa na Kibaigwa. Wilaya imepakana na Wilayaya Chamwino upande wa Magharibi; Wilaya ya Gairo (Mkoa wa Morogoro), upande waMashariki; Wilaya ya Mpwapwa upande wa Kusini na kwa upande wa Kaskazini kuna Wilaya ya Kiteto (Mkoa wa Manyara). Kwa mujibu wasensa ya Watu na Makazi ya mwaka 2012 Wilayaina ongezeko la watu laasilimia 2.4; Hivyokwa mwaka 2015 wilayaya Kongwa inakadiriwa kuwa na jumla ya  watu 332,831 ambapowanaume ni 160,225 na wanawake ni 172,606. Aidha,Idadi ya kaya zilizopo kwa sasa ni 61,994. Kaya zinazojihusisha na shughuli za kilimo pamoja na ufugaji ni 55,573 sawa na  90%. Wenyeji wa Wilaya hii ni Wagogo, Wakaguru, na Warangi. Pia kuna makabila mengine ambayo yalihamia toka sehemu mbambali za Tanzania kama vile Wabena, Wanguu, Wakamba na Wamasai ambao walikuja kwa ajili ya shughuli za kilimo na mifugo. Shughuli kuu za kiuchumu zinazofanywa na wakazi wa Wilaya ya Kongwa ni ufugaji wanyama (ng’ombe, mbuzi, kondoo, na punda). Punda hutumika zaidi katika usafirishaji wa mazao. Pia shughuli za kilimo cha mazao ya chakula na biashara mfano mahindi, mtama, uwele, karanga na alizeti. Kujulikana kwa Kongwa: Wilaya ya Kongwa lianza kujulikana katika ramani ya Dunia mwaka 1913 ambapo Shirika la Kidini kutoka Canada ambalo lilijulikana kama Church Missionary Society walipoanza ujenzi wa Chuo cha Ualimu na Theolojia mwaka 1909 katika kijiji cha Mlanga. Lakini kutokana na Vita Kuu ya Kwanza ya Dunia, ujenzi huo ulichukua muda mrefu hivyo kukamilika mwaka 1927. Vifaa vilivyotumika katika kujengea Chuo hicho ni mawe na chokaa iliyochomwa. Chuo kilifundisha taaluma ya Uchungaji (Theolojia), Ualimu na Uuguzi. Wanafunzi waliosoma katika Chuo hicho walitoka sehemu mbalimbali za Tanganyika na Kenya. Miongoni mwa wanafunzi wa kwanza waliosoma katika Chuo hicho ni Mzee Musa Fungo na Yohana Malecela. Wakati wa vita ya Wakoloni baina ya Waingereza na Wajerumani mwaka 1914 – 1918, wanafunzi 12 walisoma katika Chuo hicho walikamatwa na Wajerumani na kupelekwa Zanzibar kuhifadhiwa na vita ilipoisha walirudishwa. Wakazi wengi walioishi katika eneo la Mlanga, wengi wao ni wahamiaji toka sehemu za Berege (Morogoro), Tanga na Iringa na Kiongozi wao kwa kipindi hicho alikuwa anaitwa Chifu Mahinyila. Katika eneo la Mlanga karibu na mlima kuna alama za miguu ya Farasi ambao walipitishwa katika njia hiyo na Wakoloni wakati wa vita."
    },
    "data_ko": {
        "topic_ko":"역사/지리/관광",
        "keyword_ko": "지역, 역사, 지리",
        "title_ko":"고대사",
        "text_ko":"소개: 콩가 지방 자치 단체는 도도마 지역의 7개 지구 중 하나로, 1982년 지방 정부 법 8조 및 9조에 따라 1996년에 설립되었습니다. 이 지구는 4,041제곱킬로미터의 면적을 가지고 있으며 그 중 363,690헥타르는 농업 및 목축에 적합합니다. 이 지구는 콩가, 믈랄리, 조이사 3개의 군, 22개의 구, 87개의 마을, 383개의 햄릿 그리고 콩가와 키바이가와 두 개의 소도시 자치 단체를 포함합니다. 이 지구는 서쪽으로 참위노 지구, 동쪽으로 모로고로 지역의 가이로 지구, 남쪽으로 음파파와 지구, 북쪽으로 마냐라 지역의 키테토 지구와 접하고 있습니다. 2012년 인구 및 주택 센서스에 따르면, 이 지구는 2.4%의 인구 증가율을 보였으며, 이에 따라 2015년에는 콩가 지구의 총 인구가 332,831명으로 추정되며, 그 중 남성은 160,225명, 여성은 172,606명입니다. 현재 61,994가구가 있습니다. 농업 및 축산 활동에 관여하는 가구는 55,573가구로, 90%에 해당합니다. 이 지구의 원주민은 고고족, 카구루족, 랑기족입니다. 또한 베나족, 왕구족, 캄바족, 마사이족 등 탄자니아의 다양한 지역에서 이주해 온 다른 부족들도 있으며, 이들은 농업 및 축산 활동을 위해 이주했습니다. 콩가 지구 주민들의 주요 경제 활동은 가축 사육(소, 염소, 양, 당나귀)입니다. 당나귀는 주로 농작물 운송에 사용됩니다. 또한 옥수수, 수수, 기장, 땅콩, 해바라기 등 식량 및 상업 작물 재배 활동도 이루어집니다. 콩가 지구가 세계 지도에 알려지기 시작한 것은 1913년으로, 캐나다의 교회 선교 협회가 1909년 뭘랑가 마을에 교육 및 신학 대학 건설을 시작했기 때문입니다. 그러나 제1차 세계 대전으로 인해 건설이 오래 걸려 1927년에 완공되었습니다. 이 대학 건설에 사용된 재료는 돌과 태운 석회였습니다. 이 대학은 신학, 교육, 간호를 가르쳤으며, 이 대학에서 공부한 학생들은 탕가니카와 케냐의 다양한 지역에서 왔습니다. 최초의 학생들 중에는 무사 풍고와 요하나 말레셀라가 있습니다. 1914년에서 1918년 사이에 영국과 독일 간의 식민지 전쟁 동안 이 대학에서 공부하던 12명의 학생이 독일군에게 잡혀 잔지바르로 끌려갔다가 전쟁이 끝난 후 돌아왔습니다. 뭘랑가 지역에 거주하는 대부분의 주민들은 베레게(모로고로), 탕가, 이링가 등 다른 지역에서 이주해 온 이민자들이었으며, 당시 그들의 지도자는 치푸 마히닐라로 불렸습니다. 뭘랑가 지역의 산 근처에는 전쟁 당시 식민자들이 사용한 말 발자국이 남아 있습니다."
    },
    "data_en": {
        "topic_en":"History/Geography/Tourism",
        "keyword_en": "Region, History, Geography",
        "title_en":"Ancient history",
        "text_en":"Introduction: Kongwa District Council is among the seven (7) districts of the Dodoma region, established in 1996 under the Local Government Act of 1982, sections 8 and 9. The district covers an area of 4,041 square kilometers, of which 363,690 hectares are suitable for agriculture and livestock. The district comprises three divisions: Kongwa, Mlali, and Zoissa, 22 wards, 87 villages, 383 hamlets, and two small town councils of Kongwa and Kibaigwa. It is bordered by Chamwino District to the West; Gairo District (Morogoro Region) to the East; Mpwapwa District to the South, and Kiteto District (Manyara Region) to the North. According to the 2012 Population and Housing Census, the district had a population growth rate of 2.4%; thus, by 2015, Kongwa District is estimated to have a total of 332,831 people, with 160,225 males and 172,606 females. Currently, there are 61,994 households. Households involved in agricultural and livestock activities number 55,573, which is 90%. The natives of this district are the Gogo, Kaguru, and Rangi people. There are also other tribes that have migrated from various parts of Tanzania, such as the Bena, Wanguu, Kamba, and Maasai, who came for farming and livestock activities. The main economic activities of the residents of Kongwa District are livestock farming (cattle, goats, sheep, and donkeys). Donkeys are mainly used in the transportation of crops. Additionally, farming activities include the cultivation of food and commercial crops such as maize, sorghum, millet, peanuts, and sunflower. Kongwa became known on the world map in 1913 when the Church Missionary Society from Canada began constructing a College of Teaching and Theology in 1909 in the village of Mlanga. However, due to World War I, the construction took a long time to complete, finishing in 1927. The materials used in the construction of the college were stone and lime that was burnt. The college offered training in Theology, Teaching, and Nursing. Students who studied at this college came from different parts of Tanganyika and Kenya. Among the first students were Musa Fungo and Yohana Malecela. During the colonial war between the British and the Germans from 1914 to 1918, twelve students studying at the college were captured by the Germans and taken to Zanzibar for safekeeping, and were returned after the war ended. Most residents living in the Mlanga area were immigrants from Berege (Morogoro), Tanga, and Iringa, and their leader at that time was called Chief Mahinyila. Near the mountain in the Mlanga area, there are footprints of horses that were used by the colonials during the war."
    }
}

○ 라벨링 데이터 어노테이션 포맷(InstructionQA 데이터)

● 라벨링 데이터 예시(InstructionQA 데이터, JSON)

    "document_id": "02_001_240909_00001",
    "topic_sw": "Historia/Jiografia/Utalii",
    "topic_ko": "역사/지리/관광",
    "qa_type": "선택형",
    "instruction": "Je, 90% ya wakazi wa Wilaya ya Kongwa wanafanya shughuli gani za kiuchumi?",
    "input": "1.Kilimo, 2.Uvuvi, 3.Madini, 4.Sekta nyepesi",
    "output": "1.Kilimo"

○ 라벨링 데이터 어노테이션 포맷(성능평가 데이터(MMLU))

● 라벨링 데이터 예시(성능평가 데이터(MMLU), JSON)

   "dataset": "스와힐리어 규범 문화 데이터",
   "version": "1.0",
   "text_url": "MMLU/02.역사및지리및관광",
   "task": "MMLU",
   "document_id": ["02_001_240909_00001"],
   "question_id": "MLU_SW_00035",
   "question": “Hii ilitoa fursa kwa mkoa wa Kongwa nchini Tanzania kujulikana duniani kote. Shirika la wamisionari ni la taifa gani?",
   "options": ["Uingereza","Ujerumani","Kanada","Amerika"],
   "answer": "C",
   "answer_index": 3,
   "cot_content": "Wilaya ya Kongwa lianza kujulikana katika ramani ya Dunia mwaka 1913 ambapo Shirika la Kidini kutoka Canada ambalo lilijulikana kama Church Missionary Society walipoanza ujenzi wa Chuo cha Ualimu na Theolojia mwaka 1909 katika kijiji cha Mlanga. Lakini kutokana na Vita Kuu ya Kwanza ya Dunia, ujenzi huo ulichukua muda mrefu hivyo kukamilika mwaka 1927. Vifaa vilivyotumika katika kujengea Chuo hicho ni mawe na chokaa iliyochomwa."

○ 라벨링 데이터 어노테이션 포맷(성능평가 데이터(HellaSwag))

● 라벨링 데이터 예시(성능평가 데이터(HellaSwag), JSON)

   "dataset": "스와힐리어 규범 문화 데이터",
   "version": "1.0",
   "text_url": "HellaSwag/02.역사및지리및관광",
   "task": "HellaSwag",
   "document_id": ["02_001_240909_00001"],
   "question_id": "HLS_SW_00105",
   "activity": "Utangulizi wa shughuli za kiuchumi za wakazi wa Wilaya ya Kongwa",
   "question_a": "Shughuli kuu za kiuchumi za wakazi wa Wilaya ya Kongwa ni ufugaji wa mifugo (ng’ombe, mbuzi, kondoo na punda) na kulima mazao ya chakula na biashara kama mahindi, mtama, mtama, karanga na alizeti.",
   "question_b": "Punda hasa",
   "question": "Shughuli kuu za kiuchumi za wakazi wa Wilaya ya Kongwa ni ufugaji wa mifugo (ng’ombe, mbuzi, kondoo na punda) na kulima mazao ya chakula na biashara kama mahindi, mtama, mtama, karanga na alizeti. Punda hasa",
   "options": ["hushindana katika mbio za punda.","hutumiwa kusafirisha mazao.","hutumiwa kwa kujenga nyumba.","hutumiwa kama kiungo cha kutengeneza mkate."],
   "answer": "B",
   "answer_index": 2

데이터셋 구축 담당자

수행기관(주관) : ㈜딥로딩

수행기관(참여)

데이터 관련 문의처

AI모델 관련 문의처

저작도구 관련 문의처