※ 내국인만 데이터 신청이 가능합니다.
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2025-05-15 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2025-05-19 데이터 분야 지정 기타(미분류)>한국어 2025-05-15 콘텐츠 최초 등록 소개
초거대AI에 적합한 베트남어 비자상담 서비스 구축 과제로 - 베트남어 말뭉치 비자상담 학습데이터 1만 어절 이상
구축목적
- 한국 파견 베트남 근로자를 위한 상담 서비스 데이터 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 텍스트 데이터 형식 txt 데이터 출처 자체 수집 라벨링 유형 내용요약(자연어), 질의응답(자연어) 라벨링 형식 json 데이터 활용 서비스 한국파견 베트남 근로자 상담 챗봇서비스 데이터 구축년도/
데이터 구축량2024년/말뭉치데이터 1만어절 -
○ 데이터 구축 규모
데이터 구축 규모 구분 어절 QA 데이터 10,115
● 주제 분류별 구축 규모주제 분류별 구축 규모 No 구분 수량(어절) 비율(%) 1 불법 1,169 12.5 2 불법체류 927 12.5 3 비자 1,509 12.5 4 사기 1,171 12.5 5 재입국 2,189 12.5 6 직장생활 775 12.5 7 파견준비 812 12.5 8 한국생활 1,563 12.5 합계 10,115 100
○ 데이터 분포
● 자료 유형별 분포: 저서, 논문, 기사, 문서, 직접작성, 기타데이터 분포-자료 유형별 분포 No 구분 수량(어절) 비율(%) 1 직접작성 10,115 100 합계 10,115 100 -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드<모델학습>
● 모델은 GPT-3를 베이스로 하는 Llama-3 8B를 사용하였으며 질문 답변, 번역, 대화, 작문 등 자연어처리 임무에서 높은 품질의 텍스트를 생성 할 수 있는 언어모델로 구축하였다. 모델 학습을 위한 데이터는 전체 1만 어절에 해당하며 주제별로 분류되어 있으며 (불법/불법체류/비자/사기/재입국/직장생활/파견준비/한국생활) 으로 구성
<서비스활용 시나리오>
● 구축한 모델은 한국 파견 베트남 근로자 대상으로 한국 입국시 비자 문제, 한국의 직장생활, 한국의 생활등의 상담을 수행 할 수 있는 상담 챗봇으로 활용 할 수 있음
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드○ 데이터 설명
- 베트남어 비자상담 말뭉치 구축 (1만 어절 이상)
- 베트남어, 한국어 2개국가 언어로 구축
- Fine tuning방식으로 LLM모델의 성능을 높이기 위한 QA 데이터 구축
○ 데이터 형태 및 포맷데이터 형태 및 포맷 구축 공정 전처리/데이터 수집 데이터 정제 데이터 가공 데이터 검사 데이터 구분 원시데이터 원천데이터 라벨링데이터 검사 후 데이터 데이터 형태 - 한국어, 베트남어 말뭉치
- 텍스트 파일
- 한국어, 베트남어 말뭉치
- 텍스트 파일
- 한국어, 베트남어 말뭉치
텍스트 파일 - Q/A 데이터
- 베트남어와 한국어 번역
- 한국어 말뭉치 텍스트 파일
- Q/A 데이터
- 베트남어와 한국어 번역
데이터 포맷 텍스트(txt) 텍스트(txt) 텍스트(txt) 텍스트(txt)
○ 라벨링 데이터 어노테이션 포맷(말뭉치 데이터)라벨링 데이터 어노테이션 포맷(말뭉치 데이터) No. 항목명 타입 필수 구분 항목 설명 예시 1 dataset String 필수 데이터셋 Vietnamese_Corpus_Data 2 version String 필수 데이터셋 버전 1 3 document_id String 필수 고유식별자 vn_corpus_00001 4 created_date String 필수 텍스트 생성 일자 20240822 5 encoding_type String 필수 인코딩 타입 UTF-8 6 topic String 필수 주제 분류 비자 7 question_vn String 선택 질문(베트남어) 8 answer_vn String 선택 답변(베트남어) 9 question_kr String 선택 질문(한국어) 10 answer_kr String 필수 답변(한국어) 11 word_count_vn String 필수 어절수(베트남어) 12 word_count_kr String 필수 어절수(한국어) 13 word_count_total String 필수 어절수(합계)
● 데이터 예시(InstructionQA 데이터){
"dataset": "Vietnamese_Corpus_Data",
"version": "1.0",
"document_id": "vn_corpus_00001",
"created_date": "20240910",
"encoding_type": "UTF-8",
"topic": "비자“",
"question_vn" : "Khi visa E-9 của tôi hết hạn, tôi có thể đổi sang visa nào?“
“answer_vn” : “Theo Luật về việc làm của lao động nước ngoài theo diện visa E-9, hệ thống này cho phép người sử dụng lao động thuê lao động nước ngoài và cho phép lao động nước ngoài làm việc tại các doanh nghiệp được chỉ định trong thời hạn tối đa 4 năm 10 tháng.
Khi visa E-9 hết hạn, lao động nước ngoài đang làm việc hợp pháp tại Hàn Quốc, có kỹ năng tay nghề đã được xác nhận, có thể chuyển đổi sang visa lao động kỹ năng cao (E-7-4) hoặc visa kết hôn nhập cư (F-6). Tuy nhiên, để có visa F-6, cần kết hôn với người Hàn Quốc, điều này không phải lúc nào cũng dễ dàng. Trong khi đó, việc chuyển sang visa E-7-4 thường phổ biến hơn.
Visa E-7 (hoạt động đặc định) được cấp cho những người nước ngoài có chuyên môn hoặc kỹ năng phù hợp để làm việc tại Hàn Quốc. Thời hạn tối đa của visa này là 3 năm cho mỗi lần cấp (thường là 1 năm), và trong trường hợp đặc biệt, có thể được cấp tới 5 năm.... “
"question_kr" : "E-9 비자 만료되면 어떤 비자로 변경가능할까요?“
“answer_kr” : “E-9 비자라는 외국인근로자의 고용 등에 관한 법률에 의거하여 사업주에게 외국인근로자의 고용을 허가하고, 외국인 근로자에게는 당해 사업주에게 고용되는 조건으로 최장 4년 10개월간 취업을 허용하는 인력제도입니다.
비자 E-9 만료되면 합법적으로 취업활동 중인 외국인 중 숙련성 등이 검증된 자에게 숙련기능인력(E-7-4) 비자나 결혼 이민(F-6 )비자로 전환 허용합니다. 그러나 F-6비자를 갖고 싶으면 한국이과 결혼해야 되니 싶지 않습니다. 반면에 F-7-4자로 전환하는 경우가 상당히 있습니다.
E-7 비자(특정활동)는, 어떠한 분야에 대해 전문력이나 그에 걸맞는 기술력은 가진 외국인들이 한국에 취업하는경우 부여되는 비자로서 1회 부여 체류기간의 상한은 3년으로(보통 1년) 특별한 경우 5년까지 허용되고 있는 비자입니다”,
“word_count_vn” : 829,
“word_count_kr” : 340,
“word_count_total” : 1169
} -
데이터셋 구축 담당자
수행기관(주관) : ㈜딥로딩
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 오승묵 02-568-2035 smoh@deeploading.com 품질책임자 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 오승묵 02-568-2035 smoh@deeploading.com AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 오승묵 02-568-2035 smoh@deeploading.com
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.
오프라인 데이터 이용 안내
본 데이터는 K-ICT 빅데이터센터에서도 이용하실 수 있습니다.
다양한 데이터(미개방 데이터 포함)를 분석할 수 있는 오프라인 분석공간을 제공하고 있습니다.
데이터 안심구역 이용절차 및 신청은 K-ICT빅데이터센터 홈페이지를 참고하시기 바랍니다.
국방데이터 개방 안내
본 데이터는 국방데이터로 군사 보안에 따라 AI허브에서 데이터를 제공하지 않으며,
군 담당자를 통한 별도의 사용 신청이 필요합니다.