-
소개
국내·외 여행 에이전트 개발을 위한 24,557개의 이벤트, 위치, 시작일, 종료일의 정보 태깅 및 템플릿 구축
구축목적
해외 주요 국가에서는 챗봇 기술개발을 위한 텍스트 데이터 구축 등 관련 인프라를 확보하여 개방 국내·외 여행정보 에이전트 개발을 위해서는 국내·외 여행에 특화된 데이터의 확보가 중요 온라인에서 국내·외 여행과 관련된 빅데이터를 수집하고 데이터의 정제 및 이벤트 추출을 통한 여행 데이터셋 구축 필요
-
구축량
- 국내 여행 정보 11,400개
-
구축량
- 국내 여행 정보 11,400개
대표 도면
필요성
- 해외 주요 국가에서는 챗봇 기술개발을 위한 텍스트 데이터 구축 등 관련 인프라를 확보하여 개방
- 국내·외 여행정보 에이전트 개발을 위해서는 국내·외 여행에 특화된 데이터의 확보가 중요
- 온라인에서 국내·외 여행과 관련된 빅데이터를 수집하고 데이터의 정제 및 이벤트 추출을 통한 여행 데이터셋 구축 필요
구축 내용
- 여행 에이전트 연계를 위한 Web(네이버 포탈, 구글 및 국내·외 여행정보 제공 사이트), SNS(Twiter, Facebok)의 여행정보 데이터 수집기 개발
- 온라인 빅데이터의 유용성을 높이기 위한 분석용 데이터 추출, 불용어 제거 등 데이터 정제를 위한 빅데이터 마이닝 기법 개발
- 수집된 온라인 빅데이터에서 국내·외 여행 관련 주요 정보 추출을 위한 개체명 인식기를 개발하고 개체명 및 이벤트 분류
- 국내·외 여행 에이전트 개발을 위한 24,557개의 이벤트, 위치, 시작일, 종료일의 정보 태깅 및 템플릿 구축
- 구축 결과
- 국내 전국(주요 시·도) 11,400건 구축
- 국외 라스베가스, 로스앤젤레스 한정 13,157건 구축
데이터 구조
- Excel(xlsx) 파일로 여행 관련 정보 제공 (ANSI)
- 국내 데이터셋 구조
여행정보 데이터셋_데이터구조_1 Column명 구조 설명 type 3종류의 텍스트 데이터 여행 정보 유형 분류 구분 City 17종류의 텍스트 데이터 여행 정보 해당 도시 명 Title 텍스트 데이터 여행 정보 제목 start date YYYYMMDD형식의 데이터 행사 또는 축제 시작 날짜 start time HHMI형식의 데이터 행사 또는 축제 시작 시간 end date YYYYMMDD형식의 데이터 행사 또는 축제 종료 날짜 place 텍스트 데이터 여행 정보 상세 주소 - 국외 데이터셋 구조
여행정보 데이터셋_데이터구조_2 Column명 구조 설명 type 3종류의 텍스트 데이터 여행 정보 유형 분류 구분 City 2종류의 텍스트 데이터 여행 정보 해당 도시 명 Title 텍스트 데이터 여행 정보 제목 url url형식의 데이터 여행 관련 링크 start date YYYYMMDD형식의 데이터 행사 또는 축제 시작 날짜 start time 12시간제 HHMI형식의 데이터 행사 또는 축제 시작 시간 am_pm 2종류의 텍스트 데이터 행사 또는 축제 오전 오후 end date YYYYMMDD형식의 데이터 행사 또는 축제 종료 날짜 place 텍스트 데이터 여행 정보 상세 주소 다운로드 폴더 구성정보
-
데이터셋 구축 담당자
수행기관(주관) : 더아이엠씨
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 전채남 053-744-0707 theimc@theimc.co.kr
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 safezone1@aihub.kr 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.