AI 허브 오픈 API'aihubshell' 이용안내
AI 허브에서 제공하고 있는 인공지능 학습용 데이터를 API를 통해 다운로드 받을 수 있습니다.
Linux 등 다양한 개발환경에서 데이터 다운로더인, aihubshell을 제공합니다.
• AI 허브 Shell 이용안내
aihubshell 가이드서버에서 aihubshell을 사용하여 AI 허브의 데이터를 다운로드 받을 수 있습니다.
aihubshell을 이용 시 AI허브의 계정정보를 입력하여 사용할 수 있습니다.
별도의 환경변수를 등록하여 계정정보 입력부분을 생략할 수 있습니다.
aihubshell은 grep명령어를 함께 사용하여 원하는 정보를 확인 할 수 있습니다.
다운로드된 파일은 병합 후 기존 디렉토리 구조로 압축해제하여 제공됩니다.
다운로드된 파일을 압축해제하기 위해 다운로드 받는 데이터의 2~3배 이상의 용량을 확보하시길 바랍니다.
aihubshell -help 명령어를 사용하시면 상세정보를 제공 합니다.
자세한 이용방법은 아래의 명령어 및 옵션 상세정보, 활용 안내를 참고하세요.
aihubshell 프로그램은 데이터셋 다운로드 승인이 완료되어야 다운로드가 가능합니다. 데이터셋 상세페이지에서 다운로드 버튼 클릭 후 승인 여부를 확인해주세요.
• aihubshell 명령어 및 옵션 상세정보
| 명령어 | 옵션 | 내용 |
|---|---|---|
| - aihubid | {사용자계정} |
https://aihub.or.kr 에서 회원가입 후 이용하실 수 있습니다. [mode d 를 사용할 시 입력 필수 | 환경변수로 예외 가능] 안내 : 입력된 aihubid는 https://aihub.or.kr에서 사용하는 ID입니다. 예외 : console 재접속 또는 서버 재기동 초기화 될 수 있습니다. |
| -aihubpw | {사용자비밀번호} |
https://aihub.or.kr 에서 회원가입 후 이용하실 수 있습니다. [mode d 를 사용할 시 입력 필수 | 환경변수로 예외 가능] 안내 : 입력된 aihubpw는 https://aihub.or.kr에서 사용하는 비밀번호 입니다. 예외 : console 재접속 또는 서버 재기동 초기화 될 수 있습니다. |
| -mode | l |
[list 모드 안내] datasetkey 가 없는 경우 개방된 데이터셋의 제목과 key값을 제공합니다. datasetkey 를 입력한 경우 해당 데이터셋의 파일 목록을 아래와 같이 제공합니다. 데이터셋의 파일목록, 용량, filekey를 제공합니다. 공지사항이 있을 경우 안내합니다. |
| d |
[download 모드 안내] [필수 이용조건] -aihubid, -aihubpw 입력 또는 별도 환경변수 추가 [필수 파라미터] datasetkey filekey 입력한 경우 해당 파일을 다운로드 합니다. {111, 222, 333} 다중 파일 다운로드 지원 filekey 옵션 누락시 전체 파일을 다운로드 합니다. [필수 사전 사항] https://aihub.or.kr 에서 데이터 승인신청 및 승인완료 |
|
| -datasetkey | {datasetkey} |
https://aihub.or.kr 에서 확인 할 수 있습니다. -mode l 에서 datasetkey 번호를 확인 할 수 있습니다. |
| -filekey | {filekey} |
https://aihub.or.kr 에서 확인 할 수 있습니다. -mode l 에서 -datasetkey를 입력하면 filekey 번호를 확인 할 수 있습니다. |
• aihubshell 다운로드 및 환경준비
aihubshell 다운로드
aihubshell은 aihub의 학습용 데이터를 cli 환경에서 다운로드할 수 있는 도구 입니다.
aihubshell은 cli 환경에서 curl 명령어로 다운로드 받을 수 있습니다.
aihub@DESKTOP :~$ curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 7704 100 7704 0 0 218k 0 --:--:-- --:--:-- --:--:-- 221k
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
-rw-r--r-- 1 aihub aihub 7704 Sep 7 00:00 aihubshell
aihubshell 실행권한 부여
aihubshell은 실행권한을 반드시 부여하셔야 활용이 가능합니다.
aihub@DESKTOP :~$ chmod +x aihubshell
aihub@DESKTOP :~$ ls -al
-rwxr-xr-x 1 aihub aihub 7704 Sep 7 00:00 aihubshell*
전역 실행 bin 등록
aihubshell을 /usr/bin/에 복사하여 전역명령어로 등록합니다.
전역명령어로 등록하시면 어느 위치에서든 aihubshell 명령어를 사용하실 수 있습니다.
aihub@DESKTOP :~$ sudo cp aihubshell /usr/bin
[sudo] password for aihub:
aihub@DESKTOP :~$
aihub@DESKTOP :~$ cd /usr/bin/
aihub@DESKTOP :/usr/bin/$ ls -al | grep aihubshell
-rwxr-xr-x 1 aihub aihub 7704 Sep 7 00:00 aihubshell
계정정보 환경변수 등록
aihubshell -mode d [download 모드]를 사용하기 위한 계정정보를 등록합니다.
비밀번호의 특수문자는 아래의 '홑따옴표'를 참고합니다.
해당 정보는 터미널을 종료하면 삭제 됩니다.
환경변수를 영구적으로 사용하실때는 ~/.bachrc 파일에 추가하여 사용하실 수 있습니다.
aihub@DESKTOP :~$ export AIHUB_ID=aihub@aihub.or.kr
aihub@DESKTOP :~$ export AIHUB_PW='12345!@#$%aihub12345!@#$%'
aihub@DESKTOP :~$
aihub@DESKTOP :~$ env | grep AIHUB
AIHUB_ID=aihub@aihub.or.kr
AIHUB_PW=12345!@#$%aihub12345!@#$%
.bashrc 터미널 쉘에 계정정보 영구저장 방법
aihub@DESKTOP :~$ cd ~
aihub@DESKTOP :~$ vi .bashrc
export AIHUB_ID=aihub@aihub.or.kr
export AIHUB_PW='12345!@#$%aihub12345!@#$%'
aihub@DESKTOP :~$ source .bashrc
.zshrc 터미널 쉘에 계정정보 영구저장 방법
aihub@DESKTOP :~$ cd ~
aihub@DESKTOP :~$ vi .zshrc
export AIHUB_ID=aihub@aihub.or.kr
export AIHUB_PW='12345!@#$%aihub12345!@#$%'
aihub@DESKTOP :~$ source .zshrc
• aihubshell 명령어 활용
메뉴얼 조회
aihubshell 명령어 및 옵션 상세 정보를 조회 합니다.
aihub@DESKTOP :~$ aihubshell -help
aihubshell에 대한 명령어 및 옵션 상세
ENGL_CMGG KOREAN_CMGG DETAIL_CN
-aihubid {사용자계정} | https://aihub.or.kr 에서 회원가입 후 이용하실 수 있습니다.
.......... 생 략 .............
데이터셋 정보 조회 [list 모드]
데이터셋 정보를 조회하며 형식은 [datasetkey, 데이터명] 입니다.
grep 명령어를 사용하여 필터링 할 수 있습니다.
aihub@DESKTOP :~$ aihubshell -mode l
==================DataSet 목록==================
50, AR/VR 화면정확도 향상을 위한 플렌옵틱 카메라 이미지
51, K-Fashion 이미지
57, 멀티모달
59, 반려동물 구분을 위한 동물 영상
.......... 생 략 .............
aihub@DESKTOP :~$
aihub@DESKTOP :~$ aihubshell -mode l | grep 이미지
50, AR/VR 화면정확도 향상을 위한 플렌옵틱 카메라 이미지
51, K-Fashion 이미지
63, 상표 이미지 및 텍스트
.......... 생 략 .............
aihub@DESKTOP :~$
aihub@DESKTOP :~$ aihubshell -mode l | grep 가리비
593, 지능형 스마트양식장 통합 데이터(가리비)
데이터셋 파일 정보 조회
datasetkey 옵션을 추가하여 원하는 파일 정보를 조회 합니다.
파일 정보의 형식은 폴더 구조 및 [파일명 | 용량 | filekey]입니다.
aihub@DESKTOP :~$ aihubshell -mode l -datasetkey 593
==========================================
Fetching file tree structure...
The contents are encoded in UTF-8 including Korean characters.
If the following contents are not output normally,
Please modify the character information of the OS.
==========================================
└─111.지능형 스마트양식장 통합 데이터(가리비)
├─01.데이터
│ ├─1.Training
│ │ ├─라벨링데이터
│ │ │ └─TL1.zip | 108 MB | 51937
│ │ └─원천데이터
│ │ └─TS1.zip | 11 GB | 51938
.......... 생 략 .............
데이터셋 다운로드 [download 모드]
[download 모드]에서 datasetkey를 입력하여 AI학습용 데이터 전체를 다운로드 합니다.
명령어를 실행한 장소에서 다운로드가 진행 됩니다.
다운로드가 완료되면 자동으로 아카이빙파일 병합, 압축해제, 압축파일 제거 순으로 작업이 진행 됩니다.
위의 사항을 고려하여 다운로드 받을 데이터의 2~3배 이상의 용량을 확보하시길 바랍니다.
위의 환경설정에서 AIHUB_ID, AIHUB_PW 환경변수를 등록 하였다면 -aihubid, -aihubpw 계정정보는 생략 가능합니다.
aihub@DESKTOP :~$ cd temp/
aihub@DESKTOP :~/temp$ aihubshell -mode d -datasetkey 593
Authentication successful.
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 14.1G 0 14.1G 0 0 52.5M 0 --:--:-- 0:04:35 --:--:-- 56.9M
Request successful with HTTP status 200.
Download successful.
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part0
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part1073741824
.......... 생 략 .............
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/원천데이터/TS1.zip.part11811160064
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터/TL1.zip.part0
잠시 기다려 주세요 병합중 입니다.
Merging TL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터
Merging TS1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/원천데이터
Merging VL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/라벨링데이터
Merging VS1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터
병합이 완료 되었습니다.
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 .
drwxr-x--- 1 aihub aihub 4096 Sep 7 00:00 ..
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 '111.지능형 스마트양식장 통합 데이터(가리비)'
선택다운로드
[download 모드]에서 filekey 옵션을 추가하면 해당하는 파일을 다운로드 합니다.
filekey는 ,(콤마)로 구분해서 멀티 다운로드 기능을 제공합니다.
aihub@DESKTOP :~/temp$ aihubshell -mode d -datasetkey 593 -filekey 51937
Authentication successful.
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 107M 0 107M 0 0 43.2M 0 --:--:-- 0:00:02 --:--:-- 60.1M
Request successful with HTTP status 200.
Download successful.
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터/TL1.zip.part0
잠시 기다려 주세요 병합중 입니다.
Merging TL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터
병합이 완료 되었습니다.
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 .
drwxr-x--- 1 aihub aihub 4096 Sep 7 00:00 ..
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 '111.지능형 스마트양식장 통합 데이터(가리비)'
aihub@DESKTOP :~$
aihub@DESKTOP :~$
aihub@DESKTOP :~/temp$ aihubshell -mode d -datasetkey 593 -filekey 51939,51940
Authentication successful.
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 1449M 0 1449M 0 0 46.9M 0 --:--:-- 0:00:30 --:--:-- 60.1M
Request successful with HTTP status 200.
Download successful.
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part0
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part1073741824
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/라벨링데이터/VL1.zip.part0
잠시 기다려 주세요 병합중 입니다.
Merging VL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/라벨링데이터
Merging VS1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터
병합이 완료 되었습니다.
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 .
drwxr-x--- 1 aihub aihub 4096 Sep 7 00:00 ..
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 '111.지능형 스마트양식장 통합 데이터(가리비)'