2017년 12월 14일 목요일

ImageNet LSVRC2012 이미지넷 데이터셋 다운받기



Step1: ImageNet 폴더 만들기

~ \$ mkdir ~/Downloads/ImageNet

Step2: Dataset, Bounding boxes 다운받기

<Training set (Task 1 & 2) 138GB>
~/Downloads/ImageNet\$ wget http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_train.tar
~/Downloads/ImageNet\$ wget http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_bbox_train_v2.tar.gz

<Validation set 6.3GB>
~/Downloads/ImageNet\$ wget http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_val.tar
~/Downloads/ImageNet\$ wget http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_bbox_val_v3.tgz


Step3: 압축풀기

~/Downloads/ImageNet\$ mkdir image
~/Downloads/ImageNet\$ mv ILSVRC2012_img_train.tar image
~/Downloads/ImageNet\$ mv ILSVRC2012_img_val.tar image
~/Downloads/ImageNet\$ cd image

<Training set >
~/Downloads/ImageNet/Data\$ mkdir train
~/Downloads/ImageNet/Data\$ mv ILSVRC2012_img_train.tar train
~/Downloads/ImageNet/Data\$ cd train
~/Downloads/ImageNet/Data/train\$ tar xf ILSVRC2012_img_train.tar
~/Downloads/ImageNet/Data/train\$ find . -name "*.tar" | while read NAME ; do mkdir -p "\${NAME%.tar}"; tar -xvf "\${NAME}" -C "\${NAME%.tar}"; rm -f "\${NAME}"; done

<Validation set >
~/Downloads/ImageNet/Data/train\$ cd ..
~/Downloads/ImageNet/Data\$ mkdir val
~/Downloads/ImageNet/Data\$ mv ILSVRC2012_img_train.val val
~/Downloads/ImageNet/Data\$ cd val
~/Downloads/ImageNet/Data/val\$ tar xf ILSVRC2012_img_val.tar

<Bounding boxes >
~/Downloads/ImageNet\$ mkdir Annotations
~/Downloads/ImageNet\$ mv ILSVRC2012_bbox_train_v2.tar.gz bbox
~/Downloads/ImageNet\$ mv ILSVRC2012_bbox_val_v3.tgz bbox
~/Downloads/ImageNet\$ cd Annotations
~/Downloads/ImageNet/Annotations\$ tar xzf ILSVRC2012_bbox_val_v3.tgz
~/Downloads/ImageNet/Annotations\$ mkdir train
~/Downloads/ImageNet/Annotations\$ mv ILSVRC2012_bbox_train_v2.tar.gz train
~/Downloads/ImageNet/Annotations\$ cd train
~/Downloads/ImageNet/Annotations/train\$ tar xzf ILSVRC2012_bbox_train_v2.tar.gz

Folder structure

Downloads
└── ImageNet
    ├── Data
    |   ├── train
    |   |   ├── n01728572 # class1
    |   |   |   ├── n01728572_10.JPEG
    |   |   |   ├── ...
    |   |   |   └── n01728572_29824.JPEG
    |   |   ├── ...
    |   |   └── n15075141 # class1000
    |   └── val
    |       ├── ILSVRC2012_val_00000001.JPEG
    |       ├── ...
    |       └── ILSVRC2012_val_00050000.JPEG
    └── Annotations
        ├── train
        |   ├── n01728572 # class1
        |   |   ├── n01728572_10.xml
        |   |   ├── ...
        |   |   └── n01728572_29824.xml
        |   ├── ...
        |   └── n15075141 # class1000
        └── val
            ├── ILSVRC2012_val_00000001.xml
            ├── ...
            └── ILSVRC2012_val_00050000.xml

댓글 6개:

  1. 좋은 정보 감사합니다! 해당 분야를 전공하고 있는 대학생입니다.
    죄송하지만 ImageNet org가 안들어가지는데, 혹시 데이터 공유해주실수 있으신가요?
    가능하시다면 메일로 알려주시면 정말 감사하겠습니다.darky777@naver.com

    답글삭제
    답글
    1. 안녕하세요 확인해보니 지금 이미지넷 서버가 맛이 간것같네요
      데이터파일은 용량이 수십 GB를 넘기때문에 메일 및 클라우드 서비스로 공유는 어려울것같습니다.

      삭제
    2. 지금됩니다. 확인해보세요.

      삭제
  2. 좋은 정보 잘 읽었습니다! 본문 내용대로 따라가며 트레이닝 데이터셋을 받으려고 하는데 404 에러가 떴습니다.. 홈페이지 직접 들어가서 받으려고 해보니 이미지넷에서 트레이닝 데이터셋 배포 기간이 끝났다고 하는 것 같습니다..ㅠㅠ 혹시 트레이닝 데이터셋을 공유해주실 수 있다면 공유해주시면 사례하겠습니다..!

    답글삭제
    답글
    1. 제가 PC 용량이 부족하여 지워서 지금은 갖고있지않습니다 ㅜㅜ 확인해보니 저도 url 오류가 뜨는군요..

      삭제
    2. 알겠습니다 감사합니다!

      삭제