Pythoncolab

colab으로 kaggle 연결하기

, ,

install 설치

kaggle에서 파일을 받기 위해서는 colab에 install 설치를 위한 코드를 입력합니다.

1
!pip install kaggle
  • !는 colab에서만 적용

API파일 다운 및 실행

설치가 완료 되면 kaggle 방문하여 API파일을 다운 받습니다.

kaggle접속 > Account클릭 > API > Create New API > Token클릭

  • 파일 다운을 완료하면 아래의 코드를 실행합니다.
1
2
3
4
5
6
7
8
from google.colab import files
uploaded = files.upload()
for fn in uploaded.keys():
  print('uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))
  
# kaggle.json을 아래 폴더로 옮긴 뒤, file을 사용할 수 있도록 권한을 부여 
!mkdir -p ~/.kaggle/ && mv kaggle.json ~/.kaggle/ && chmod 600 ~/.kaggle/kaggle.json
  • 실행 하고 파일선택을 눌러 kaggle에서 다운 받은 kaglle.json 파일을 선택 합니다.
1
ls -1ha ~/.kaggle/kaggle.json
1
/root/.kaggle/kaggle.json
  • 에러 메시지가 없으면 성공적으로 json 파일이 업로드 된 것 입니다.

kaggle 데이터 불러오기

아래와 같이 코드를 입력하면 kaggle에 올라와 있는 파일들을 확인할 수 있습니다.

1
!kaggle competitions list # 연동한 kaggle내의 파일 목록을 확인
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Warning: Looks like you're using an outdated API Version, please consider updating (server 1.5.9 / client 1.5.4)
ref                                            deadline             category            reward  teamCount  userHasEntered  
---------------------------------------------  -------------------  ---------------  ---------  ---------  --------------  
contradictory-my-dear-watson                   2030-07-01 23:59:00  Getting Started     Prizes        134           False  
gan-getting-started                            2030-07-01 23:59:00  Getting Started     Prizes        185           False  
tpu-getting-started                            2030-06-03 23:59:00  Getting Started  Knowledge        315           False  
digit-recognizer                               2030-01-01 00:00:00  Getting Started  Knowledge       2356           False  
titanic                                        2030-01-01 00:00:00  Getting Started  Knowledge      18048            True  
house-prices-advanced-regression-techniques    2030-01-01 00:00:00  Getting Started  Knowledge       4536            True  
connectx                                       2030-01-01 00:00:00  Getting Started  Knowledge        390           False  
nlp-getting-started                            2030-01-01 00:00:00  Getting Started  Knowledge       1184           False  
rock-paper-scissors                            2021-02-01 23:59:00  Playground          Prizes        149           False  
riiid-test-answer-prediction                   2021-01-07 23:59:00  Featured          $100,000       1465           False  
nfl-big-data-bowl-2021                         2021-01-05 23:59:00  Analytics         $100,000          0           False  
competitive-data-science-predict-future-sales  2020-12-31 23:59:00  Playground           Kudos       9343           False  
halite-iv-playground-edition                   2020-12-31 23:59:00  Playground       Knowledge         43           False  
predict-volcanic-eruptions-ingv-oe             2020-12-28 23:59:00  Playground            Swag        193           False  
hashcode-drone-delivery                        2020-12-14 23:59:00  Playground       Knowledge         79           False  
cdp-unlocking-climate-solutions                2020-12-02 23:59:00  Analytics          $91,000          0           False  
lish-moa                                       2020-11-30 23:59:00  Research           $30,000       3395           False  
google-football                                2020-11-30 23:59:00  Featured            $6,000        916           False  
conways-reverse-game-of-life-2020              2020-11-30 23:59:00  Playground            Swag        131           False  
lyft-motion-prediction-autonomous-vehicles     2020-11-25 23:59:00  Featured           $30,000        778           False
  • 목록을 확인해 보고 필요한 데이터를 불러옵니다
1
2
!kaggle competitions download -c titanic # download -c, 다운 받을 대회명 진행중인 대회 동의 안되 있으면
# Warning: Looks like you're using an outdated API Version, please consider updating 같은 문구 나옴, 대회 동의 하면 다운가능
1
2
3
4
5
6
7
8
9
10
Warning: Looks like you're using an outdated API Version, please consider updating (server 1.5.9 / client 1.5.4)
Downloading test.csv to /content/drive/My Drive/Colab Notebooks/learn_kaggle
  0% 0.00/28.0k [00:00<?, ?B/s]
100% 28.0k/28.0k [00:00<00:00, 3.73MB/s]
Downloading train.csv to /content/drive/My Drive/Colab Notebooks/learn_kaggle
  0% 0.00/59.8k [00:00<?, ?B/s]
100% 59.8k/59.8k [00:00<00:00, 8.37MB/s]
Downloading gender_submission.csv to /content/drive/My Drive/Colab Notebooks/learn_kaggle
  0% 0.00/3.18k [00:00<?, ?B/s]
100% 3.18k/3.18k [00:00<00:00, 438kB/s]
  • kaggle에서 파일을 제대로 불러왔는지 확인합니다.
1
!ls
1
gender_submission.csv  sample_data  test.csv  train.csv
Share