Google Colaboratoryで大容量ファイルの分析を行う完全準備ガイド

投稿日：2019年2月22日

Table of Contents

こちらを読むと

自前でGPUを用意するのが難しい場合、Google Colaboratory（クラウドサービス）のGPUを使う場合があると思います。

その際、画像コンペなどでは、数が多い・容量の大きいファイルをクラウド上にアップロードする必要がありますね。

その際の準備作業を、ここでは説明します。

Google Colaboratoryにアクセスして、ファイルを準備する際、まずはGoogle Driveにファイルをアップロードすると思います。

ここでは、例としてtrainフォルダ、testフォルダにそれぞれ大量の画像ファイルが入っており、それを使って機械学習したいとします。

Google ColaboratoryでGoogle Drive上のファイルを参照する際は、こちらのサイトが参考になります。

しかし、大容量ファイルをフォルダごとアップロードしようとすると、ファイルの数が多いので結構時間がかかってしまいます。

そこで、Google Driveにはフォルダを圧縮したzipをアップロードしておき（フォルダをアップするより10分の1くらいの時間で済む）、Google Colaboratoryでunzipして解凍する手段はどうでしょう。

!unzipコマンドを使えば、解凍は可能ですが、やはり時間がかかります。
そのうえ、セッションが切れると解凍したファイルが消えるため、セッションごとに実行する必要があります。

上記の問題を解決するためには、Google Drive上で解凍し、置いておくのがベストだと思います。

解凍にはZIP Extractorというクラウドのツールを使います。こちらのサイトが参考になります。

ではZIP Extractorで解凍していきます。

これで、毎回zip解凍せずとも、Google Drive上の大容量ファイルを扱うことができます！

ただし、Google Drive上の残り容量にはお気をつけください。