テーブル作成・データインポートは一気にできる。

$ bq load --source_format=CSV my_dataset.posts gs://my-bucket/posts.csv.gz "id:INTEGER,title:STRING,created_at:TIMESTAMP"
  • ローカルからアップしてのインポートは遅く、Cloud Storageからのインポートの方が断然速い。
  • gzip圧縮したCSVに対応してるので料金・速度の面からもやっといたほうがいい。
  • スキーマは引数で指定できる。
  • TIMESTAMPは色々なフォーマットをパースしてくれる。(今回はUNIXTIMESTAMP形式を読み込ませた。)Data Types  |  BigQuery Documentation  |  Google Cloud Platform

GCSへのアップは速いのに、BigQueryへの直接アップが遅いのはズルい。

Comments


(Option)