今週月曜日から弊社にフレッシュなローカルインターン生K氏が来てくれています。
弊社のインターンシップへの取り組みについて « FJORD, LLC
リモートインターンは何人かいますが、現在、オフィスに来てやるローカルインターンは1名なので、一緒に勉強する人がいると切磋琢磨してやりやすいんだけどなーと残念に思います。
最近はMF社など他の会社を受けた方が、いい人だけどrailsのスキルが足りないので、名指しで
「フィヨルド（弊社）で勉強してくれば？」
と紹介されてくるケースが多いです。
弊社も儲かるわけじゃないのに何やってるんだろうと思わなくはないですが・・・。
弊社のカリキュラムの特徴はrailsの前にnginx, mysqlを使ってのLinuxサーバー構築とそこへのrailsアプリデプロイが含まれてるところです。
まだオフィスの席に空きがありますので、rails勉強したい方は是非。
β版として誰でも使える状態みたいです。
asia-northeast1ってのが東京リージョン。
GAEがどのくらい速くなってるのか期待です。
qiita-markdownを含んだGemfileをHerokuにpushするには - Qiita
こちら、HerokuのBuildpackの仕組みが環境変数ベースのものからちゃんとしたサブコマンドが用意されたのでそちらを使わないと動きません。
Buildpacks | Heroku Dev Center
素の状態だとqiita-markdownが依存してるcharlock_holmesとruggedがインストールできません。
cmakeが必要なのでcmakeを入れてくれるbuildpackを入れます。
$ heroku buildpacks:add --index 1 https://github.com/rcaught/heroku-buildpack-cmake
libicuが必要なため、Aptfileに書いたライブラリをapt-getでインストールしてくれるbuildpackを使います。
$ vi Aptfile
libicu52
libicu-dev
$ heroku buildpacks:add --index 1 https://github.com/heroku/heroku-buildpack-apt
$ heroku buildpacks
1. https://github.com/heroku/heroku-buildpack-apt
2. https://github.com/rcaught/heroku-buildpack-cmake
3. heroku/ruby
aptが使えるならいろいろやりやすそうです。
日本語変換の話です。
日本語の変換って、「こまめに決定していく派」と「一気に打って後で変換していく派」があると思います。
僕は前者です。これは日本語変換が賢くない時の癖で、変換対象の文が長い方が予測も効きやすいはずで、後者に変えたいんですが、後者の方法だと不可能なパターンがある気がしてならない。
それが「csvをgz圧縮」できない問題です。
Google日本語入力とことえり両方で駄目でした。
そもそも後者の人はたくさんいるんだろうか。そしてみんなどうやって対応してるんだろうか。
railsのcreated_atとupdated_atはnot nullなので「無くてもいいけどあってもいい」かな？ぐらいのときに面倒。
他からデータを入れる時に困る。
embulk-filter-add_timeプラグインで追加できる。
$ embulk gem install embulk-filter-add_time
in:
...
filters:
- type: add_time
to_column:
name: created_at
type: timestamp
from_value:
mode: upload_time
- type: add_time
to_column:
name: updated_at
type: timestamp
from_value:
mode: upload_time
out:
...
sudo apt-get install openjdk-8-jre-headless
BigQueryに日別に集計結果のログテーブルを作っています。
例：logs_20160101
その集計結果をCloud SQLに追加したい。
例：logs
日次バッチで動かしていて、毎日BigQueryから集計結果をCloud SQLのlogsテーブルに追加したい。
BigQueryからGoogle Cloud Storage(GCS)にCSVファイルでエクスポートして、Cloud SQLにインポートする。
$ bq extract datasetname.logs_20160101 gs://bucket-name/logs_20160101.csv
BigQueryからGCSへのエクスポートはできた。
しかしCloud SQLにCSVでファイルを読み込むことができない。
$ gsutil cp gs://bucket-name/logs_20160101.csv /tmp/logs_20160101.csv
$ mysqlimport --fields-terminated-by=',' -hxxx.xxx.xxx.xxx -uroot -ppassword database_name /tmp/logs_20160101.csv
mysqlimport: Error: 1045, Access denied for user 'root'@'%' (using password: YES), when using table: logs
権限が無い。
mysql -uroot -ppassword -hxxx.xxx.xxx.xxx database-name
mysql> LOAD DATA INFILE '/tmp/logs_20160101.csv' INTO TABLE logs;
ERROR 1045 (28000): Access denied for user 'root'@'%' (using password: YES)
権限が無い。
mysqlimportとLOAD DATA INFILEはmysqlのFILE権限が無いとできない。しかしCloud SQLではその権限が無い。権限付与ができない。
mysql> LOAD DATA LOCAL INFILE '/tmp/logs_20160101.csv' INTO TABLE logs;
ERROR 1148 (42000): The used command is not allowed with this MySQL version
このmysql versionでは使えない。
mysqldump形式やSQL形式のファイルをインポートする方法はいくつかありそうだが、BigQueryではそれらの形式でのエクスポートはサポートしていない。
Cloud ConsoleのGUIではインポートできるが、バッチで実行するのには使えない。
最終手段は普通にAPIを使うプログラムを書くというものだが、「Cloud SQLでCSVインポートぐらいできないわけがない」という思いがあり、踏み出せない。
Stack Overflowに投稿してみた。しかし英語で伝えられてる気がしないので状況の整理の意味も込めてブログにも書いてみました。
How to import table from BigQuery to Cloud SQL - Stack Overflow
あれ、マニュアルにはあるのにWITHが使えない。
WITH foo AS (SELECT 1)
SELECT * FROM foo
Error: Encountered " "WITH" "WITH "" at line 1, column 1. Was expecting: <EOF>
デフォルトではLegacy SQLを使うようになってるのでチェックを外す。
Yes.
TIL: Dialect = 方言
俺の胃の調子が悪いのがオフィスで飲みまくるコーヒーのカフェインのせいじゃないかと思い、ノンカフェインのルイボスティーをAmazonで買って飲んでました。
100個入りで1029円という恐るべきコストパフォーマンス。
今日、使い切ったので随分お気に入りで飲んだなーと思う一方、同じぐらいコーヒーを飲んでたのかと思うと恐ろしく思いました。
胃の調子は確かにマシになりましたが、他にも色々対策してたのでルイボスティーは関係ないかも。でも美味しいです。
Thread作りすぎにならないように10個ずつ送る。
threads = []
1000.times do
threads << Thread.new { post_request(url, data) }
if threads.size >= 10
threads.each(&:join)
threads.clear
end
end