pandasメモ(axis, level)

axis=0: 行を対象に処理を実行 axis=1: 列を対象に処理を実行 level=[0,1,2]: groupby() や set_index() で使われるMultiIndexに対して、対象となるIndex(順番)の指定 df.stack // 列を行に旋回(ピボット)する df.unstack // 行を列に旋回(ピボット)する df.replace // データの置換を行う df.rename // 軸の命名を変更する df.drop_duplicated // 重複データの削除 df.qcut // ビニング

Read More

2017年 東京都の猫の譲渡会

東京都で行っている猫の譲渡会を少し調べてみました。 団体名 活動地域 譲渡会の開催頻度 単身者可 *1 府中猫の会 府中市 府中 月1回程度 o ねこざんまい 中央区 銀座、東日本橋 月2回程度 x 高円寺ニャンダラーズ 杉並区 高円寺 月2回程度 x みにみゅう 中央区 勝どき、月島 月1,2回程度 ? nekonoko 渋谷区 原宿 月1回程度 △ しあわせにゃんこ 中央区 馬喰町 月1,2回程度 x ねこねこ亭 江戸川区 平井 月1回程度 △ Terra里親会in銀座 中央区 銀座 月1,2回程度 o 町田ねこの会 町田市 淵野辺 月3回程度 o よつや里親会 新宿区 四谷三丁目 隔週 o にゃんたま日野 日野市 日野、八王子市 南大沢・高尾 ほぼ毎週 x ゆめネコ譲渡会 中央区 日本橋 月2回程度 o 一般社団法人ワン・モア・フィールド 大田区 馬込 月1回程度 x 竹の塚里親会 足立区 西新井 ほぼ毎週 x ソラネコ譲渡会 墨田区 押上 月2回程度 o 猫の方舟里親会 板橋区 板橋区役所前 ほぼ毎週 x 猫の里親を探す会@亀有 葛飾区 亀有 ほぼ毎週 x CAPIN 亀有里親会 葛飾区 亀有 月1回程度 ? ミャオ!ねこのおうち譲渡会 中央区 銀座、豊島区 池袋 月2回程度 ? 日本獣医生命科学大学 武蔵野市 武蔵境 年1回、11月の学園祭時 ? *1…

Read More

Install numpy and pandas on alpine:python3

tl;dr Install build tool and create symbolic link for locale. $ apk add –update curl gcc g++ $ ln -s /usr/include/locale.h /usr/include/xlocale.h $ pip install numpy # => success happy python life 🙂 error messages Before install g++, I got error below, /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find Scrt1.o: No such file or directory /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find crti.o: No such file or directory /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find -lssp_nonshared /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find -lc /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find crtn.o: No such file or directory collect2: error: ld returned 1 exit status /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find Scrt1.o: No such file or directory /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find crti.o: No such file or directory /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find -lssp_nonshared /usr/lib/gcc/x86_64-alpine-linux-musl/5.3.0/../../../../x86_64-alpine-linux-musl/bin/ld: cannot find -lc…

Read More

にっき

久しぶりに新宿に行き、麺屋翔でつけ麺を食べた。 外に二人くらい並んでて、待ってたらその後も2,3組くらい並び始めた。 3,4年ぶりくらいに食べた気がする。中盛頼んだら普通に大盛りだったのでかなり残してしまった。 その後、ふと東郷青児美術館によったらカリエール展がやってたので、そのまま入ってしまった。 よく知らないけど凄いらしい。 大抵の絵は色味が圧倒的に少ないので、たまに白い肌を書いていたり、赤いオブジェクトがあったりすると印象的になるな、と感じた。 風景画とインク壺前の子どもが個人的には良いと思った。 来月の「風景との対話」も面白そう。(入場600円で安いし)

Read More

Rメモ・仮説検定

パラメトリック検定 データの分布に制限有り t検定(t.test) 分母が同じ場合にしか使えない 外れ値に弱い ノンパラメトリック検定 データの分布によらず使える仮説検定 カイ二乗検定(chisq.test) データが1桁しかない場合は使えない フィッシャーの正確確率検定(fisher.test) データが1桁でも使える 順位和検定(wilcox.test) サンプルサイズが大きくないと使えない

Read More

curlでレスポンス速度を計測する

HTTPのレスポンス速度を計測するのに、普通にabとかgoのVegetaを使えばいいっちゃいいんですが、 リアルタイムでソース修正して、手軽に改善結果が出たかどうかを見るのに、curlを使う話です。 -w オプションで出力フォーマットが選べて、その中にレスポンス速度がある模様。 curl -w “%{time_total}\n” なのでずっと打ち続けるならこんな感じ? $ while :; do curl -o /dev/null -s -w “%{http_code}\t%{time_total}\n” https://google.com; sleep 1; done

Read More

にっき

Zoom面接done。 回線がクソすぎてとぎれとぎれだった。 色々知ってるなーと思いつつ、数百台〜数千台までオートスケールってのは凄いなと思った。

Read More

Elasticsearch 2.x で複数のドキュメントにUPDATE文のようなもの実行する

公式ドキュメントのこれだった。 Update By Query API なんだけどうまくいかず、結局はクエリと設定の両方の問題やってん。 設定 探した限りでは実行時の設定APIは用意されていなくて、 設定ファイルで変更しないといけないっぽい。 # script.inline: on がscriptアップデートに必要 $ echo “script.inline: on” >> elasticsearch.yml # 公式dockerのES $ cat elasticsearch.yml network.host: 0.0.0.0 script.inline: on クエリ POST /<index>/_update_by_query?conflicts=proceed に対して以下のようなクエリを投げる { “script”: { “inline”: “ctx._source.my_point= 100” }, “query”: { “term”: { “my_point”: 0 } } } これは↓のようなSQLのイメージ UPDATE my_hoge_index SET my_point=100 WHERE my_point=0; curlから。 $ curl -s http://localhost:9200/my_hoge_index/_update_by_query?conflicts=proceed -XPOST -d ‘ { “script”: { “inline”: “ctx._source.my_point= 100”}, “query”: { “term”: { “my_point”: 0 } } } ‘ | jq . { “took”: 1920, “timed_out”: false, “total”: 500, “updated”: 500, “batches”: 1, “version_conflicts”: 0, “noops”: 0, “retries”: 0, “throttled_millis”: 0, “requests_per_second”: “unlimited”, “throttled_until_millis”: 0, “failures”: [] }

Read More

Google Analytics Real Time Reporting APIの初め方

申し込み 以下のフォームから申し込みをします。 https://docs.google.com/forms/d/1qfRFysCikpgCMGqgF3yXdUyQW4xAlLyjKuOoOEFN2Uw/viewform 申し込んでたらいつのまにか使えるようになっていました。 テスト テストの前に、まずGAに登録したサイトのビューIDを取得します GAのUIは頻繁に変わって説明しても無駄かもですが、 左サイドバー下部の歯車マーク「管理」を選択 メイン部分にて「アカウント」->「プロパティ」->「ビュー」を選び、その下の「ビュー設定」を選択 「ビューID」が表示されます 取得したビューIDを使い、API Explorerでテストしてみてください。 右サイドバーからテストできます。 ids: ga:XXXXXXXX (XXXXXXXXにはビューIDを入れる) metrics: rt:activeUsers 「Execute」ボタンを押下(初回はログイン・パーミッション画面がでます) 正常にAPIの使用が許可されていれば結果は緑の「200」になり、アクティブユーザー数がJSONで返却されます。

Read More