俺のOneNote

俺のOneNote

データ分析が仕事な人のOneNote愛とか、分析小話とか。

Python

R と Python よく出るテーブル処理対応表

RとPythonのよくやるテーブル処理の操作覚書。 #python import pandas as pd pd.__version__ # '1.0.3' #R library("tidyverse") packageVersion("tidyverse") # ‘1.3.0’ 厳密にはアウトプットの内容が完全に一致するものを並べているわけではありません。 …

レビュー:Pythonで学ぶネットワーク分析(オーム社 )

読了&写経が終わったので復習レビュー。 Pythonで学ぶネットワーク分析: ColaboratoryとNetworkXを使った実践入門作者:剛志, 村田発売日: 2019/09/15メディア: 単行本 先般記事化した以下がやりたいために、ネットワーク分析に初めて手を出しました。 kopap…

XKCDスタイルによるゆるふわPython Data Visualization

matplotlib の XKCDスタイルを適用して、ゆるふわVizを作ってみようというお話です。 XKCDについては以下をご参照ください。 matplotlib.org xkcd.com 基本的に、matplotlibオブジェクトの描写コードをwith構文内に仕込めむだけの単純作業です。 import matp…

横浜市のテイクアウト情報をダッシュボード化してみた件。

地元横浜市を応援したいっていうことで、横浜市が展開している以下サイトのデータをTableauダッシュボード化してみました。 www.city.yokohama.lg.jp 処理コードなどはこちらにまとめております。 github.com 基本的に、公開CSVを多少処理して先般記事のとお…

Google Map API を利用した Python によるジオコーディング

いろんなデータを漁ってると、住所だけの情報を扱うことがでてきます。 よほど整備されたデータでない限り、緯度・経度なんてついてないことが多い。。。 私は地理データが大変苦手なんですが、どうしても正確な位置情報をダッシュボード上にプロットする必…

Google Colaboratory からKaggle API を叩く

過去にQiitaに書いたことがありますが、 こちらにもメモとして再度検証、記録に残します。 Kaggle APIの公式リファレンスはこちら github.com Kaggle json のダウンロード My Accountから、API Tokenを作成、kaggle.jsonをダウンロードします。 以下、google…

商品購買のアソシエーションルールをネットワークで可視化する

アソシエーション分析の概略 アソシエーション分析は、商品の何と何が一緒に買われやすいのか?を示すための分析手法です。 「アソシエーション分析」とか「アソシエーションルール」とかをググると大量の記事が出てきますので、詳細はそちらの記事を参考に…

ネットワークグラフをつくるためのTableauとPython

Tableauでネットワークグラフを可視化しようとすると、座標データをどう用意するかが一番ネックになると思います。 現状、Tableau内でネットワークグラフを自動生成する機能は無さそうです。 ので、この辺の処理はPythonを噛ませると楽にできるので、ちゃん…

Python の progress bar いろいろ

プログレスバーなんてtqdm一択じゃね? という結論で落ち着く話ではありそうですが、 なんとなく、「もっとライブラリの種類あるのかなぁ?」と思って調べてみました。 環境はgoogle colabです。 tqdm たぶん誰もが使ったことがあるおなじみtqdm github.com …

pandasだけでWEBスクレイピングする

一般的にスクレイピングを使用とすると、requestsでHTMLなりjsonなりを拾ってくるのが一般的かと思われます。 Python, Requestsの使い方 | note.nkmk.me ただ、tableタグで構造化されている場合、pandasだけでデータを拾ってこれるので大変お手軽です。 例え…

Google Colaboratoryのスクラッチコードセルが大変便利だったので是非皆さんに使っていただきたい件

つい、 print(hogehoge) とか df.head() とか df.shape とかで汚らしくしてしまう迷える子羊たちは、 ぜひGoogle Colaboratoryのスクラッチコードセルを使っていただきたい。 というお話でした。 ※ winショートカットはCtrl + alt + N

pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件

当たり前の話だったら超恥ずかしいのですが、初めて知って驚愕したのでご紹介。 タイトルのとおり、pandas-profilingが探索的データ解析(EDA)にめちゃめちゃ便利だったのでご紹介するだけの記事です。 pandas-profilingの詳細はこちらからご確認を。 panda…