俺のOneNote

俺のOneNote

データ分析が仕事な人のOneNote愛とか、分析小話とか。

レビュー:効果検証入門〜正しい比較のための因果推論/計量経済学の基礎

通読・写経終わったので備忘レビュー。 効果検証入門〜正しい比較のための因果推論/計量経済学の基礎作者:安井 翔太発売日: 2019/12/27メディア: Kindle版 統計的因果推論を実務的に利用できるようまとめられた一冊でした。 私個人は、RCT・有意差検定や傾…

R と Python よく出るテーブル処理対応表

RとPythonのよくやるテーブル処理の操作覚書。 #python import pandas as pd pd.__version__ # '1.0.3' #R library("tidyverse") packageVersion("tidyverse") # ‘1.3.0’ 厳密にはアウトプットの内容が完全に一致するものを並べているわけではありません。 …

データアナリストを目指したい人のために個人的な道案内をしてみる

コロナ影響による陰りがありつつ、データサイエンス人気は依然として高そうです。 僕自身も、データサイエンス・データアナリティクスは引き続きビジネスにあたって、なくてはならない技術でありつづける気はしています。 (コレだけでは食っていけなくなる…

レビュー:Pythonで学ぶネットワーク分析(オーム社 )

読了&写経が終わったので復習レビュー。 Pythonで学ぶネットワーク分析: ColaboratoryとNetworkXを使った実践入門作者:剛志, 村田発売日: 2019/09/15メディア: 単行本 先般記事化した以下がやりたいために、ネットワーク分析に初めて手を出しました。 kopap…

XKCDスタイルによるゆるふわPython Data Visualization

matplotlib の XKCDスタイルを適用して、ゆるふわVizを作ってみようというお話です。 XKCDについては以下をご参照ください。 matplotlib.org xkcd.com 基本的に、matplotlibオブジェクトの描写コードをwith構文内に仕込めむだけの単純作業です。 import matp…

横浜市のテイクアウト情報をダッシュボード化してみた件。

地元横浜市を応援したいっていうことで、横浜市が展開している以下サイトのデータをTableauダッシュボード化してみました。 www.city.yokohama.lg.jp 処理コードなどはこちらにまとめております。 github.com 基本的に、公開CSVを多少処理して先般記事のとお…

Google Map API を利用した Python によるジオコーディング

いろんなデータを漁ってると、住所だけの情報を扱うことがでてきます。 よほど整備されたデータでない限り、緯度・経度なんてついてないことが多い。。。 私は地理データが大変苦手なんですが、どうしても正確な位置情報をダッシュボード上にプロットする必…

Google Colaboratory からKaggle API を叩く

過去にQiitaに書いたことがありますが、 こちらにもメモとして再度検証、記録に残します。 Kaggle APIの公式リファレンスはこちら github.com Kaggle json のダウンロード My Accountから、API Tokenを作成、kaggle.jsonをダウンロードします。 以下、google…

Ternary plot をTableauで実現する

Ternary Plot、3次元プロット?をTableauで実装してみます。 en.wikipedia.org Tearnary Plotは3次元の構成要素を正三角形内にプロットするVizです。 Tableau Public に Tearnary Plot のサンプルが多々 Publish されているので、 それを見ていただくとイ…

商品購買のアソシエーションルールをネットワークで可視化する

アソシエーション分析の概略 アソシエーション分析は、商品の何と何が一緒に買われやすいのか?を示すための分析手法です。 「アソシエーション分析」とか「アソシエーションルール」とかをググると大量の記事が出てきますので、詳細はそちらの記事を参考に…

【随時更新】誰にも教えたくないBIダッシュボードデザインに便利なサイト集を晒す

デザイン・分析アイデア public.tableau.com powerbi.microsoft.com d3js.org www.storytellingwithdata.com datavizproject.com data-viz-lab.com From data to Viz | Find the graphic you need デザイン素材 icooon-mono.com free-line-design.com kage-d…

ネットワークグラフをつくるためのTableauとPython

Tableauでネットワークグラフを可視化しようとすると、座標データをどう用意するかが一番ネックになると思います。 現状、Tableau内でネットワークグラフを自動生成する機能は無さそうです。 ので、この辺の処理はPythonを噛ませると楽にできるので、ちゃん…

Python の progress bar いろいろ

プログレスバーなんてtqdm一択じゃね? という結論で落ち着く話ではありそうですが、 なんとなく、「もっとライブラリの種類あるのかなぁ?」と思って調べてみました。 環境はgoogle colabです。 tqdm たぶん誰もが使ったことがあるおなじみtqdm github.com …

IFTTTでGoogleスプレッドシートに接続、Tableau Publicで可視化、自動更新する

タイトルのとおり、今回のアーキテクチャはこんな感じです。 超シンプル! 自分のandroidの電源プラグ抜き差しの情報を IFTTT 経由で Googleスプレッドシート に流し、 さらに Tableau Public の Googleスプレッドシートコネクタで情報取得、Publicギャラリ…

pandasだけでWEBスクレイピングする

一般的にスクレイピングを使用とすると、requestsでHTMLなりjsonなりを拾ってくるのが一般的かと思われます。 Python, Requestsの使い方 | note.nkmk.me ただ、tableタグで構造化されている場合、pandasだけでデータを拾ってこれるので大変お手軽です。 例え…

Power BIとの出会いが人生を変えた話。

この記事は Microsoft Power BI Advent Calendar 2019の12/22 担当分です お話の要点 タイトルとおり、「Power BI」との出会いが僕の人生を変えた話。 ただのポエムなので、Qiitaでなくこちらに書きました。 新しい技術・知識の習得に取り組むのはいいぞ、と…

Python機械学習タスクにおける欠損補完の精度をいろいろ検証してみた件。

社内機械学習コンペにて、欠損補完の精度およびシミュレーションが個人的課題になったので、 振り返りの自習&覚書です。 ※この記事の欠損処理方法は、理論的に正しくない・妥当でない場合が多々あるかもしれません。 中の人の勉強不足なので、さらっと流し…

Google Colaboratoryのスクラッチコードセルが大変便利だったので是非皆さんに使っていただきたい件

つい、 print(hogehoge) とか df.head() とか df.shape とかで汚らしくしてしまう迷える子羊たちは、 ぜひGoogle Colaboratoryのスクラッチコードセルを使っていただきたい。 というお話でした。 ※ winショートカットはCtrl + alt + N

Android版OneNoteでWindows10の付箋が同期できるぞ

こちらTwitterでも書き込んだのですが、Android版OneNoteで「付箋」なるものがリリースされてました。 あれ、Android版OneNoteに付箋なんて機能がついてる…。なんかPCとも同期できるっぽい。久々にブログ書けそう! pic.twitter.com/V3Qvu0LL3x— H.Kobayashi…

2019年の抱負をば。

皆様、新年あけましておめでとうございます。 昨年は、このブログを開設したり、MVP受賞したり、転職したり、引越ししたり、激動の1年となりました。 昨年をもろもろ振り返り、現在のスペックを記録し、今年1年の抱負でも書き残しておこうと思います。 1…

使わないと時代遅れ?BIが実現するデータ分析の高度化・民主化・効率化の話

データ分析の高度化・民主化・効率化 BIを活用する理由はこの3点に集約されるというのが私の考えです。 これらの言葉を聞いて少しでも関心を持ったら少しでもBIの利用・運用について試してみて損はないと思います。

引越し時にOneNoteが最強だった件

先日、家族4人で10年住んだ名古屋から引っ越したわけですが、 その際にOneNoteが超便利だったという話です。 1 タスク管理に最強 引越しの際は、ライフラインの手配、保育園のあれこれ、引越し手続きのあれこれ、賃貸契約のあれこれなど、 やることがも…

Matplotlib アスペクト比の調整

Matplotlibでグラフ描写する際、アスペクト比でちょっとはまってしまったので覚書メモです。 グラフ描写準備 import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline plt.style.use("ggplot") x = np.linspace(-3,3,…

ママパパの味方! OneNoteでレシピ管理

以前の記事でOneNoteのWeb Clipを紹介したところですが、レシピの保存もできることをご存知でしたか?? 適当なレシピサイトを開いて・・・ レンジで簡単!チーズデミグラオムライス♪ web clipを起動すると・・・ レシピ用のClipが表示されるんですね。 OneN…

はじめてのてんしょく

私事ではございますが、この度転職させていただくこととなりました。 本日が最終出勤日、10月16日から渋谷で働きます。 引越しなども伴う家族総出の大決断になってしまいました。 今後は、企画&ポイント事業会社さんでデータアナリストとして働きます。 …

OneNoteはいろんな人にやさしいユニバーサルデザイン【イマーシブリーダーの紹介】

先日OneNoteでメモメモしてたらこんなのを発見したんです。 イマーシブリーダー?なんじゃらほい? ってことで調べてみました。 onenote の学習ツールに含まれているイマーシブリーダーは、onenote ドキュメントのコンテンツを読みやすくするための全画面閲…

Pythonコーディング・データ分析のお勉強方針メモ

QiitaにてPython×PowerBI記事を連載することにしました。 PowerBIはともかく、初心者の方はPythonの敷居がめちゃくちゃ高い方も多いのではないかと思います。 私自身、胸を張って書けると言えるレベルではないですが、 どのようにしたらPythonで楽しくコーデ…

Microsoft MVP - Data Platformを受賞しました!

2018年7月1日付けで、Microsoft MVPを受賞しました! カテゴリは Data Platform での受賞です! ・・・このブログでの報告はなんと紛らわしいw 本業のPowerBI関連の活動実績が認められました。 PowerBIに魅了されて約3年、色々な勉強と啓発の機会をいただ…

OneNoteにねじ込めるコンテンツあれこれ

久々にエントリ投下。 OneNote埋め込みコンテンツ特集~(`・ω・´) Youtube Youtube見たことない人はいないですね。 動画URLをOneNote上にコピペすると、コンテンツとして埋め込むことができます。 SlideShare パワポ等プレゼンテーションのスライドを共有・…

OneNoteは数学嫌いな人をこの世から一掃するつもりらしい。

こちらの記事で、OneNoteのWin10アプリが主軸にということを伝えていたところです。 kopaprin.hatenadiary.jp 個人的にはOffice版が好きなんですが、 アプリ版でぶっとんだ機能が追加されています。 数式からグラフを生成する これ、楽しすぎて寝不足になり…