RとStanで始めるベイズ統計モデリングによるデータ分析入門のNumpyro実装第７回。 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazon 今回は一般可線形…
RとStanで始めるベイズ統計モデリングによるデータ分析入門のNumpyro実装第６回。 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazon 今回はロジスティ…
富士通の電子ペーパー「QUADERNO」を購入してだいたい１年経ったので、使ってきた感想総括していきます。 なお、iPadや他社電子ペーパーを一度も触ったことが無いので、完全な主観的絶対評価であることを予め明言しておきます。 QUADERNOとは fmv.fccl.fujit…
RとStanで始めるベイズ統計モデリングによるデータ分析入門のNumpyro実装第５回。 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazon 今回はポアソン回…
RとStanで始めるベイズ統計モデリングによるデータ分析入門のNumpyro実装第４回。 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazon 今回は正規線形モ…
RとStanで始めるベイズ統計モデリングによるデータ分析入門のNumpyro実装第３回。 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazon 本日は第３部第６…
今回はRとStanで始めるベイズ統計モデリングによるデータ分析入門の実装勉強第２回。 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazon 第３部第３章…
かれこれ数年付き合ってきたstan ですが、 推定の遅さが仕事上かなりネックになっており、 メインで使うPPLを高速にMCMCを回せるNumpyroに変えようと模索中。 以下、RとStanで始めるベイズ統計モデリングによるデータ分析入門のデータ&分析内容を題材に、Num…
乗法モデル 単純なGLMにおいて、目的変数・説明変数（もしくは片方のみ）を対数変換したほうがより解釈しやすいケースがあります。 一般的に、目的変数・説明変数ともに対数変換したモデルは乗法モデル（弾力化モデル）と言われるようです。 （参考） 対数変…
モーメント母関数を利用した期待値と分散の導出
二項分布 B(n,p)のnpを一定とし、n→∞にするとポアソン分布 Po(λ)になります。 その導出過程をまた書きました。（間違ってたらごめんなさい） Combinationの変換とかe導出のための指数公式の利用とかテクニカルすぎて完全忘れてたので、 よい復習になったよ。…
ペンタブ練習。 二項分布の期待値と分散を導出する公式です。 多少慣れると細かい文字書くのもイケますねー。 ペンタブうんぬん以前に、 そもそもちょっと字が汚い・・・・
今日のお悩み あるディレクトリ内に、同じようなCSV・xlsxをたくさんつくって、後で結合しなきゃいけない とか 100個レイアウトが同じデータがあるんだけど結合作業が死ぬ とかで困ったことがある人は絶対いると思うんですが、 Excelで一発ですよ。 というお…
表題のとおり、OneNoteのリンクを共有するときにちょっとハマったので覚書。 特定のページを誰かと共有したいときは多くありそうな気がしますが、上側の共有ボタンは「ページ」の共有には不適切。 ここで生成されたリンクを開くと、上記のとおりノートブック…
先般 Tableau Makeover Monday 2020/W36に参加しました。 My first submission for #MakeoverMonday 2020/W36Want to know the amount of bad and good ingredients in your cereal?https://t.co/bjITa3gW5k#Tableau pic.twitter.com/PPMgoD3a48— koba@DataA…
通読・写経終わったので備忘レビュー。 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎作者:安井 翔太発売日: 2019/12/27メディア: Kindle版 統計的因果推論を実務的に利用できるようまとめられた一冊でした。 私個人は、RCT・有意差検定や傾…
RとPythonのよくやるテーブル処理の操作覚書。 #python import pandas as pd pd.__version__ # '1.0.3' #R library("tidyverse") packageVersion("tidyverse") # ‘1.3.0’ 厳密にはアウトプットの内容が完全に一致するものを並べているわけではありません。 …
コロナ影響による陰りがありつつ、データサイエンス人気は依然として高そうです。 僕自身も、データサイエンス・データアナリティクスは引き続きビジネスにあたって、なくてはならない技術でありつづける気はしています。 （コレだけでは食っていけなくなる…
読了＆写経が終わったので復習レビュー。 Pythonで学ぶネットワーク分析: ColaboratoryとNetworkXを使った実践入門作者:剛志, 村田発売日: 2019/09/15メディア: 単行本 先般記事化した以下がやりたいために、ネットワーク分析に初めて手を出しました。 kopap…
matplotlib の XKCDスタイルを適用して、ゆるふわVizを作ってみようというお話です。 XKCDについては以下をご参照ください。 matplotlib.org xkcd.com 基本的に、matplotlibオブジェクトの描写コードをwith構文内に仕込めむだけの単純作業です。 import matp…
地元横浜市を応援したいっていうことで、横浜市が展開している以下サイトのデータをTableauダッシュボード化してみました。 www.city.yokohama.lg.jp 処理コードなどはこちらにまとめております。 github.com 基本的に、公開CSVを多少処理して先般記事のとお…
いろんなデータを漁ってると、住所だけの情報を扱うことがでてきます。 よほど整備されたデータでない限り、緯度・経度なんてついてないことが多い。。。 私は地理データが大変苦手なんですが、どうしても正確な位置情報をダッシュボード上にプロットする必…
過去にQiitaに書いたことがありますが、 こちらにもメモとして再度検証、記録に残します。 Kaggle APIの公式リファレンスはこちら github.com Kaggle json のダウンロード My Accountから、API Tokenを作成、kaggle.jsonをダウンロードします。 以下、google…
Ternary Plot、３次元プロット？をTableauで実装してみます。 en.wikipedia.org Tearnary Plotは３次元の構成要素を正三角形内にプロットするVizです。 Tableau Public に Tearnary Plot のサンプルが多々 Publish されているので、 それを見ていただくとイ…
アソシエーション分析の概略 アソシエーション分析は、商品の何と何が一緒に買われやすいのか？を示すための分析手法です。 「アソシエーション分析」とか「アソシエーションルール」とかをググると大量の記事が出てきますので、詳細はそちらの記事を参考に…
デザイン・分析アイデア public.tableau.com powerbi.microsoft.com d3js.org www.storytellingwithdata.com datavizproject.com data-viz-lab.com From data to Viz | Find the graphic you need デザイン素材 icooon-mono.com free-line-design.com kage-d…
Tableauでネットワークグラフを可視化しようとすると、座標データをどう用意するかが一番ネックになると思います。 現状、Tableau内でネットワークグラフを自動生成する機能は無さそうです。 ので、この辺の処理はPythonを噛ませると楽にできるので、ちゃん…
プログレスバーなんてtqdm一択じゃね？ という結論で落ち着く話ではありそうですが、 なんとなく、「もっとライブラリの種類あるのかなぁ？」と思って調べてみました。 環境はgoogle colabです。 tqdm たぶん誰もが使ったことがあるおなじみtqdm github.com …
タイトルのとおり、今回のアーキテクチャはこんな感じです。 超シンプル！ 自分のandroidの電源プラグ抜き差しの情報を IFTTT 経由で Googleスプレッドシート に流し、 さらに Tableau Public の Googleスプレッドシートコネクタで情報取得、Publicギャラリ…
一般的にスクレイピングを使用とすると、requestsでHTMLなりjsonなりを拾ってくるのが一般的かと思われます。 Python, Requestsの使い方 | note.nkmk.me ただ、tableタグで構造化されている場合、pandasだけでデータを拾ってこれるので大変お手軽です。 例え…
