2019年の抱負をば。
皆様、新年あけましておめでとうございます。
昨年は、このブログを開設したり、MVP受賞したり、転職したり、引越ししたり、激動の１年となりました。
昨年をもろもろ振り返り、現在のスペックを記録し、今年１年の抱負でも書き残しておこうと思います。
１年後の自分、がんばれよ。
【2018年の成果と挫折、スペック】
Microsoft MVP受賞
よくやった俺氏。しかし家庭内事情で休日活動がだいぶ制限されているぞ。今後どうやって活動しよう？kaggle expart未達成
そもそもsubmit全然してないという。ここ数か月はいい調子で取り組めているので、あれこれ考えずまずは取り組むべし。Tableau
本業でお世話になることになったTableau。とりあえずexpart名乗って恥じないレベルにしないとMSMVP for DataPlatform受賞歴の名が泣く。
ってもBIは面白いのでたぶん大丈夫。OneNote
あれ、このブログってOneNote情報メインじゃなかったっけ？いつから中の人のポエムが中心になったのか。
【2019年の抱負】
今年のことば「守破離」
基礎力を固めることを中心にしなければならないことが多そうな１年なので、「守破離」が私の基本指針になりそうです。
kaggle expart の取得
ここは昨年以上に精力的に取り組んでいきたいところ。社内kaggle部も作ったし、下地はできつつある。Tableau pro
なにか明確な目標があるわけでもないが、Tableauを使いこなす技術の習得。Power BI pro
MVPの継続というほうが分かりやすいが、諸事情で活動しづらくなってしまったのと、そもそもMVPが目的ではなくて、BIを楽しむことが目的なので、引き続きPower BI 技術を磨いて発信。書籍執筆
これは今進行中プロジェクトをしっかりやれという自戒。統計検定１級取得
TOEICは一旦捨て置き、こちらに焦点を当てる１年にします。解析学、線形代数学、数理統計学の沼に飛び込む。
おわりに
33歳になりました。
基本をおろそかにしておくと、口だけ薄っぺらアナリストの出来上がりになりそうで怖いです。
そのための守破離の「守」が今年の姿勢です。きっちり基礎を叩き上げたいところ。
特に数学面、プログラミング技術面あたりの知識・技術を確立させたい所存。（本当は英語も叩き込みたいところであるが・・・）
2020年の抱負を書く時は、多少の自信と実績を引っ提げて読み返せると良いですなぁ。
使わないと時代遅れ？BIが実現するデータ分析の高度化・民主化・効率化の話
BI（ビジネスインテリジェンス）ツールということば、
かなり広まってきたような気がします。
一方で、
「BIツールなんて難しそう」
「普段の仕事に高度なツールなんて不要」
「そもそもメリットが分からない」
という方々も少なくないのではないかと。
本記事は、Microsoft Power BI Advent Calendar 2018として、
Microsoftが提供しているBIツール「Power BI」を例にとり、
そのメリットや課題について、全くBIを使ったことがない人にもわかるようにお伝えしていこうと思います。
データ分析の高度化・民主化・効率化
BIを活用する理由はこの３点に集約されるというのが私の考えです。
これらの言葉を聞いて少しでも関心を持ったら少しでもBIの利用・運用について試してみて損はないと思います。
以下、具体的にどのようなことがあげられるか見ていきましょう。
データ分析の高度化
グラフの可視化、ピボットテーブルなど、初歩的なデータ分析においてExcelが最もビジネスにおいて利用されてきた（されている）のではないでしょうか。
これについて、Excelが良い・悪いという話ではありません。
Excelの小回りの良さはビジネスのあらゆる場面で重宝しますし、多様な関数、VBAにより、柔軟に分析ニーズに応えることも可能です。
また、Excel標準機能では難しい統計解析・可視化についても、以下のような統計解析・可視化ツールも無償・有償で取り入れることができます。 以下ツールはいずれも大変優秀な機能を有しています。
このような応用範囲の広さと深さ、そして手軽さから、Excelは使い続けられてきました。
そのほか、データ分析の高度化という意味だけで言えば、統計解析を得意とするR言語や、機械学習ブームで人気急上昇中のPythonといったプログラミング言語を利用する方針もあります。
R: The R Project for Statistical Computing
このような様々な選択肢がある中、BIツールにおいても単なる可視化にとどまることなく、統計解析、機械学習といった解析的な技術が利用できるようになってきています。
Power BIでは以下のような機能や流れがあります。
Python、Rの統合
Power BI では、PythonやRのスクリプトを実行できるようになっています。
（Pythonはプレビュー機能）
恥ずかしながら、Power BI × Python や Power BI × R などについて、以下QiitaやYoutubeにて解説していますので気になる方はぜひご覧ください。
Python・Rの統合により、Python・Rで提供されている高度な統計解析・機械学習・可視化ライブラリの恩恵を受けることができます。
さらに、「Rなんて書けないよ！」という方についても、Rの統計解析・可視化スクリプトを自動で実行してくれるカスタムビジュアルも複数提供されています。
BI上での統計解析・機械学習は日進月歩で進化しています。
そして、その流れをさらに加速させる動きがあります。
Power BIとMicrosftが提供するAI関連サービスとの統合です。
Azure Cognitive Servicesや Azure Machine Learningとの統合
2018年11月14日、Power BI Blogにて以下の案内がありました。
おそらく、多くの人が待ち望んでいるであろう、MicrosoftのBIツールとAIツールの統合を進めている趣旨の記事です。
すでに学習されたデータを手元のデータに適用できるAzure Cognitive Services、
手元のデータを学習させ、自身で様々な機械学習モデルが構築できるAzure Machine Learning、
これらがPower BIと統合すれば、BI環境はさらに高度化していくことは言うまでもありません。
それがほぼノンコーディングで実現できるのであれば、BIだけでなくAIの民主化にも寄与するものと思われます。
次は、データ分析の民主化の話です。
データ分析の民主化
データ分析の民主化。 煩わしい表現をしていますが、要はだれでも高度なデータ分析ができるようになることです。
インタラクティブなレポートの威力
BIは、データ分析結果の元ファイルを配布することを前提としていません。
分析結果は、レポートをWEB（クラウド）にアップロードしてステークホルダー間で共有することが基本です。
さらに、そのレポートはインタラクティブに動作し、共有者が自分の見たい視点で操作することができます。
これは以下サンプルから実際に体験してみましょう。
上記元データは、UCI Machine Learning RepositoryのAdultデータを利用しています。
このように、分析者が作ったレポートについて、分析・可視化などをしたことがないような人に対しても、 データドリブンな判断を促すことが可能になります。
WEB上のレポート、インタラクティブな操作が可能にするデータドリブンな判断
WEB上でインタラクティブなレポートを共有することについて、一番効果を発揮するのが、打合せや会議におけるブレーンストーミングなどではないでしょうか？
BIが日常の会議で活用されていない場合、以下のようになっていませんか？
データについて出てきた用意していない質問は、持ち帰りで分析、再度のレポート作成。
または、会議で言いっぱなしで特にその後検証することもなく終わる・・・。
これではせっかくの会議にかけた時間がもったいないですね。
BIを運用できるようになるとこう変わるかもしれません。
おそらく会議の成果やレポート作成にかかる手間の差は歴然ではないでしょうか？ BI導入によるデータ分析環境の民主化は、データドリブンな判断を促すだけでなく、効率化にもつながります。
次は効率化の視点です。
データ分析の効率化
先ほどみたように、レポートがインタラクティブに動作することにより、レポートを何度も作成したり、Excelでグラフをつくり、PowerPointにまとめ・・・といったような作業の必要がほとんどなくなる可能性があります。
そのほかにも、BIにより効率化しそうなことは多々あります。
多様なデータソースから取得・自動更新
Power BIでのデータ分析の基本は、別に格納されているデータソースからデータを取得し、データモデルとして加工・可視化することです。
データソースは、Desktop上のcsvファイルからオンプレミスデータベース、クラウド、各種WEBサービスなど、多岐にわたります。
様々なデータソースから取得したデータは、一度宛先を指定すれば、自動的に更新が可能です。 ※更新の詳細は、以下リンク先を確認してください。
これにより、例えば月次、週次でまとめていたレポートなどを一切の手間なく、更新し続けることが可能になります。
ダッシュボードによる様々なレポートモニタリング
Power BI Serviceには、ダッシュボード機能があります。
これは、作成、WEBで共有したレポートの中から、自身に関係のあるビジュアル等を取捨選択し、１か所でまとめて管理できる機能です。
これにより、自身がチェックしたいデータやレポートだけを一元管理できる仕組みとなっています。 様々なデータの場所を覚え、いちいちチェックしに行く必要はありません。
ビッグデータの整形
複雑なビッグデータを可視化しやすく整形し、モデルとして取り込むのは非常に大きなリソースが必要なケースがありました。 それを簡素化し、クリック操作で分析しやすくするPower BI Dataflowsがリリースされました。（プレビュー）
これをうまく活用すれば、専門の技術者が何日も要していたデータモデルへの整形を、分析者が簡易に実行できるようになる可能性があります。
BIの運用に向けて
Power BIは無償にて始めることができますが、組織内共有など、ビジネスで本格的に扱うとなれば有料のサブスクリプションが必要になります。
他のBIツールについても、金額の大小はあれど、費用がかかるものがほとんどなはずです。
費用面は導入に向けて大きなハードルになると思いますが、そのほかにも乗り越えるべきハードルがあります。
BIは単なる可視化ツールではなく、インサイトを生むためのツール
BIツールは魅力的なツールであり、様々な可視化メニューが存在します。
一歩間違えると、「可視化」が目的になり、「インサイトを得る」ことが欠損してしまう可能性があります。
魅力的なビジュアルは重要ですが、5W1Hを踏まえたレポート設計が必要です。
- Who（だれが見る・誰のためのレポートか）
- When（いつ利用するレポートか）
- Where（どこで利用されるレポートか）
- What（なにを表現したいレポートか）
- Why（なぜこのレポートを作るのか）
- How（どのように使ってもらうレポートか）
これらを明確に応えられるレポートは、おそらくインサイトを生むことができるBIレポートです。
BI設計者の育成
設計者というと大げさですが、BIを導入し、活用していくためには既存情報システム部門だけでの取り組みでは不十分かもしれません。
BIが使われるかどうかは、さまざまなIT基板以上に経営・マーケティングなど、現場レベルで利用価値のある内容である必要があります。
現場の声をレポートに落とし込める設計者を育成することが欠かせません。
おわりに
昨今感じているBIを運用するうえで知っておいてほしいこと、ぜひ伝えたいことは記載できたつもりです。
しかし、Power BI をはじめ様々なBIツールの機能はこれだけでは語りつくせないことは承知しています。
この記事を読んで、少しでもBIに興味をもっていただければ本望です。
引越し時にOneNoteが最強だった件
先日、家族４人で１０年住んだ名古屋から引っ越したわけですが、
その際にOneNoteが超便利だったという話です。
１ タスク管理に最強
引越しの際は、ライフラインの手配、保育園のあれこれ、引越し手続きのあれこれ、賃貸契約のあれこれなど、
やることがもりだくさんなわけです。
が、知っての通りOneNoteにはタスクシール機能があります。
これでTodoはばっちりです。
2 大事な情報管理に最強
退去の際に痛感したのですが、10年たつと、もろもろ契約書類や大事な書類がどっか行ってるわけです。
これはまずい
と思い、すべての重要な情報をOneNoteで管理することにしました。
やり方は簡単。 手続き等で発生した情報や紙をOneNoteで写真撮っておくだけ。 （必要であればメモも併記）
昨今はWEBが発達した関係で、色々なID、PASSが発生しますが、 いちいち覚えておかなくてもこれでばっちり！
※間違っても、ID、PASSを記載したノートを公開共有しないようにね♪
これで、ズボラな私のような人でも、ばっちり情報管理できそうですね！
引越しを備えている方、大事な書類や情報をすぐ失くしてしまう方、
ぜひOneNoteを使いましょう！
Matplotlib アスペクト比の調整
Matplotlibでグラフ描写する際、アスペクト比でちょっとはまってしまったので覚書メモです。
グラフ描写準備
import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline plt.style.use("ggplot") x = np.linspace(-3,3,100) x2 = np.linspace(0,3,100) f_y1 = np.exp(x) f_y2 = np.log(x2)
グラフ描写
まずは普通に描写してみる。
#plt.figure(figsize=(6,6)) g = plt.subplot() g.plot(x,f_y1, color="red") g.plot(x2,f_y2, color="blue") g.set_ylim([-3,3]) g.set_xlim([-3,3])
と、こんな感じでx,y軸の範囲は同じであるにも関わらず横長になる。
指数関数と対数関数の逆関数関係なので、できれば正方形で表示したいのです。
アスペクト比を調整するにはset_aspect('equal')を入れればいいらしい。
g = plt.subplot() g.plot(x,f_y1, color="red") g.plot(x2,f_y2, color="blue") g.set_ylim([-3,3]) g.set_xlim([-3,3]) g.set_aspect('equal')
公式リファレンスはこちら
figsizeでも上手くいく。個人的にはいつもコレでサイズ調整することが多いので、
こっちを使っておいて良さそう。
plt.figure(figsize=(5,5)) g = plt.subplot() g.plot(x,f_y1, color="red") g.plot(x2,f_y2, color="blue") g.set_ylim([-3,3]) g.set_xlim([-3,3])
ママパパの味方！ OneNoteでレシピ管理
はじめてのてんしょく
私事ではございますが、この度転職させていただくこととなりました。
本日が最終出勤日、１０月１６日から渋谷で働きます。
引越しなども伴う家族総出の大決断になってしまいました。
今後は、企画&ポイント事業会社さんでデータアナリストとして働きます。
データ解析については今以上に専門性が求められるので、身が引き締まる思いです。
そして次職でもOneNoteが使えるといいな・・・(笑)
OneNoteはいろんな人にやさしいユニバーサルデザイン【イマーシブリーダーの紹介】
先日OneNoteでメモメモしてたらこんなのを発見したんです。
イマーシブリーダー？なんじゃらほい？
ってことで調べてみました。
onenote の学習ツールに含まれているイマーシブリーダーは、onenote ドキュメントのコンテンツを読みやすくするための全画面閲覧のエクスペリエンスです。学習ツールは、教室で失読症と dysgraphia の学生をサポートするように設計されていますが、デバイスで読みやすくする必要があるユーザーをサポートすることができます。
Use Immersive Reader for OneNote (OneNote のイマーシブ リーダー機能を使用する)
ほええ、いろんな人に配慮してるんでござるねぇ。
こんなふうになります。音声が出せないのであとは皆さま自身でお試しあれ。
