「ビッグデータを支える技術」を読んで理解したビックデータ技術基盤の概要メモ
そろそろ会社でもビッグデータというくらいのデータを扱うフェーズに入りそうなので、この辺の技術領域のOverviewを把握するために「ビッグデータを支える技術」という本を読んでいる。
ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界 (WEB+DB PRESS plus)
- 作者: 西田圭介
- 出版社/メーカー: 技術評論社
- 発売日: 2017/09/22
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (3件) を見る
HadoopとHive
Hadoopは「多数のコンピュータで対象のデータ処理を行う」ためのシステムで、Googleで開発された「MapReduce」を参考にして作られた分散処理のフレームワーク。 Hadoopを使ってデータ処理を行うにはJava言語によるプログラミングが必要だったがだれにでも簡単に使えるものではないので、SQLのようなクエリ言語をHadoop上で実行するためのソフトウェアとしてHiveがある。
NoSQLに書き込み、Hadoopで分散処理
NoSQLは製品によって特徴を様々ですが、RDBよりも高速な読み書きが可能かつ分散処理に優れているという特徴をもっているため、アプリケーションからオンラインで接続するデータベースと利用し、バックエンドでHadoopが分散処理をして集計・データ加工などを行うという形が一般に広がってきた。
ビッグデータ時代のデータ分析基盤
ビッグデータ自体の技術が従来のデータウェアハウスと違うのは、「多数のぶんさんシステムを組み合わせて拡張性のたかいデータ処理の仕組みをつくる」こと。
データ分析基盤は以下のようなサブシステムを組み合わせてデータパイプラインを実現している。
データ収集
データを集めるところ。ここからすべてが始まる。 ファイルシステムにあるログファイルから、IoTデバイスのセンサ情報など様々。 データ転送方法には「バルク型」と「ストリーム型」がある
ストリーム処理とバッチ処理
データ収集された処理を扱う方法にはストリーム処理とバッチ処理がある。 リアルタイム性が必要なものはストリーム処理。長期的なデータ分析にはバッチ処理が適している。
分散ストレージ
集めたデータを補完しておく分散ストレージ。AmazonのS3のようなオブジェクトストレージが一般的に使われる。 データ容量が増えていくので、いくらでも増やせるようなスケーラビリティの高い製品を選ぶ必要あり。
分散データ処理
ワークフロー管理
データパイプライン全体の動作管理するための技術。 データパイプラインが複雑化するにつれて一箇所でマネージメントしないと管理できなくなる。
データレイクとデータウェアハウス
データウェアハウスは従来から大量のデータ保管・分析を行うために使われていた技術。しかしデータウェアハウスは事前にデータ設計をする必要があるが、ビックデータ時代はアクセスログからIoTデバイスからのセンシングデータなど多種多様なデータが生まれていくので、最初から適したデータ形式を設計してためていくことが難しい。 そのためデータレイクという考え方があり、それは「生データをとりあえずおいておく」ということ。 オブジェクトストレージなどにおいておき、あとで適した形式にHadoopなどを使って分散データ処理をしてデータマートを作るという考え方。
数学復習ノート#1 ~ 統計額と機械学習につながる数学の基本 ~
いまデータ分析と機械学習を操れるエンジニアになるため、この本で数学の復習している。
![統計学が最強の学問である[数学編]――データ分析と機械学習のための新しい教科書](https://images-fe.ssl-images-amazon.com/images/I/51p4aPUyeOL._SL160_.jpg "統計学が最強の学問である[数学編]――データ分析と機械学習のための新しい教科書")
統計学が最強の学問である[数学編]――データ分析と機械学習のための新しい教科書
- 作者: 西内啓
- 出版社/メーカー: ダイヤモンド社
- 発売日: 2017/12/21
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (3件) を見る
物理ノートにメモしながら学んでいるので、自分の勉強ログとしてここにあげておきます。
CXDIVE 2018の参加レポート
CXDIVE 2018というイベントが東京で開催されており、これを知った瞬間に「行きたい！！」と思って参加してきました。
この記事では具体的なセッションの内容というよりもセッションを聞いた上で僕が理解したこと、考えたことなどを整理して共有しています。そのため実際の発表内容とずれている部分もあるかと思いますが、その点はご了承ください。
森ビル 杉山さんと チームラボ 猪子さんのセッション
Media x CX : NewsPicks 小野晶子さんのセッション「なぜ今、メディアはコミュニティづくりに注力するのか？」
Commerce x CX: 株式会社ウツワ ハヤカワ五味さんのセッション「当事者視点のインサイトと、当事者では気づき得ない発見について」
AR x CX : Niantic, inc 須賀健人さんのセッション「外に出て、繋がる。拡張された現実世界がもたらす価値」
WITH ALS 武藤さんのセッション「ALSの困難から発明を。BORDERLESS EXPERIENCEをすべての人に」
CXDIVE 2018 | WITH ALS 武藤さんのセッション「ALSの困難から発明を。BORDERLESS EXPERIENCEをすべての人に」
CXDIVE 2018というイベントが東京で開催されており、これを知った瞬間に「行きたい！！」と思って参加してきました。
この記事では具体的なセッションの内容というよりもセッションを聞いた上で僕が理解したこと、考えたことなどを整理して共有しています。そのため実際の発表内容とずれている部分もあるかと思いますが、その点はご了承ください。
WITH ALS 武藤さんのセッション「ALSの困難から発明を。BORDERLESS EXPERIENCEをすべての人に」
ALSという体の筋肉が除々に硬直化して動かなくなっていくという病気を27歳で患ってしまった武藤さんが現在どのような活動をしているか、活動を通してどういう世界を実現しようとしているかという話でした。
ダイバーシティを持った人にもBORDERLESSな体験を
彼はALSを発症する前にDJを始めたのですが、症状が進んでいくにつれて手が自由に動かせなくなった。そこでJIS MEMEというカメラ型デバイスを使って眼球の動きでDJ・VJプレイが出来るアプリを共同開発した。
その他、手の不自由によってできなくなった家の電気や鍵の開けしめ、そしてスマホのカメラ撮影などもJINS MEMEを使って操作できるようにした。
この活動についてYoutubeに動画が上がっていたので参考としてリンクを共有しておきます。
[NEWS] 「眼で奏でるミュージックフィルムを」WITH ALS 武藤将胤が描く未来
すべての人がバリューを感じるプロダクトデザイン
ALSの患者の方でも、そうでない方でもカッコいいと思える服を作りたいという思いから「BORDERLESS WEAR 01」というブランドも立ち上げている。
特徴として以下の様な特徴をもっている。
・着ていて楽なスウェット素材
・ジャケットのボタンはマグネット式になっており、簡単に着脱可能に
・袖口にICカードポケットがついており、キャッシュレス決済が簡単にできる
このブランドを作ったときに意識したのが「ALS患者の人もそうでない人も関係なく、すべての人にバリューを感じるプロダクトデザイン」で、確かに上記の特徴は体に特に不自由なところの無い僕でも「良いな！」という感じる価値になっている。
いまの高齢化社会において、障害を持っていなかった人も高齢になって体に不自由が出てくる人も多くなる。このような時代においてボーダレスな価値を以下に提供していくかは重要な課題だなと感じたセッションでした。
ホームオートメーション化の本質的な価値は「操作のインターフェイスを自由にすることにある」
これはセッションで直接語られたことではなく僕が考えたことです。
いまホームオートメーションという文脈で、キーロックがスマホで解錠できる、電気のON/OFFを声で操作できるなどの製品が出てきています。
正直「そこまでする必要あるのか？」と思うことが多かったのですが、今回のセッションを聞いたあとに考えると、これらのホームオートメーション化のプロダクトの価値は操作をAPI化することにより、インターフェイスを声にもできる、スマホでもできる、それ以外にも変更可能となり、インターフェイスが人に最適化できることに価値があるのだと気づきました。
いままでのインターフェイスはスイッチ操作が主流で、それは手を使えない、目が見えない人にはかなり不便なモノだったのですが、インターフェイスを自由にすることでそのような人にも最適なインターフェイスを提供できるようになります。
いままでこの辺の技術には興味が薄かったのですが、この「操作のインターフェイスを自由にする」価値に気づいたことで、かぜん興味がでるきっかけにこのセッションがなりました。
CXDIVE 2018 | AR x CX : Niantic, inc 須賀健人さんのセッション「外に出て、繋がる。拡張された現実世界がもたらす価値」
CXDIVE 2018というイベントが東京で開催されており、これを知った瞬間に「行きたい！！」と思って参加してきました。
この記事では具体的なセッションの内容というよりもセッションを聞いた上で僕が理解したこと、考えたことなどを整理して共有しています。そのため実際の発表内容とずれている部分もあるかと思いますが、その点はご了承ください。
AR x CX : Niantic, inc 須賀健人さんのセッション「外に出て、繋がる。拡張された現実世界がもたらす価値」
ARとは「世界に、見えていない情報を付加して現実世界を拡張する」こと
ARとはなにか？という話になると、カメラで取った現実世界に映像が重なるものを思い浮かべると思うが、Niantic社の考えだとARとは「世界に、見えていない情報を付加して現実世界を拡張すること」と広義に考えているそう。
例として、Google Mapは人間の目には見えない範囲の情報を表示して行き先まで案内してくれるがこれもある意味ARといえる、という考え方らしい。
ポケモンGOの面白さは「共有性」と「共通性」にある
ポケモンGOがリリースされてSNS上では現実世界を写したカメラの映像にポケモンが映る ARモードの写真が溢れかえった。
これはゲーム体験をSNSシェアしやすい、したくなる「共有性」が設計されたものでポケモンGOが一気に広まる要因にもなった。
共通性というのはポケモンGOのイベントが行われるときに顕著に現れる。
ポケモンGOは、「誰かが見ているポケモンは、同じ場所にいるすべてのユーザーが見ることができる」という特徴があります。この共通性により、同じポケモンをユーザー同士で協力して捕まえる「レイドバトル」であったり、特定の地域にレアポケモンが出現するというイベントが実現でき、ユーザー同士で同じ体験をしたことを語り合うというユーザー体験が作れるようになりました。
Niantic社のライバルは「VR 」！？
Nianticはミッションとして、「AR技術を使って人をもっと外に動かす」ということを考えている。それは歩くことは健康にも良いし、自分の周りの世界のことをNiancticのゲーム体験を通してもっと知ってほしいという考えから。
会場からの「御社にとって競合・脅威となるような企業やテクノロジーなどはあるか？」という質問に対して、「特別に競合などを意識してはいないが、あえて上げるとするとVRなど座って映像をみているだけで面白い体験を出来るようなテクノロジーは、ARを使って外にユーザーを連れ出したいNianticとしてはライバルと言えるかもしれない」という返答していました。
CXDIVE 2018 | Commerce x CX: 株式会社ウツワ ハヤカワ五味さんのセッション「当事者視点のインサイトと、当事者では気づき得ない発見について」
CXDIVE 2018というイベントが東京で開催されており、これを知った瞬間に「行きたい！！」と思って参加してきました。
この記事では具体的なセッションの内容というよりもセッションを聞いた上で僕が理解したこと、考えたことなどを整理して共有しています。そのため実際の発表内容とずれている部分もあるかと思いますが、その点はご了承ください。
Commerce x CX: 株式会社ウツワ ハヤカワ五味さんのセッション「当事者視点のインサイトと、当事者では気づき得ない発見について」
事実よりもどう知覚されているかが重要
このセッションのメインテーマとして「バイアス」について語られていました。
同じ事実でもそれを見る人によってどう知覚されるかが違う。ターゲットとなる顧客の持っているバイアスを理解せずにビジネスを行っても成功しないということを参考例を出しながら教えてくれました。
特に面白かった例として、中国展開しようとするアパレルブランドの例がありました。
日本だとスタイルの良いヨーロッパ・アメリカ系の外国人がモデルをするアパレルブランドの広告がよくありますが、日本人だとそれを見て「かっこいい！！！」となるところが、中国人だと「これは自分たちのためのブランドじゃない、だから見る必要がない」と知覚されてまったく興味を示さないそうです。
このようにバイアスを理解せずに宣伝したことにより、商品は良かったかもしれないのにビジネス展開に失敗するというケースが多いため、ターゲットを決めたらそのターゲットがどういうバイアスをもって世界を見ているのかを知った上で戦略を練るのが重要ということでした。
その人の持つバイアスを理解するには、その人の生きてきた環境を理解する
バイアスを理解する上で、そのバイアスというのはどこからくるかを考えないといけないのですが、そこで安易に性別・年齢・国籍だけで判断するのは間違っていて、その人が生きてきた環境を理解するのが重要で、環境を理解すればバイアスを推測して理解出来る手助けになります。
会場の方から「人が持っているバイアスを理解するために、どのようなことを意識しているか？」という質問に対しては、「昔は意見が違う人のことをバカにしてしまう傾向があったが、いまはなぜこの人はこういう意見を言うのか？を考えるようにしている」と答えていました。その人と自分との意見の違いがどんな環境の違いから生まれているのかを考えることでバイアスを理解したコミュケーションが取れるようになったそうです。
僕がいまJOINしているPaykeという会社においては訪日外国人、特に台湾の方がユーザー数が多いことから彼らがどういうバイアスを持って世界を見ているのかを知ることは非常に重要なので、中国語や台湾の文化、歴史、いま台湾内でなにが起こっているのかをキャッチアップしていかないといけないなと実感しました。
CXDIVE 2018 | Media x CX : NewsPicks 小野晶子さんのセッション「なぜ今、メディアはコミュニティづくりに注力するのか？」
CXDIVE 2018というイベントが東京で開催されており、これを知った瞬間に「行きたい！！」と思って参加してきました。
この記事では具体的なセッションの内容というよりもセッションを聞いた上で僕が理解したこと、考えたことなどを整理して共有しています。そのため実際の発表内容とずれている部分もあるかと思いますが、その点はご了承ください。
Media x CX : NewsPicks 小野晶子さんのセッション「なぜ今、メディアはコミュニティづくりに注力するのか？」
NewsPicksのコアとなる価値、ニュースに求める2つの欲求
NewsPicksを作るときにまずニュースに人が持っている欲求はなにかを掘り下げ大きく２つあると考えたそう。
1. 読みたいニュースに出会える「発見」の欲求
2. 読んだニュースを理解できる「理解」の欲求
この「発見」と「理解」の欲求を満たすサービスとしてNewsPicksは設計されていて、「発見」の欲求を満たすのが様々なメディアの記事が1アプリで見ることができる機能、「理解」の欲求を満たすのが、NewsPicksの記事に対して良質なコメントをしてくれるコミュニティの存在だそうです。
なぜいま様々なビジネスにおいてコミュニティづくりが重要視されているか？
コミュニティづくりが重要視されている背景には3つの要因が指摘されていました。
1. マス向けメッセージのノイズ化
2. 孤立する人々の急増
3. メンバーシップビジネスの勃興
これらの背景から、広告に頼らず顧客と直接コミュニケーションを取り、孤立する人々の良質なつながりを作りたいという欲求を叶え、メンバーシップビジネス(定額課金)との強い親和性からコミュニティづくりがビジネスにおいても重要視されている。
コミュニティマネジメントの試行錯誤
NewsPicksでは一時コミュニティマネジメントがうまく行っていないときがあり、その問題を解決するために専任のコミュニティマネージャーを導入した。
まず取り組んだのがコミュニティ関するルールづくりで、実際のユーザーさんとコミュケーションをとって「やってはいけないこと」を明文化した。
コミュニティ運営の難しさは「不可逆性」にあり、もし運営側が行った施策が間違っていたとしてももう元の状態に戻すことはできない。
そのためコミュニティマネージャーは思い悩むのですが「CMX Hub」という世界的なコミュニティマネージャーのFacebook Groupがあり、そこで情報交換が行われ知見を学ぶことができる。
大きくなったコミュニティは小さく分割する
人が群れだと認識出来る数は「150人」だと言われており、それ以上になると所属している意識が薄れてしまう。
そのため人数が大きくなったコミュニティの場合は、そのコミュニティを小さく細分化して運営するようにするとうまくいきやすい。
