Google Cloud Platform Workshop 小記

(在這邊要感謝 Jazz大大辛苦的主辦，以及神通提供場地)

話說自從寫了- 初探 Google Cloud Platform - 1. Create instance 後，號稱要寫的第二步 Login Instance 的文章都還沒寫，而且也沒時間去把之前的疑惑解開，趁著今天參加 Google Cloud Platform Workshop 想說應該可以解決部份的疑惑。

在這邊把筆記整理一下跟大家分享 (筆記的準確度根據理解程度可能有誤還請見諒~:P)

一開始是在介紹Google 的豐功偉業(其實我相信大家都很瞭解，應該不太需要再介紹~XD)

然後進入Google 知識加時間：

大家知道google 的Search Index 目前有多大嘛? (100PB)

目前TeraSort 的紀錄是幾秒呢? (Google + MapR 的1TB 54秒，破之前Yahoo的紀錄)

接下來就是令人感到興趣的主題，Agenda分別是：

1. Google Cloud Platform (GCP) 介紹

2. 如何在GCP 上架設Hadoop Cluster

3. Big Query

Google Cloud Platform (GCP) 介紹

在介紹如何使用GCP 之前，當然一定得先提一下為什麼要使用GCP，首先一個很大的賣點就是Google 所有的Data Center 都是使用Google Fiber 在串接，所以Zone 與Zone 之間，Service 與Service 之間通通都是享受到光纖的速度，此外Google 為了他們本來主要服務(如Google Search , Gmail, youtube...等)就有跟各國各大ISP合作，所以在網路頻寬和速度上更是有一定的品質與保障。


接下來就是介紹GCP 的整個概念，如同我之前所研究的，GCP 以一個Project 為單位，Project 與Project 之間都是isolate，一方面增加安全性，一方面又可以確保資源的品質，此外在這邊講者特別有提到 GCP 的 I/O CPU Network 其實是分開處理的? 所以不像傳統由同一個Host 去分配資源容易有瓶頸？(這一段不是很確定有沒有聽對~XD)

關於Disk 的部份就如同之前研究的：

Scratch Disk = local Disk (關機資料就消失，但是Performance 比較好)
Persistent Disk = EBS Disk (最大10TB 最多16Disk，建議給Root Disk 使用)

此外也趁機問了之前對於Zone 的疑惑，到底進入maintain mode 的zone 我們的instance 會怎麼樣？

講者的回答是，目前GCP 已經有提供好幾個Zone  是no maintain windows 代表他有Live migration 功能，我們就不用擔心如果這個zone 進入maintains，他們會自動幫我們做Live migration，Cool~~

下圖就是講者就做了一個小Demo，利用Google App Engine 寫程式去控制 GCP，要在一分鐘左右開啟100台Instance，並且使用Heap Map 的方式顯示。

講解完了運作原理，當然也要講一下GCP的Performance 摟，跟某Logo 是黃色的公司比較起來~XD

這張投影片講到整個Hadoop Cluster 是怎麼在GCE上運作的

中間穿插著實際Demo 的案例(Live Demo 難免都會有點小出搥~XD)


在Demo 完後就進入大家倍感好奇的BigQuery，一開始先說幾個常常會需要用到的Query 案例，比如說搜尋App Store 排名前20的App，或是DataCenter有多少機器效能低落應該要更換了...

那到底在什麼情境會需要BigQuery 呢？(接來幾張投影片就是重點了)其實跟Spark 和 Shark 一樣，BigQuery 特別適用於在Interactive analysis的情境。

在講到這張投影片的時候我一度以為Big Query 就是在BigTable 的Query (還是真的是!?)

接下來講者就舉一個Query 的範例，到底如何利用Dremel 的架構實現 BigQuery

最後講者舉了一個很有趣得實際應用案例，就是Data Sensing Lab 跟Google合作，在Google  I/O Conference 佈署了很多的Sensor ，然後利GAE + GCP 所實作出來的應用案例，有興趣的可以看這個連結。

以上倉促報告完畢~(照顧小孩去~Orz..)