網頁

2013年11月21日 星期四

Google Cloud Platform Workshop 小記

(在這邊要感謝 Jazz大大辛苦的主辦,以及神通提供場地)



話說自從寫了- 初探 Google Cloud Platform - 1. Create instance 後,號稱要寫的第二步 Login Instance 的文章都還沒寫,而且也沒時間去把之前的疑惑解開,趁著今天參加 Google Cloud Platform Workshop 想說應該可以解決部份的疑惑。

在這邊把筆記整理一下跟大家分享 (筆記的準確度根據理解程度可能有誤還請見諒~:P)

一開始是在介紹Google 的豐功偉業(其實我相信大家都很瞭解,應該不太需要再介紹~XD)

然後進入Google 知識加時間:

大家知道google 的Search Index 目前有多大嘛? (100PB)

目前TeraSort 的紀錄是幾秒呢? (Google + MapR 的1TB 54秒,破之前Yahoo的紀錄)



接下來就是令人感到興趣的主題,Agenda分別是:

1. Google Cloud Platform (GCP) 介紹

2. 如何在GCP 上架設Hadoop Cluster

3. Big Query

Google Cloud Platform (GCP) 介紹

在介紹如何使用GCP 之前,當然一定得先提一下為什麼要使用GCP,首先一個很大的賣點就是Google 所有的Data Center 都是使用Google Fiber 在串接,所以Zone 與Zone 之間,Service 與Service 之間通通都是享受到光纖的速度,此外Google 為了他們本來主要服務(如Google Search , Gmail, youtube...等)就有跟各國各大ISP合作,所以在網路頻寬和速度上更是有一定的品質與保障。


接下來就是介紹GCP 的整個概念,如同我之前所研究的,GCP 以一個Project 為單位,Project 與Project 之間都是isolate,一方面增加安全性,一方面又可以確保資源的品質,此外在這邊講者特別有提到 GCP 的 I/O CPU Network 其實是分開處理的? 所以不像傳統由同一個Host 去分配資源容易有瓶頸?(這一段不是很確定有沒有聽對~XD)



關於Disk 的部份就如同之前研究的:

Scratch Disk = local Disk (關機資料就消失,但是Performance 比較好)
Persistent Disk = EBS Disk (最大10TB 最多16Disk,建議給Root Disk 使用)

此外也趁機問了之前對於Zone 的疑惑,到底進入maintain mode 的zone 我們的instance 會怎麼樣?

講者的回答是,目前GCP 已經有提供好幾個Zone  是no maintain windows 代表他有Live migration 功能,我們就不用擔心如果這個zone 進入maintains,他們會自動幫我們做Live migration,Cool~~

下圖就是講者就做了一個小Demo,利用Google App Engine 寫程式去控制 GCP,要在一分鐘左右開啟100台Instance,並且使用Heap Map 的方式顯示。


講解完了運作原理,當然也要講一下GCP的Performance 摟,跟某Logo 是黃色的公司比較起來~XD





這張投影片講到整個Hadoop Cluster 是怎麼在GCE上運作的



中間穿插著實際Demo 的案例(Live Demo 難免都會有點小出搥~XD)


在Demo 完後就進入大家倍感好奇的BigQuery,一開始先說幾個常常會需要用到的Query 案例,比如說搜尋App Store 排名前20的App,或是DataCenter有多少機器效能低落應該要更換了...



那到底在什麼情境會需要BigQuery 呢?(接來幾張投影片就是重點了)其實跟Spark 和 Shark 一樣,BigQuery 特別適用於在Interactive analysis的情境。







在講到這張投影片的時候我一度以為Big Query 就是在BigTable 的Query (還是真的是!?)


接下來講者就舉一個Query 的範例,到底如何利用Dremel 的架構實現 BigQuery






最後講者舉了一個很有趣得實際應用案例,就是Data Sensing Lab 跟Google合作,在Google  I/O Conference 佈署了很多的Sensor ,然後利GAE + GCP 所實作出來的應用案例,有興趣的可以看這個連結







以上倉促報告完畢~(照顧小孩去~Orz..)



2 則留言:

  1. 拜讀完您這個blog的所有文章,有非常豐富與有用的分享資源。過去到現在我都是在看別人寫的東西,很少些東西給別人看,您讓我感受到您的熱情,我也希望之後可以像你一樣時常貢獻自己的微薄之力給整個社群。謝謝。

    回覆刪除