2013年10月7日 星期一

初探 Google Cloud Platform - 1. Create instance

初探 Google Cloud Platform

Google Cloud Platform (GCP) 也出來一段時間了,直到最近才開始可以讓人試用(虧我申請了那麼久),其實使用方法跟跟Amazon差不多,想要開始使用,就先把你的信用卡資訊交出來吧!!

下面我會一步一步的展示,該如何開通帳號
(開通使用很簡單,但是登入使用就複雜摟~:P)

1. 登入Google Cloud Platform

從Google Cloud Platform 的首頁選擇Try it now ,接下來就會進入Cloud Project 的畫面,這一點就值得讓人稱讚,因為Google 採用Project Orientation 的角度來管理你所使用Service 和帳務,這樣我就可以很清楚的把我每個專案用了那些機器,用了哪些API Service ,以及花的多少錢有效區隔開來。 (Amazon 目前帳務這塊就還是讓蠻多人頭疼的~:P )

新增 Cloud Project

這邊要注意的就是Project Id,你可用Google 給你的,或是自己取,只要符合以下規定:
The project ID is used to uniquely identify your project. Once selected, this identifier cannot be changed.

點選專案進入之後,第一個看到的就是APIs (也就是你打算使用/開通Google 提供的哪些服務)





設定 Billing 資訊


再來就是開通Google Cloud Platform 最重要的地方啦,就是開通帳務,首先會先要你填帳務資訊,然後再讓你填信用卡資訊。





當填完資訊,他會寄一封EMail請你確認帳務資訊,等到完全都確認無誤後,你就可以正式開始使用Service。

新增 Instance


新增Instance 的畫面採兩欄式排版,左邊是選項,右邊是我們所選擇設定的資訊,算是非常樸實也直觀。


看到這頁自然就會想要問幾個問題:
1. 目前有哪些區域可以使用 或應該問哪些區域有Data Center?

 根據Zone 這邊看起來主要就是歐洲兩個,美國中部三個AZ,令人注意的是他還會在後面列出來這個Data Center 下一次進入維護時間是何時(所以我們必須自行判斷我們服務會用多久?免得進入維護到時候要搬家麻煩?)


2. 有哪些等級的Instance 可以使用


打開清單,各種類型,與對應的vCPU和 Memory 都列的清清楚楚的

至於價錢可以參考:price,另外這邊要注意的就是收費的最低標準是以10min來劃分,Google的解釋如下:

  • All machine types are charged a minimum of 10 minutes. For example, if you run your instance for 2 minutes, you will be billed for 10 minutes of usage.
  • After 10 minutes, instances are charged in 1 minute increments, rounded up to the nearest minute.For example, an instance that lives for 11.25 minutes will be charged for 12 minutes of usage.

3. 目前有哪些Instance

這部份目前能選的就真的很少了,扣掉Deprecated掉的,就只上下CentOS6 和 Debian 6 /7 可以選


再往下看,來到了Addional Disk ,居然顯示 No Disks in zone europe-west1-b,然後我選了其他zone也都顯示沒有Disk....@@? 這讓我疑惑了...


看了一下關於Disk 的說明頁面,怪怪.....根據他的描述,Disk 也是有兩種:

A. Scratch Disks

類似Amazon 舊的 Instance Storage,關機以後就會消失了 (目前Boot Disk 就是屬於這種)

B. Persistent Disks

就是類似Amazon 的EBS

(最後發現,必須要開好Instance 後才能再另外掛載Disk)



4. 選擇網路






Network 目前沒有其他選項可以選,而External IP 用起來跟Elastic IP差不多,就是跟Google 註冊一組IP並且取名字。

最後面是權限,也就是設定Google 的其他Service 有怎樣的權限可以存取這個Instance。

當一切都設定好後,按下Create 就會看到下圖開始Create instance....



然後就可以在你的VM列表看到這台Instance了~



恭喜你開好一台VM了!! 等等....那接下來要怎麼登入? 是不是像Amazon 可以產生一把Key,就可以用SSH登入? No~~~No~~~沒那麼簡單....Orz..


下一篇文章再來介紹如何透過Google提供用來管理Google Cloud Platform 的工具 gcutil 來管理與登入VM。




2013年10月6日 星期日

關於AWS Elaster MapReducer (EMR)



話說去年的這個時候參加了AWS 在台灣辦的一場workshop 寫了一篇文章 - [筆記] Technical Workshop: AWS DynamoDB and Elastic MapReduce ,但是也僅此於此,並沒有真的去使用AWS EMR。畢竟如果是為了做實驗,練習或寫程式,在自己電腦開一個VM就夠了,如果沒有真的要做啥大量運算跑到AWS上玩Hadoop感覺就會費浪不少錢,。

對於我的認知來說,AWS EMR 是job-oriented的Service ,適合的情境是把已經有明確要分析的資料存放(或將要存放)在S3,然後透過EMR去S3 撈取資料來分析,此時EMR的強項就是可以快速的幫你開啟一組設定好的Hadoop Cluster (如果想要加速?開啟的Instance數量由你決定),所以我們只需要專注於程式的撰寫,而不用擔心管理的問題。

但是如果是一組要長期間運行(Long Run Hadoop Cluster),要考慮的點可能就不只這些了,可能必須先了解搭配的作業系統是什麼?是哪一家的Hadoop (商業支持度)?是否有好的管理介面?....等問題。

這也難怪Neflix 自己打造了一套建立在EMR上面的Hadoop Cluster 管理介面Genie 。

source: viethip

HDInsight on Azure 的異軍突起



剛好今年Hadoop Taiwan 2013 微軟的Talk 用雲端實現巨量資料的商業智慧–HDInsight on Azure 引起了我的注意,主要是:

1. HDInsight 他使用的Hortonwork 的Distribution (雖然是Windows 版,用起來可能會不太順手~:P)
2. 在來他的設計就是For Long run Cluster  不像AWS是Job oriented

不過很可惜的是居然沒有把ambari 也包含在裡面,對於一個long run cluster 管理介面還是很重要的,目前他的管理介面看起來還是有點陽春。

(有興趣的朋友可以看,資策會的蘇老師寫了一系列詳盡的介紹HDInsight Tutorial)

既然微軟的Azure 也朝這方向前進了,讓我不禁好奇算是領導品牌的AWS EMR 目前有沒有什麼進展?以及想要更加了解他的架構與規劃。


關於Hadoop 的版本


AWS EMR 主要有兩種Distribution 可以選用,一種是Community 版的Apache Hadoop,另一個則是MapR的版本(需要額外收費)。根據我的推測,MapR 應該就是用來彌補商業營運( Long run cluster )的版本。

不過再更深入研究MapR版本前,讓我們先看看到底EMR 所使用的Community 版本的內容吧,實驗方法如下:

先利用EMR介面隨便選一個Example Job(例如word count)開啟了一組Cluster,對於EMR的設定來說只有三種角色的Instance,內容配置如下:

1. Master (包含Name Node 和 Job Tracker)
2. Slave with Data (包含Data Node 和 Task Tracker)
3. Slave  without Data (只有Task Tracker )

而這三種角色分別擁有不同的Security Group ,Default 的設定只允許Master 可以透過SSh登入,其他Slave 的角色是不允許的 (不過可以自行透過Security Group 設定來開啟)。

透過SSH 登入 Master 後 (登入帳號:Hadoop),讓我非常驚訝,因為作業系統不是我們所熟悉的CentOS而是Debian:

debian squeeze
Linux ip-172-31-16-224 3.2.30-49.59.amzn1.i686 #1 SMP Wed Oct 3 19:55:00 UTC 2012 i686 GNU/Linux


而Hadoop 版本則是1.0.3 with YARN (這又是另我驚奇的一點),不過最讓我驚奇的則是EMR居然已經改用JDK 1.7了!?  (請參考:何時Hadoop 才能正式轉換至 JDK7 ?)

> java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) Client VM (build 23.25-b01, mixed mode)


真是處處驚奇啊....然後不管是設定檔放置的位置,與設定的方法與傳統熟悉的都不太一樣,所以很明顯的這就不是要讓你自己方便管理的設計,他們也不預期讓你近來亂搞~:P

所以我才大膽的假設MapR 版本才是真的設計來當做Long run Cluster的版本,畢竟官網上是這樣介紹MapR的:


  • Enhanced ease-of-use and reliability for Apache HBase applications
    • Instant Recovery
    • Zero HBase Administration
    • Continuous Low Latency
    • Full Data Protection with Snapshots
    • Business Continuity with Mirroring
  • Industry-standard interfaces
    • NFS
    • ODBC
  • Management
    • Deployment
    • MapR Control System (MCS)
    • CLI and REST API:

看樣子也得另外花時間好好玩玩看一下MapR 是不是如同他宣稱的這麼厲害~:P

另外想要更深入了解EMR的人也可以參考官方提供的Best Practices for Amazon EMR。

Update:

The latest Amazon EMR AMI version contains the following pre-installed software:
  • Hadoop 1.0.3 
  • Java 1.7 
  • Perl 5.10.1 
  • Python 2.6.6 
  • R 2.11 
  • hbase-0.92.0 (開Hbase 必須要開VPC)  
  • hive-0.11.0   
  • pig-0.11.1.1  



2013年10月2日 星期三

Apache Spark 0.8.0 正式發佈了!!



千呼萬喚始出來,Apache Spark 0.8.0 終於正式Release 了,這是是捐給ASF後的第一版Release ,也是有著重大更新的一版Release,讓我們來看看Release note 裡面有提到哪些新Feature。

1. Monitoring UI and Metrics (上圖便是新的介面)

2. Machine Learning Library (有取代Mahout 的味道唷~)

3.Python Improvements (就不用再用大陸的山寨版了~XD)

4. Hadoop YARN support

5. Revamped Job Scheduler

6. Easier Deployment and Linking

7. Expanded EC2 Capabilities

8. Improved Documentation

9. Other- Hadoop save functions now support an optional compression codec.

第九點倒是對我來說蠻重要的,如果增加了compression codec support,那就代表可能也可以support Encryption摟~:D