2013年10月21日 星期一

[開箱文] Opure 頂級阿肥機入手

話說離買上一台STP空氣清淨機(A.K.A 小王)以經過了一年多了,感覺效果還蠻不錯,這次趁著游小貝出世,想說是該再加購一台更夠力的機器了(遠目~)


身為反486受害者團結大聯盟的一員,一定受過這幾篇文章的荼毒:DC版阿肥機來了 CP值最高的家用空氣清淨機、Opure 雙UV光觸媒A空氣清淨機 阿肥機.......每次看完的感想就是,地球很危險的室內空氣真是髒,趕快買一台空氣清淨機吧!!




一開始我鎖定的是 LightAir IonFlow 50 和 頂級阿肥機這兩款來抉擇,一台的優勢是不用耗材,另一台是高C/P值,讓人很難決定,不過在上網收集了更多資料後,我還是排除了LightAir lonFlow,原因如下:

1. 貴很多,雖說不用耗材,但是天知道可不可以撐到break even
 (看起來很容易壞)
2. 必須放在周圍一公尺淨空的環境
 (但是我想放在房間啊!放在客廳又怕被iRobot 撞倒)
3. 只能透過靜電的原理吸付附近的灰塵懸浮微粒...
(但是我另外想要處理的就是空氣中的貓毛!)

這一長一短的貓毛已經是iRobot殺手了...如果不來台吸力強一點的空氣清淨機,不知道會讓我和游小貝吸近多少貓毛!!

所以最後我還是選了頂級阿肥機。

兩大箱東西寄來真是壯觀! 一箱是空氣清淨機,另一箱是耗材。


從箱子拿出來後,想說嗯?阿肥機哪裡肥?看起來中規中矩啊~?



直到打開阿肥機才真的了解到底他為什麼稱為阿肥機,也就是他的肚子的容量異常的大!因為裡面必須要容納四種濾網,包含:
  • 極淨HEPA濾網
  • 強效活性碳濾網
  • 蜂巢式除甲醛C.Z.P.濾網
  • 光觸媒濾網



開機後發亮的面板感覺就蠻有質感的(跟小肥機比起來~:P)



不過更是讓人感到驚豔的就是聲音比想像中還小聲,扣除全速運轉聲音還是蠻大的外,我覺的放在房間也不會影響到睡眠,而且很快就能感覺到空氣變得清新了,看到游小貝安穩著睡著,這一切都值得啊~~



為了家人的健康,和維持家裡的空氣品質,不要懷疑趕快敗下去就對了!!




2013年10月17日 星期四

Hadoop Tutorial: Analyzing Sensor Data



今天看到hortonworks的Bloger 有一篇教學很有趣,怎麼利用HDP Sandbox 來分析Sensor 資料,我對這個影片感到有興趣的原因關於是這個情境,先不論是不是真的要面對非常多的資料量,對於可能不會寫程式或開發系統的資料分析人員來說,這已經算是一套很方便的Solution。

首先,以傳統的作法必須先寫一個Sensor Log 的收集系統,然後把資料處理(Parser& Clean)過後存到與先設計好的RDB ,這時候資料分析人員才可以開始做分析。

但 是如果有了Flume ,我們只需安裝Agent 和做簡單的設定,就可以輕鬆的把資料收集到HDFS裡面存放,然後我們也不用預先設計Schema,等到真的需要分析的時候,再透過Pig 或 Hive 動態去處理資料,產生我們所需要的資料表 (這種概念類似於RDB 的 View),一直到這裡資料分析人員幾乎都不用寫道什麼程式!

(當然我也相信許多昂貴的傳統BI工具也可以做到,但是價錢....嗯你知道的~:P)


整個影片的情境如下:

  1. 透過Flume收集Sensor 回傳的Log,並且存到HDFS,資料內容包含:
    1. Hvac
      1. 日期
      2. 時間
      3. 預期溫度
      4. 實際溫度
      5. 冷暖氣系統ID
      6. 冷暖氣系統年紀
      7. Building ID 
    2. Building
      1. Building ID
      2. Building Mgr
      3. Building Age
      4. Hvac Product Model
      5. Country
  2. 透過Sqoop匯入原本存在RDB 的 HVAC Schema 和 Data,產生HCatalog View 方便之後 Hive and Pig的操作  (其實這邊就算不透過Sqoop 匯入,也是可以手動建立)
  3. 分析情境:
    1. 想要減少電費開支
    2. 想要控制室內溫度的恆定性
    3. 找出哪一個品牌的Hvac 可靠性較高
  4. 透過ODBC Driver 把分析好的資料匯入Excel 做視覺化呈現






有興趣的朋友也可以去下載來玩玩看~




2013年10月15日 星期二

[實驗]透過IAM 給予EMR Instance 特定權限

EMR 與 S3


EMR 最大的特色之一就是跟S3的整合,EMR可以直接把S3當做HDFS來使用,而且S3到EMR Instance 之間的傳輸費用是Free,當然要好好利用一下啦。
在EMR中使用S3方法很簡單,只要使用以下指令:
hadoop fs -cat s3n://<your bucket name>/test
or
hadoop fs -cat s3://<your bucket name>/test 
這時候問題來了....那S3要設定怎樣的權限? 如何讓EMR存取?這時候就要使用IAM

Why IAM?


使用IAM的好處就如同EMR 的開發文件裡面所說的 - Configure IAM Roles for Amazon EMR:
An AWS Identity and Access Management (IAM) role is a way to delegate access so IAM users or services in AWS can act on your AWS resources. You create an IAM role and assign permissions to it, such as the ability to read and write data in one of your Amazon S3 buckets. When an IAM user or a service in AWS assumes that IAM role, they gain the specified permissions to access your AWS resources.
Amazon EMR uses IAM roles so that applications running on the EC2 instances of your cluster can access your AWS resources without the need to distribute your AWS account or IAM user credentials to those EC2 instances
簡單來說就是使用IAM 的設定以後,理論上我就不需要把我的accessKey 和 secureKey 設定到每一台instance裡面,就可以直接存取AWS Resource 的資源。
不過這邊要注意的是,啟動IAM 的權限只能透過API 或是CLI ,並不能透過AWS Management Console 來啟動。
Launching a cluster with IAM roles is currently not supported in the Amazon EMR console. If you need to use IAM roles in your cluster, launch the cluster using the CLI or the API.

測試結果


明明沒有設定IAM EMR也可以存取S3啊? 設定了以後到底差別在哪裡? 原來....
如果從EMR console create cluster (沒有設定IAM),EMR會自動把會把accesskey 和 securekey 存放在core-site.xml 裡面:
    fs.s3n.awsSecretAccessKey 
    fs.s3n.awsAccessKeyId
但是如果使用IAM,並且給予S3的權限,所以在你的core-site.xml 裡面就不會有SecureKey和AccessKey的出現。


謎之音:
其實我只是要測試用stackedit 寫寫看blog~ 結果似乎不如預期...囧rz...好多效果都沒出來...是因為我把bloger搞的太花俏用太多plugin了嘛?Orz...