2013年10月25日 星期五

升級Mavericks 後遇到的問題 (1) Virtualbox 發生錯誤


前天提起勇氣把OSX 升級到Mavericks ,果然免費的最貴....陸陸續續開始有災情出現。

今天要解決的問題是使用Virtualbox (4.2.18)出現的問題(包含使用Vagrant),主要是在啟動VM得時候會出現類似的錯誤如下:

Command: ["hostonlyif", "create"]

Failed to create the host-only network interface.
VBoxNetAdpCtl: Error while adding new interface: failed to open /dev/vboxnetctl: No such file or directory

上網查了一下,看到這兩篇文章 Vagrant on Mavericks 和First Thoughts Developing on Mavericks都是使用臨時性解法,就是利用指令重新啟動VirtualBox,不過重開機以後仍然會有問題...

$ sudo /Library/StartupItems/VirtualBox/VirtualBox restart


最後再Virtaulbox 的討論區 Network Error... was working yesterday 這篇文章確認這是升級新版的後所產生的問題:,

OS X 10.9 Mavericks has deprecated the StartupItems mechanism for starting services on boot.Until this is fixed it looks like VirtualBox's host-only networking is broken as per ticket: #8940.This also means if you use Vagrant it will complain that it can't start boxes.The temporary workaround is to create a Launch Daemon yourself. This Launch Daemon will call the old StartupItems script. 

目前建議的work around方式如下:

1.  建立 'virtualbox.plist' 這個檔案在這個目錄 '/Library/LaunchDaemons'  (Note: 必須使用 sudo 才能建立).
2. 檔案內容如下:
     
    <plist version="1.0">
        <dict>
            <key>Label</key>
            <string>virtualbox</string>
            <key>ProgramArguments</key>
            <array>
                <string>sh</string>
                <string>/Library/StartupItems/VirtualBox/VirtualBox</string>
                <string>restart</string>
            </array>
            <key>KeepAlive</key>
            <false>
            <key>RunAtLoad</key>
            <true>
        </true></false></dict>
    </plist>  

3. 執行以下兩個指令,讓機器重開後會自動執行

$ sudo chown root /Library/LaunchDaemons/virtualbox.plist
$ sudo launchctl load -w /Library/LaunchDaemons/virtualbox.plist

4. 最後重開機測試看看


Ps. 根據#8940的最新訊息,這個問題在Virtualbox 4.3版仍會有問題
Pss. 就算這個問題解決,另外會有關機後,virtualbox 的icon仍然會在dock 上面砍不掉

Update [2013.10.28]
已經升級到VirtualBox 4.3 開啟win7 的vm 會出現這個問題:Kernel fail on Mavericks OS





2013年10月23日 星期三

[書摘] 軟件開發成功路線圖 - 敏捷模式



前一陣子陪老婆在逛掏寶網 無意見看到這本書,介紹Agile的書很多,但是以Pattern 的方式來介紹倒是第一次看到,而且又很便宜馬上就買了下來。

所謂的Pattern 有幾個重要的元素:
(可以參考Teddy 大大的 - Design Patterns入門實作班0.5天投影片)
  • Name
  • Context
  • Problem
  • Force
  • Solution
  • Consequence
也就是說任何的方法和Pattern 的產生都是為了解決特定的問題,而Scrum其實就是把這些Pattern 組合起來的一個Process,這本書的特色知一就是以圖片的方式告訴我們,這些方法對於解決某些問題比較有效,但是對於另一個問題可能就不怎麼相關。

 這本書把要解決的問題分成兩大類:

商務價值類(帶來的好處):


  • 縮短上市時間
  • 增強產品實用性(市場價值)
  • 提高品質質量
  • 提高靈活性
  • 增加透明度 
  •  降低成本
  • 延長產品生命週期

 解決異味:

  • 商務異味:
    • 交付品質無法另客戶滿意
    • 交付新功能需太長時間
    • 有些功能客戶沒有使用
    • 軟件對於客戶不適用
    • 軟件開發過於昂貴
    • 我們與他們的對立 (RD vs QA vs Marketing vs Sales vsCustomer)
  • 流程異位:
    • 客戶?客戶無法經常性的參與
    • 另管理層訝異 - 缺乏透明度
    • 瓶頸資源 - 項目成員同時屬於過多團隊
    • 項目反覆拖延
    • Bug 追蹤系統有數以百計的bug仍未解決
    • 在Release 前需要一個固化(Code freeze )週期
    • 沒能經常集成(Integration) - 通常是Integration太痛苦

下面列出一些書本的範例:



舉例來說,如果要提高產品的實用性,把客戶拉近來作為團隊成員可能就比寫一堆文檔和用戶故事有效的多。



而要提高產品的品質,使用TDD開發模式就比較重要,會比只有使用Iteration 頻繁發佈和Stand up Meeting有用, 畢竟沒有良好的測試,越頻繁的發佈只會造成更多的慘案~:P


針對客戶想要一切的問題(不管是客戶還是老闆總是想要一切啊!!),最重要的就是把客戶拉近團隊來,並且透過backlog讓客戶了解實際的工作量。


有興趣的人可以去買這本書來讀一讀! (可惜都沒有正體中文版~:P)

2013年10月22日 星期二

Hadoop Performance Tunning Tools - startfish


大家都知道 Hadoop Cluster tuning 不是一件簡單的事情,而且為了確保每一次調教的參數真的是有幫助的,一般來說都會建議要跑過Benchmark,尤其是針對你預期會改善的部份做測試,市面上有非常多的Benchmark 專案可以讓我們來測試,例如:

  • Pi
  • TeraSort
  • TestDFSIO & Co
  • Gridmix3  (Emulating Production Workload for Apache Hadoop)
  • NNBench (It is meant as a stress-test and benchmark for namenode)
  • MRBench (A Benchmark for MapReduce Framework)
  • Hadoop Benchmark Suite (HiBench)

不過參數那麼多,就算知道調每個參數對於系統會有怎樣的影響,但是排列組合下來也是很驚人的,到底要怎麼調才是正確的呢?總不能一直瞎調吧~(不過很多時候的確是...Orz..),


最近在Survey 資料的時候無意間看到這個專案,覺得還蠻有趣的,就是Duke 大學的一個專案叫做startfish,進入專案首頁馬上就吸引我的就是他把調教組合與效能視覺化,如下圖所示:


 Source: Starfish

他主要的作法就是是收集我們Hadoop Cluster 的參數和Log ,並且加以分析,並且給出建議修改的參數值,有興趣的可以看一下他的教學影片:



Reference:

[1] Benchmarking and Stress Testing an Hadoop Cluster With TeraSort, TestDFSIO & Co.