敏捷開發與數據科學的故事

數據科學可以用敏捷的方法來跑嗎？ 對於許多公司與團隊來說，數據科學家就像一個黑魔法自動販賣機，對於公司唯一能做的事就是定期把錢和原料投進進去，然後等待.....等待......等待新武器的產生。

所以許多公司很容對於這種投入很大，卻不容易估算預期產出的東西充滿恐懼....

而我們的故事是這樣開始的.....

奧格威定律 - 雇用比自己更厲害的人

Source：劉潤 - 五分鐘商學院

奧美公司的創始人大衛奧格威：

如果我們每個人都雇用比我們小的人，我們將成為一個矮人公司。但如果我們每個人都雇用比我們更高大的人，我們將成為一個巨人公司。

這句話后來被稱為“奧格威定律”，它揭示了企業管理中的一個規律，好的管理者可以通過人才的引進創造出一個偉大的公司，也可以通過招進和任用一批平庸的人，毀掉一個好企業。今天，這個定律的作用更加明顯。

[研究] 關於 Bayesian Global Optimization

目前我們使用的是Python 版的 gpyopt

另外有商業版的：SigOpt 

介紹關於Bayesian Global Optimization：

• https://www.infoq.com/presentations/bayesian-optimization-ml
• Bayesian Optimization for Hyperparameter Tuning
• Automatic Features Generation And Model Training On Spark: A Bayesian Approach
• 
  

一般常用的兩種方法是，但是都很吃資源：     

• Grid search     
• Random search

關於Spark 有支援的lib：

• https://github.com/deeplearning4j/deeplearning4j/tree/master/arbiter
• http://spark.apache.org/docs/latest/ml-tuning.html

其它關於SigOpt 討論 Bayesian Global Optimization

• https://news.ycombinator.com/item?id=12257579

---

目前市面上有的選擇：Optimizing hyperparams with hyperopt

• Python
  

  https://github.com/automl/SMAC3  

  https://automl.github.io/SMAC3/stable/manual.html

  http://hyperopt.github.io/hyperopt/ (Distributed Asynchronous Hyperparameter Optimization in Python) 
• Java
  

   http://www.cs.ubc.ca/labs/beta/Projects/SMAC/

---

介紹 Bayesian Global Optimization 的投影片

• https://www.cse.wustl.edu/~garnett/cse515t/spring_2015/files/lecture_notes/12.pdf
• http://gpss.cc/gpss15/talks/gpgo-gpss2015.pdf
• http://gpss.cc/gpmc17/slides/LancasterMasterclass_1.pdf

關於 Bayesian Optimization 的應用

• Automated Performance Tuning with Bayesian Optimization
• Continuous Optimization of Microservices Using ML
• BOAT: Building auto-tuners with structured Bayesian optimization
• 
  

---