KKStreamer 的 AWS re:Invent 2020 知識同樂會

 

 The innovation just keep coming

今年因為疫情 AWS re:Invent 2020 改成線上的，而且是免費的，所有人只要上網註冊，就可以透過網路，從 11/30 ~ 12/18 就可以參與。由於是預錄好的關係，所以網路上有有許多人第一時間就把 AWS CEO, Andy Jassy, 主持的第一場 Keynote重點整理出來了：

• AWS re:Invent 2020 - AWS 全球 CEO Keynote 懶人包就看這篇
• 2020 AWS re:Invent 即時新聞】- Andy Jassy Keynote
  

所以我就不在這邊特別談論關於技術的感想，反而想從另一個角度來分享我們怎麼看這個 Event。

這邊就要請出我們的 CTO Drake 來講述一下 KKStream 與 AWS 的故事：

KKStream 2016年開始營業第一天，就在雲端了，就在我們每天掛在嘴巴上的 AWS。事實上，在 KKStream 這家公司還沒成立前，在我們還只是 KKBOX 的一個 Video team 的時候，就已經打算不要有地端的機房，直上雲端了。（感謝當時的智慧與勇氣，要說服 KDDI 接受 Video Pass 新版直上雲端，是一件非常困難的任務）

之後，我們差不多每一年都會有人參與 AWS re:Invent，分享一些資訊回來的同時，也帶回了一些改變。像是 Enterprise Support 的使用、AWS Managed Services、Serverless Computing (Lambda, API Gateway, DynamoDB)、Aurora、Elemental Media Services、…

 

故事講到這裡，KKStream 每年送 KKStream 的同學們去參加 AWS re:Invent ，這不但是更新技術新知的機會，更是一種榮耀與獎勵。不過很不幸的 2020 年受到 COVID-19 的影響，全世界不得不重新面對這個現況，AWS 如此 KKStream 也如此，所以今年變成線上 Event 大家都可以免費觀看，不過如果我們只是鼓勵大家去註冊觀看可能就浪費了這次的機會，於是我們有了新的想法！也就是專屬我們 KKStreamer 的 AWS re:Invent 2020 知識同樂會。既然是同樂會，就不免俗的要先把大家的肚子餵飽，正所謂內行看門道，外行吃美食~

從英聽練習到理解

雖然我們面試並沒有考英文，但是其實 KKStream 的同學們的英文聽力都有一定的程度，畢竟除了每天要看許多英文文件外，還有許多機會要跟國外同事和客戶開會，所以把大家都邀請來一起『聽』講座應該不是太大的問題吧？但是看到這麼多人同聚在一起吃雞排看影片，總是會好奇大家真的聽的懂嗎？能吸收多少？

所以舉辦在 KKStream 的Lobby 舉行「一起看」的用意就是讓大家可以一起看、討論、確認剛剛那一句英文在講啥、問有什麼參考資料…等。大家在這個演講有看到什麼亮點甚至有趣的資訊，就像參加 Conference 共筆的感覺一樣，大家把吸收到的資訊和亮點丟到一個專門的頻道。

 

同學們馬上就會開始熱烈討論，新的技術可能的應用情境，以及規格比較。

正當我邊聽編寫心得時，不時也會收到同學們的火線支援，給我 Idea 和參考資料，感覺真的有一種參加同樂會和 Hackthon 的感覺~

這麼克難的環境，感覺跟我好像啊...XDDD

 

兼顧專業與同樂

同時，為了讓它更有趣一點，AWS Taiwan 甚至還會派專人來與我們一起參與討論，更加提高同學的參與度。

 

 

對這樣的活動有興趣嗎？喜歡這樣的企業文化嗎？還不趕快加入 KKStream，熱門職缺：

 

• APP Engineer ( Android / iOS )
• Architect
• Backend Engineer ( PHP / Golang / Python )
• Growth Hacker
• Product Manager / Technical Project Manager
• QA Engineer
• SRE / DevOps ( AWS / Azure )
• Software Engineer for Business Process
• Video Encoding Engineer
• ( KKS ) 日文雲端服務營運專員
• ( KKS ) Solution Partner

 

[筆記] Technical Workshop: AWS DynamoDB and Elastic MapReduce

話說今年六月的時候有寫過一篇"要使用大象，真的得養頭大象嗎？為何不使用AWS EMR"，但是我得先自首，寫完這篇以後就根本沒有時間去研究了，科技日新月異，我只覺得大象離我越來越遠了......(不要走~~)。話說這個月剛好有時間，就想說把Hadoop 架起來玩玩看(Cloudera CDH4)，結果沒遇到什麼問題就裝好了，而且還附帶精美完整的Cloudera manager Dashboard和監控畫面，只能驚嘆科技日新月異，只要短短幾個月沒跟上就差很多了...(感嘆貌~)

好這都不是重點~XD 重點是這個星期剛好Amazon 有舉辦 AWS DynamoDB and Elastic MapReduce 的 Technical Workshop，當然就二話不說立馬報名~

由於這次講的主題是針對產品的技術Detail 去介紹和探討，如果對NoSQL 不認識或不了解，可能會容易聽不懂吧？我在這邊嘗試著整理我有記錄到的筆記再加一些我的記憶。

DynamoDB

一開始講師Jidesh 先定義怎樣的情境該使用NoSQL (for high throughput)，什麼時候還是該用SQL (specific data with structure attribute)，然後才開始進入主題介紹DynamonDB，不過講師還是建議大家有時間的話還是先去看 Amazon CTO - Werner Vogels 所寫文章 和介紹paper (PDF)。

DynamoDB 的定位很明確，就是專門處理 High throughput , Small size item (

64k item size limit, 1KB metering for throughput)，特色如下：

• 沒有Schema 的概念，就只有很簡單Key-value pair的table
• 兩種Hash Key 模式 ：Single Key & Composite key (Range key) 
• No index Query API ,only scan API

此外Jidesh 花了很多時間在解釋Dynamo DB 神奇的 partition (or Sharding?)機制，簡單來說他們是透過ring 的概念去做資料的hash，所以會盡量的把資料分散到各個node，但是如果有某筆資料存取特別頻繁(hot data)，Jidesh 會建議可以把Key 再次分散，比如說Key=a，改成Key=a1,a2,a3....等，不過我也有問他那目前有提供任何的機制去監控hot data access嘛？結果目前是還沒有的，所以看樣子只能透過經驗法則，如：

• 如發現系統效能變慢
• 發現資料存取throughput 太大

這時再去找是否request 都hit 到同一個partition，這時候就要把某個key切分出來，或是把這些資料移到另一個table.....(感覺很難追蹤..@@)

目前也有提供免費試用方案(Free tier)，詳情請見官網：

● 10 reads/sec and 5 writes/Sec

    - Metering is done in 1KB blocks

    - 10, 1KB items equivalent to 1,10KB item

● Scan and Edit Tables in the AWS console

Elastic MapReduce

在介紹EMR之前，Jidesh 先重新介紹了一下Big Data ，其種講到幾個重點：

• 3Vs (Volume & Velocity & Variety)
• Big Data  到底要收集什麼，越來越難定義，越來越多東西都要收集，事後再來分析
• New model is collect as mush as possible. "Data-First " Log everything!
• Collect & store & analyze & share

此外他們還別強調Amazon的 hadoop 是有特別調教的，在所有Distrubtion裡面是最厲害的~:P

後面就是最刺激的Live Demo 啦，教材都有放在網站上，這次講的題目是：

• Using DynamoDB with Amazon Elastic MapReduce 
• Running Hive on Amazon Elastic MapReduce

後記：

所以EMR有兩種用法，一種是開了只做短暫的分析，另一種是開了就拿來做長期使用，真的跑Hadoop的Service 在上面，不過這時候價錢就會是考量了....

Reference:
[1] AWS Elastic MapReduce Document