2020年4月20日 星期一

Azure 小筆記 - 關於 Azure Data Exploer 又稱 Kusto




Kusto 簡單來說就是 Azure 版的 BigQuery,可用於儲存和執行巨量資料的互動式分析。它是以關聯式資料庫管理系統為基礎,支援資料庫、資料表和資料行之類的實體,並提供複雜的分析查詢運算子 (例如,計算結果欄、搜尋和篩選資料列、依匯總分組、聯結)。

Kusto 藉由「犧牲」執行個別資料列和跨資料表條件約束/交易的就地更新功能,提供絕佳的資料內嵌和查詢效能。 因此,它會代替 (而不是取代) OLTP 和資料倉儲處理等案例的傳統 RDBMS 系統。身為巨量資料服務,Kusto 會處理結構化、半結構化 (類似 JSON 的巢狀類型) 和非結構化 (自然語言) 資料。

資料來源:開始使用 Kusto


產品起源


Azure Data Explorer(ADE)內部代號叫 Kusto,在 Kusto 之前Azure對監控和分析場景散落在各產品中,例如:Log Analytics、Application Insight,Azure Monitor,Time Series Insight,這些產品在用不同的技術架構來解決不同數據源等問題,例如:通過PerfCounter和Event通過流數據進行聚合告警利用通用計數器寫入時序數據庫,配置實時Dashboard把應用數據寫到數倉做深入分析ADE的目標是對上層預定義計算、後計算做一層抽象:將原始數據進行通用存儲,保留一段時間(例如幾個月),對這些多樣化數據進行快速的多維分析。ADE在微軟的內部代號為Kusto,由以色列研發團隊提供。Azure Log Analytics開始選型是Elastic Search,每年付1M$用來獲得支持,但效果不好,因此在2015年時對日志、Metric場景使用Kusto來提供,包括之前在cosmosDB中的分析工作。





沒有留言 :