顯示具有 技術-雲端運算-Azure 標籤的文章。 顯示所有文章
顯示具有 技術-雲端運算-Azure 標籤的文章。 顯示所有文章

2020年10月11日 星期日

Azure 上各種 Message Queue 的比較

 
資料來源整理自 Azure 官網:

 

傻瓜快速分類:

  • 傳遞的是 Event 類型( 訊息量不大,多為狀態,射後不理),考慮 Event 類型
    • 如果是離散型資料,考慮 Event Grid 
    • 如果是串流行資料,考慮 Event Hubs
  • 傳遞的是 Message 類型 (訊息量較大,帶有資訊,需保證送達),考慮 Message Queue
    • 訊息很多很大不用保證 FIFO,選擇 Storage Queue
    • 訊息不會很大,要保證FIFO

此外 Service Bus 才有支援 AMQP,更多資訊請參考: 同樣都是Message Queue 到底AMQP跟JMS 有什麼差別?

 

Update 找到一個更棒的整理:

 

 

2020年4月20日 星期一

你知道在 Azure 上有幾種 On Demand 啟動 Spark 的方法嗎?



最近需要開始分析一些 Log ,最直覺的方式就是使用最熟悉的 Spark 來分析,於是開始研究最近有什麼方便在 Azure 啟動 Spark 的方式,在 AWS 和 GCP 上,之前就已經有研究過專門支援的 PaaS 服務:
我知道 Azure 有 HDInsight ,但是之前使用覺得沒有 GCP Dataproc 好用,不知道 2020 年的今天,有沒有什麼新的 Solution 呢?畢竟 Azure 的 "強項" 就是透過大量跟 3rd-party ISV 整合來壯大自己的服務

Azure 小筆記 - 關於 Azure Data Exploer 又稱 Kusto




Kusto 簡單來說就是 Azure 版的 BigQuery,可用於儲存和執行巨量資料的互動式分析。它是以關聯式資料庫管理系統為基礎,支援資料庫、資料表和資料行之類的實體,並提供複雜的分析查詢運算子 (例如,計算結果欄、搜尋和篩選資料列、依匯總分組、聯結)。

Kusto 藉由「犧牲」執行個別資料列和跨資料表條件約束/交易的就地更新功能,提供絕佳的資料內嵌和查詢效能。 因此,它會代替 (而不是取代) OLTP 和資料倉儲處理等案例的傳統 RDBMS 系統。身為巨量資料服務,Kusto 會處理結構化、半結構化 (類似 JSON 的巢狀類型) 和非結構化 (自然語言) 資料。

資料來源:開始使用 Kusto

2020年3月7日 星期六

關於 Azure EA 的價錢與 RI 的價錢差異



關於 Reserved Instance 每一家的規則都有一些些許的差異,Azure 的 Reserved 有幾個特點:
  • 現在買 RI 不用全額付款 (upfront ),只需要每月支付
  • 如果買了 RI 後來發現用不了那麼多,可以解約,但是要支付 12% 手續費 (退款原則)


關於 EA 與 RI 的價格差異



在網路上看到一篇文章這樣描述,EA 有折扣,RI 也有折扣,那到底怎麼計算?

後來瞭解才知道,假設一台 VM list price 是 100元,EA 和 RI 的價格方別如下:

EA     (從 list price 折扣 5%~9% off) 所以價格是 95~91 元
RI 1y (從 list price 折扣 ~40% off) 所以價格約略 60 元
RI 3y (從 list price 折扣 ~60% off) 所以價格約月 40 元

EA 與 RI 的折扣不能疊加,只能擇優計算,所以如果就算你是 EA + RI 1y ,那你也只能拿到 60元的價格。


另外根據不同的機型,我做了一個比較表,如果開發機想要省錢,直覺的想法就是只有上班時間開機,下班關機,但是如果 3y RI 買下去,就算一直開機價格也比上班開機下班關機划算~




2016年12月28日 星期三

Azure Resource Manager (ARM) template 簡介



如果對於AWS 很熟悉的朋友應該很快就可以聯想到,Azure 的新架構 Azure Resource Manager (ARM)Template 就是類似 AWS 的Cloudformation,這也是實現Infrastruce as code 的重要基石。


2015年10月21日 星期三

關於Azure CLI Tools 0.9.10+ 的認證問題




記錄一下最近遇到的問題,在ASM mode 下原本上傳檔案到blog storage 只需要AccountName 和 Account Key 就可以了,但是在Azure CLI Tool 在 0.9.7 以後出現了了一個Bug:
Trace source code 發現,必須要先azure account import  {subscription file} 或是 azure login 才能取得某些資訊,不然讀不到這個值就會出現這個錯誤....

不過到了ARM mode 下這個問題也出現了,而且更機車的是,這不是bug 而是change feature,他們為了Security  的因素強制一定要azure login 才行....囧 (我只是要上傳個檔案啊!!)

> azure group list
info:    Executing command group list
+ Listing resource groups
error:   Certificate based Authentication is not supported in current mode: 'arm'. Please authenticate using an organizational account via 'azure login' command.
info:    Error information has been recorded to ~/.azure/azure.err
error:   group list command failed

很多人都遇到類似問題:
在這些issue 中有人提到這是新的架構限制,請參考:Azure automation authenticating to azure using azure active directory

You should now be all set to manage your Azure services with an Azure Active Directory OrgID user and Azure Automation. Going forward, it should be easier to get up and running creating runbooks to automate your cloud processes. As part of this update, we’ve also updated all of our Azure Automation sample and utility runbooks to use this authentication to make it easy to not just get set up but also leverage existing content in our Runbook Gallery.

Probably you are using certificates for authentication. The ARM API uses tokens for authentication. You need to login using org id. azure login -u abc@yourorg.com It will prompt for password. Once you are logged in you should not see the above message. For verification purposes, you can see the tokens and certificates stored in a file named azureProfile.json in .azure directory located in your home directory "C:\Users.azure\azureProfile.json"

那workaround 的方法呢?就是要azure login,打了指令後會出現以下提示訊號讓你去登入:

info:    Executing command login
info:    To sign in, use a web browser to open the page http://aka.ms/devicelogin.
Enter the code B8UCDLERS to authenticate. If you're signing in as an Azure AD application,
use the --username and --password parameters.


這樣真的很麻煩啊 !!!!

---------------------------------
[Update:2015.10.23] 不過微軟的Support 真的很好,馬上就有找出其他方法:

1. 使用其他3rd-party 開發的工具 blobxfer

2. 在使用Azure blog upload 前先export 以下資訊

export AZURE_STORAGE_ACCOUNT=
export AZURE_STORAGE_ACCESS_KEY=