本篇文章1332字,讀完約3分鐘

阿里云國際站經(jīng)銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費開戶,代充值優(yōu)惠大,聯(lián)系客服飛機@jkkddd

通過DataWorks將HBase數(shù)據(jù)同步到Elasticsearch

步驟一:環(huán)境準備
創(chuàng)建阿里云Elasticsearch實例,并開啟實例的自動創(chuàng)建索引功能。
具體操作,請參見創(chuàng)建阿里云Elasticsearch實例和配置YML參數(shù)。本文以通用商業(yè)版實例為例。
創(chuàng)建DataWorks工作空間。
創(chuàng)建工作空間時,所選地域需要與阿里云Elasticsearch一致。具體操作,請參見創(chuàng)建工作空間。
創(chuàng)建HBase集群并準備測試數(shù)據(jù)。
創(chuàng)建HBase集群時,所選地域、專有網(wǎng)絡(luò)和虛擬交換機要與阿里云Elasticsearch保持一致。本文以創(chuàng)建標準版HBase集群為例,具體操作,請參見購買集群。
測試數(shù)據(jù)
使用put命令向數(shù)據(jù)表中插入數(shù)據(jù),例如:put "student", "row1", "name:a", "xiaoming"。
使用scan命令查看表中的數(shù)據(jù),例如:scan "student"。
步驟二:購買并創(chuàng)建DataWorks獨享資源組
區(qū)間
登錄DataWorks控制臺。
選擇相應(yīng)地域后,在左側(cè)導航欄,單擊資源組列表。
購買獨享數(shù)據(jù)集成資源。
創(chuàng)建一個獨享數(shù)據(jù)集成資源。
具體操作,請參見新增和使用獨享數(shù)據(jù)集成資源組。本文使用的配置如下,其中資源組類型選擇獨享數(shù)據(jù)集成資源組
單擊已創(chuàng)建的獨享資源組右側(cè)的網(wǎng)絡(luò)設(shè)置,參見綁定專有網(wǎng)絡(luò),為該獨享資源組綁定專有網(wǎng)絡(luò)。
獨享資源部署在DataWorks托管的專有網(wǎng)絡(luò)中。DataWorks需要與HBase集群和Elasticsearch實例的專有網(wǎng)絡(luò)連通才能同步數(shù)據(jù)。而HBase集群和Elasticsearch實例在同一專有網(wǎng)絡(luò)下,因此在綁定專有網(wǎng)絡(luò)時,選擇Elasticsearch實例所在專有網(wǎng)絡(luò)和交換機即可。
單擊已創(chuàng)建的獨享資源組右側(cè)的修改歸屬工作空間,為該獨享資源組綁定目標工作空間。
具體操作,請參見新增和使用獨享數(shù)據(jù)集成資源組。
步驟三:配置HBase白名單
無論是公網(wǎng)訪問,還是VPC內(nèi)網(wǎng)訪問,均需要先將訪問HBase的客戶端IP地址加入到白名單中,才能連接到HBase集群。本文需要使用步驟一中創(chuàng)建的獨享資源組,通過VPC內(nèi)網(wǎng)訪問HBase集群,因此在添加數(shù)據(jù)源前,需要將獨享資源組綁定的交換機網(wǎng)段添加至HBase的訪問白名單中,具體操作請參見設(shè)置白名單和安全組。
步驟四:在DataWorks中添加HBase和Elasticsearch數(shù)據(jù)源
進入DataWorks的數(shù)據(jù)集成頁面。
在DataWorks控制臺的左側(cè)導航欄,單擊工作空間列表。
找到目標工作空間,單擊其右側(cè)操作列下的數(shù)據(jù)集成。
在左側(cè)導航欄,單擊數(shù)據(jù)源。
在數(shù)據(jù)源管理頁面,單擊新增數(shù)據(jù)源。
在新增數(shù)據(jù)源對話框的大數(shù)據(jù)存儲區(qū)域中,單擊HBase。
在新增HBase數(shù)據(jù)源對話框中,填寫數(shù)據(jù)源名稱和配置信息。
使用的HBase版本不同,您需要填寫不同的配置信息:
標準版及以下的版本:使用默認的配置信息,即ZK鏈接地址,同時需要手動增加hbaseVersion屬性。

標題:阿里云服務(wù)器購買,阿里云國際賬號免費注冊

地址:http://www.tantricheartwheels.com/kfxw/64139.html