本篇文章1151字,讀完約3分鐘

阿里云國際站經(jīng)銷商,主營阿里云,騰訊云,華為云,亞馬遜aws,谷歌云gcp,微軟云az,免費開戶,代充值優(yōu)惠大,聯(lián)系客服飛機@jkkddd


通過Logstash將RDS MySQL數(shù)據(jù)同步至Elasticsearch

背景信息
阿里云Logstash是一款強大的數(shù)據(jù)收集和處理工具,提供了數(shù)據(jù)采集、轉換、優(yōu)化和輸出的能力。通過Logstash的logstash-input-jdbc插件(默認已安裝,不可卸載),可批量查詢RDS MySQL中的數(shù)據(jù)并同步到Elasticsearch中。同時,logstash-input-jdbc插件會定期對RDS中的數(shù)據(jù)進行輪詢查詢,并將自上次輪詢以來插入或更改的記錄同步到Elasticsearch。更多詳細信息,請參見官方文檔中的如何使用Logstash和JDBC確保Elasticsearch與關系型數(shù)據(jù)庫保持同步。本方案適用于同步全量數(shù)據(jù)且接受秒級延遲的場景或批量查詢特定條件的數(shù)據(jù)然后進行同步的場景。
操作步驟
步驟一:環(huán)境準備
阿里Elasticsearch實例中開啟自動創(chuàng)建索引功能。具體操作,請參見快速訪問與配置。
在Logstash實例中上傳與RDS MySQL版本兼容的SQL JDBC驅動(本文使用mysql-connector-java-5.1.48.jar)。具體操作,請參見配置擴展文件。
準備測試數(shù)據(jù),并在RDS MySQL的白名單中加入阿里云Logstash節(jié)點的IP地址(可在基本信息頁面獲取)。本文使用的建表語句如下。
步驟二:配置Logstash管道
進入阿里云Elasticsearch控制臺的Logstash頁面。
進入目標實例。
在頂部菜單欄處,選擇地域。
在Logstash實例中單擊目標實例ID。
在左側導航欄,單擊管道管理。
單擊創(chuàng)建管道。
在創(chuàng)建管道任務頁面,輸入管道ID,并進行Config配置。
本文使用的Config配置如下。
單擊保存或者保存并部署。
保存:將管道信息保存在Logstash里并觸發(fā)實例變更,配置不會生效。保存后,系統(tǒng)會返回管道管理頁面??稍诠艿懒斜韰^(qū)域,單擊操作列下的立即部署,觸發(fā)實例重啟,使配置生效。
保存并部署:保存并且部署后,會觸發(fā)實例重啟,使配置生效。
步驟三:驗證結果
登錄目標阿里云Elasticsearch實例的Kibana控制臺,根據(jù)頁面提示進入Kibana主頁。
登錄Kibana控制臺的具體操作,請參見登錄Kibana控制臺。
單擊右上角的Dev tools。
在Console中,執(zhí)行如下命令,查看同步成功的索引數(shù)量。
更新MySQL表數(shù)據(jù)并插入表數(shù)據(jù)。
在Kibana控制臺,查看更新后的數(shù)據(jù)。
查詢name為Chocolates的數(shù)據(jù)。

標題:阿里云國際賬號購買,24h小時自助充值

地址:http://www.tantricheartwheels.com/kfxw/64114.html