實(shí)時(shí)監(jiān)控系統(tǒng) CAT 3.0：多語(yǔ)言客戶端及多項(xiàng)性能提升

實(shí)時(shí)監(jiān)控系統(tǒng) CAT 3.0 發(fā)布了，此版本帶來(lái)多語(yǔ)言客戶端及多項(xiàng)性能提升，更新如下：

性能提升

• 消息采樣聚合

  消息采樣聚合在客戶端應(yīng)對(duì)大流量時(shí)起到了至關(guān)重要的作用，當(dāng)采樣命中或者內(nèi)存隊(duì)列已滿時(shí)都會(huì)經(jīng)過(guò)采樣聚合上報(bào)。采樣聚合是對(duì)消息樹拆分歸類，利用本地內(nèi)存做分類統(tǒng)計(jì)，將聚合之后的數(shù)據(jù)進(jìn)行上報(bào)，減少客戶端的消息量以及降低網(wǎng)絡(luò)開銷。

  

• 通信協(xié)議優(yōu)化

  CAT 客戶端與服務(wù)端通信協(xié)議由自定義文本協(xié)議升級(jí)為自定義二進(jìn)制協(xié)議，在大規(guī)模數(shù)據(jù)實(shí)時(shí)處理場(chǎng)景下性能提升顯著。目前服務(wù)端同時(shí)支持兩種版本的通信協(xié)議，向下兼容舊版客戶端

  • 測(cè)試環(huán)境：CentOS 6.5，4C8G 虛擬機(jī)

  • 測(cè)試結(jié)果：新版相比舊版，序列化耗時(shí)降低約 3 倍

• 消息文件存儲(chǔ)

新版消息文件存儲(chǔ)進(jìn)行了重新設(shè)計(jì)，解決舊版本的文件存儲(chǔ)索引、數(shù)據(jù)文件節(jié)點(diǎn)過(guò)多以及隨機(jī) IO 惡化的問(wèn)題。

新版消息文件存儲(chǔ)為了同時(shí)兼顧讀寫性能，引入了二級(jí)索引存儲(chǔ)方案，對(duì)同一個(gè)應(yīng)用的 IP 節(jié)點(diǎn)進(jìn)行合并，并且保證一定的順序存儲(chǔ)。下圖是索引結(jié)構(gòu)的最小單元，每個(gè)索引文件由若干個(gè)最小單元組成。每個(gè)單元分為 4 * 1024 個(gè)桶，第一個(gè)桶作為我們的一級(jí)索引 Header，存儲(chǔ) IP、消息序列號(hào)與分桶的映射信息。剩余 4 * 1024 - 1 個(gè)桶作為二級(jí)索引，存儲(chǔ)消息的地址。

新版消息文件存儲(chǔ)文件節(jié)點(diǎn)數(shù)與應(yīng)用數(shù)量成正比，有效減少隨機(jī) IO，消息實(shí)時(shí)存儲(chǔ)的性能提升顯著。以下為美團(tuán)點(diǎn)評(píng)內(nèi)部 CAT 線上環(huán)境單機(jī)消息存儲(chǔ)的數(shù)據(jù)對(duì)比：

詳情見發(fā)布公告。

CAT（Central Application Tracking），是美團(tuán)點(diǎn)評(píng)基于 Java 開發(fā)的一套開源的分布式實(shí)時(shí)監(jiān)控系統(tǒng)。美團(tuán)點(diǎn)評(píng)基礎(chǔ)架構(gòu)部希望在基礎(chǔ)存儲(chǔ)、高性能通信、大規(guī)模在線訪問(wèn)、服務(wù)治理、實(shí)時(shí)監(jiān)控、容器化及集群智能調(diào)度等領(lǐng)域提供業(yè)界領(lǐng)先的、統(tǒng)一的解決方案，CAT 目前在美團(tuán)點(diǎn)評(píng)的產(chǎn)品定位是應(yīng)用層的統(tǒng)一監(jiān)控組件，在中間件（RPC、數(shù)據(jù)庫(kù)、緩存、MQ 等）框架中得到廣泛應(yīng)用，為各業(yè)務(wù)線提供系統(tǒng)的性能指標(biāo)、健康狀況、實(shí)時(shí)告警等服務(wù)。

來(lái)源：機(jī)房環(huán)境監(jiān)控 http://www.scdprobes.com/   本文采集于網(wǎng)絡(luò)，如有問(wèn)題有聯(lián)系刪除