2016年4月4日月曜日

[Graphite] 古いデータを削除する


グラフデータの格納場所は以下のようにして確認できます。
[root@node01 ~]# grep LOCAL_DATA_DIR /etc/carbon/carbon.conf
#   LOCAL_DATA_DIR = STORAGE_DIR/whisper/
#LOCAL_DATA_DIR = /opt/graphite/storage/whisper/
LOCAL_DATA_DIR = /var/lib/carbon/whisper/

私の環境では以下のようにデータが格納されています。
[root@node01 ~]# find /var/lib/carbon/whisper -ls
278413    4 drwxr-xr-x   4 carbon   carbon       4096  4月  3 08:55 /var/lib/carbon/whisper
278414    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 08:53 /var/lib/carbon/whisper/carbon
278415    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 08:53 /var/lib/carbon/whisper/carbon/agents
278416    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 08:54 /var/lib/carbon/whisper/carbon/agents/node01-a
275385 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/cpuUsage.wsp
275388 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/metricsReceived.wsp
275383 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/memUsage.wsp
278417    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 08:53 /var/lib/carbon/whisper/carbon/agents/node01-a/cache
275382 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/cache/queries.wsp
275390 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/cache/overflow.wsp
275387 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/cache/queues.wsp
275381 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/cache/size.wsp
275391 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/errors.wsp
275392 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/pointsPerUpdate.wsp
275389 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/creates.wsp
275356 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/avgUpdateTime.wsp
275386 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/updateOperations.wsp
275384 1520 -rw-r--r--   1 carbon   carbon    1555228  4月  3 16:08 /var/lib/carbon/whisper/carbon/agents/node01-a/committedPoints.wsp
278422    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 09:02 /var/lib/carbon/whisper/collectd
278442    4 drwxr-xr-x   6 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11
278455    4 drwxr-xr-x   5 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface
278459    4 drwxr-xr-x   5 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets
278460    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/eth1
275441   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/eth1/rx.wsp
275438   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/eth1/tx.wsp
278469    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/eth0
275456   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/eth0/rx.wsp
275450   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/eth0/tx.wsp
278472    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/lo
275454   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/lo/rx.wsp
275455   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_octets/lo/tx.wsp
278456    4 drwxr-xr-x   5 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors
278467    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/eth1
275447   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/eth1/rx.wsp
275459   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/eth1/tx.wsp
278457    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/eth0
275442   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/eth0/rx.wsp
275436   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/eth0/tx.wsp
278465    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/lo
275445   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/lo/rx.wsp
275449   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_errors/lo/tx.wsp
278462    4 drwxr-xr-x   5 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets
278466    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/eth1
275453   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/eth1/rx.wsp
275446   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/eth1/tx.wsp
278471    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/eth0
275457   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/eth0/rx.wsp
275452   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/eth0/tx.wsp
278463    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/lo
275440   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/lo/rx.wsp
275444   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/interface/if_packets/lo/tx.wsp
278445    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/memory
278446    4 drwxr-xr-x   6 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory
278448    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/buffered
275431   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/buffered/value.wsp
278449    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/cached
275432   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/cached/value.wsp
278447    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/used
275430   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/used/value.wsp
278450    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/free
275433   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/memory/memory/free/value.wsp
278451    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu
278452    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0
278453    4 drwxr-xr-x  10 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu
278468    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/interrupt
275448   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/interrupt/value.wsp
278454    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/wait
275435   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/wait/value.wsp
278474    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/steal
275460   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/steal/value.wsp
278473    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/nice
275458   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/nice/value.wsp
278458    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/idle
275437   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/idle/value.wsp
278464    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/user
275443   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/user/value.wsp
278461    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/softirq
275439   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/softirq/value.wsp
278470    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/system
275451   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/cpu/0/cpu/system/value.wsp
278443    4 drwxr-xr-x   3 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/load
278444    4 drwxr-xr-x   2 carbon   carbon       4096  4月  3 09:00 /var/lib/carbon/whisper/collectd/192_168_56_11/load/load
275434   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/load/load/longterm.wsp
275412   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/load/load/midterm.wsp
275429   20 -rw-r--r--   1 carbon   carbon      17308  4月  3 16:08 /var/lib/carbon/whisper/collectd/192_168_56_11/load/load/shortterm.wsp

古いデータを消して、グラフを初期化したい場合や、破棄したノードのデータを消したい場合は、このディレクトリのファイルを削除します。

例えば、192.168.56.11 の CPUのデータを全部消したい場合は、以下のようにします。
[root@node01 ~]# rm -rf /var/lib/carbon/whisper/collectd/192_168_56_11/cpu

ファイルまたはディレクトリを削除したあと、WEB画面を再表示すれば、古いデータは消えます。

collectd や carbon などの再起動は不要です。







2016年4月3日日曜日

[Graphite] Grafana のインストール


前回、Graphite + Collectd をインストールしたので、CPU使用率などのリソース情報をグラフにして見る準備が整いました。

Graphite のWEB画面で、CPU使用率のグラフを作ってみましたが、 操作がわかりにくい。

そこで、操作がわかりやすく 見た目もキレイだという Grafana をいれて、 Graphite に集めたリソース情報を Grafana のWEB画面でグラフ化して見ることにしました。

Grafana については、以下のページを参考にしました。


1.Grafana のインストール


Graphite をインストールしたサーバに yum で Grafana をインストールします。
[root@node01 ~]# yum -y install https://grafanarel.s3.amazonaws.com/builds/grafana-2.6.0-1.x86_64.rpm
読み込んだプラグイン:fastestmirror
インストール処理の設定をしています
grafana-2.6.0-1.x86_64.rpm                               |  22 MB     00:15
/var/tmp/yum-root-v_7gqj/grafana-2.6.0-1.x86_64.rpm を調べています: grafana-2.6.0-1.x86_64
/var/tmp/yum-root-v_7gqj/grafana-2.6.0-1.x86_64.rpm をインストール済みとして設定しています
Loading mirror speeds from cached hostfile
 * base: ftp.jaist.ac.jp
 * epel: ftp.jaist.ac.jp
 * extras: ftp.jaist.ac.jp
 * updates: ftp.jaist.ac.jp
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> Package grafana.x86_64 0:2.6.0-1 will be インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================
 パッケージ    アーキテクチャ
                            バージョン      リポジトリー                   容量
================================================================================
インストールしています:
 grafana       x86_64       2.6.0-1         /grafana-2.6.0-1.x86_64        66 M

トランザクションの要約
================================================================================
インストール         1 パッケージ

合計容量: 66 M
インストール済み容量: 66 M
パッケージをダウンロードしています:
rpm_check_debug を実行しています
トランザクションのテストを実行しています
トランザクションのテストを成功しました
トランザクションを実行しています
  インストールしています  : grafana-2.6.0-1.x86_64                          1/1
### NOT starting grafana-server by default on bootup, please execute
 sudo /sbin/chkconfig --add grafana-server
### In order to start grafana-server, execute
 sudo service grafana-server start
  Verifying               : grafana-2.6.0-1.x86_64                          1/1

インストール:
  grafana.x86_64 0:2.6.0-1

完了しました!

grafuna-server の自動起動を ON にしてサービスを開始します。
何故か初回のサービス起動は FAILED になりましたが、再起動したら OK になりました。
[root@node01 ~]# chkconfig grafana-server on
[root@node01 ~]# service grafana-server start
Starting Grafana Server: .... FAILED
[root@node01 ~]# service grafana-server stop
OKopping Grafana Server ...                                [  OK  ]
[root@node01 ~]# service grafana-server start
Starting Grafana Server: .... OK

2. Grafuna の Datasource 設定


ブラウザで下記URLにアクセスします。
  • http://<IPアドレス>:3000/
下図の画面が表示されたら、 admin/admin でログインします。


[Datasource] をクリックします。


[Add new] をクリックします。


[Name]を入力し、[Type]は "Graphite" を選択します。
[Url]は、graphite のURLを入力します。今回は、http://localhost:80 です。
[Access]は、"proxy" を選択して、[Add] をクリックします。


[Test Connection] をクリックして、設定が正しいか確認します。


"Success"と表示されたらOKです。
[Save]をクリックして設定を保存します。



3. グラフ作成


続いて、CPU使用率を表示するグラフを作成してみます。
[Home]をクリックすると下図のメニューが表示されるので、[+New] をクリックします。


緑色のバーをクリックします。


メニューが表示されたら、[Add Panel] > [Graph] を選択します。


データソースを指定します。
矢印で示したメニューをクリックして "graphite" を選択します。


グラフに表示するデータ(メトリック)を指定します。
[select metoric] をクリックすると、メニューが表示されるので、表示したいメトリックを選択します。
複数のメトリックを表示したい場合は、[+Query]で増やせます。


今回は、CPUの "system", "user", "wait" をグラフに表示します。


グラフを積み上げにしたいので、[Display Styles] タブをクリックし、[Stack]をチェックしました。
最後に、フロッピアイコンをクリックして保存します。


下図のようにCPU使用率が表示されます。
グラフを増やしたい場合は、 [+ADD ROW]をクリックします。


グラフの設定を変更したい場合は、グラフをクリックしてメニューを表示させます。
[Edit] をクリックすると設定変更できます。


グラフのタイトルは、[General]タブで設定できます。日本語も表示できます。