というCSVがあった時に、カラム"b"だけを抜き出したい場合は$ vi hoge.csv a,b,c 1,2,3 4,5,6 7,8,9
という感じで抜き出せます。$ cut -d "," -f 2 hoge.csv b 2 5 8
<match hoge.**>
type forest
subtype s3
<template>
aws_key_id [aws_key]
aws_sec_key [secret_key]
s3_bucket [bucket_name]
s3_endpoint [region_name].amazonaws.com
path fluentd_logs/${tag}/
buffer_path /var/log/fluentd/${tag}
</template>
</match>
データの保存先(path ならびに buffer_path)にplace holderとして${tag}を指定しています。
1970-01-01T00:00:00+09:00 log.pc {"event":"register"}
"event" に各種イベント名が含まれており、タグ名とイベント名の組み合わせごとに保存先を変更したい、という場合は以下のように設定します。
<match log.**>
type forest
subtype rewrite_tag_filter
<template>
remove_tag_prefix log
capitalize_regex_backreference yes
rewriterule1 event (.*) hoge.${tag}_$1
</template>
</match>
log.pc というタグを hoge.pc_register というタグに書き換えています。
require 'aws-sdk'
s3 = AWS::S3.new({})
bucket = s3.buckets[s3_bucket]
bucket.objects[s3path].write(Pathname.new(filepath), :reduced_redundancy => true)
import boto s3 = boto.connect_s3() bucket = s3.lookup(s3_bucket) key = bucket.new_key(s3path) key.set_contents_from_filename(filepath, reduced_redundancy=True)
pip install mrjob
#mrjob_sample.py
from mrjob.job import MRJob
class MRWordCounter(MRJob):
def mapper(self, key, line):
for word in line.split():
yield word, 1
def reducer(self, word, occurrences):
yield word, sum(occurrences)
if __name__ == '__main__':
MRWordCounter.run()
test.txtの中身が以下のようなものだった場合python mrjob_sample.py test.txt > result.txt
MapReduceの実行結果が出力されたresult.txtの中身は以下のようになります。A job consists of an MRJob subclass, one or more mapper, combiner, or reducer methods, a call at the bottom to invoke mrj ob’s logic, and all associated dependencies. For jobs that consist only of one mapper, combiner, and reducer, in that order, you can simply override one or more of th e mapper(), combiner(), and reducer() methods:
"A" 1 "For" 1 "MRJob" 1 "a" 1 "all" 1 "an" 1 "and" 3 "associated" 1 "at" 1 "bottom" 1 (snip.)
#emr.conf
runners:
emr:
aws_access_key_id: [access_key_id]
aws_region: [region]
aws_secret_access_key: [secret_access_key]
ec2_instance_type: m1.small
num_ec2_instances: 3
cmdenv:
s3_log_uri: s3://[bucket_name]/emr/logs/
python mrjob_sample.py -r emr --conf-path ./emr.conf s3://[bucket_name]/[file_path] > result.txt
#'ap-northeast-1': 'elasticmapreduce.ap-northeast-1.amazonaws.com',
'ap-northeast-1': 'ap-northeast-1.elasticmapreduce.amazonaws.com',
という形で書き換えてあげると、うまく動作するようになります。curl http://graph.facebook.com/http://itsneatlife.blogspot.jp/
val twepoch = 1288834974657L // Thu Nov 04 10:42:54 JST 2010 var timestamp = System.currentTimeMillis() timestamp - twepoch
$ redis-cli set sequence 1 $ redis-cli set node_id 1
-- id.lua
local epoch = 1288834974657
local seq = tonumber(redis.call('INCR', 'sequence')) % 4096
local node = tonumber(redis.call('GET', 'node_id')) % 1024
local time = redis.call('TIME')
local time41 = ((tonumber(time[1]) * 1000) + (tonumber(time[2]) / 1000)) - epoch
return (time41 * (2 ^ 22)) + (node * (2 ^ 12)) + seq
生成に関しては以上です。$ redis-cli --eval id.lua (integer) 347205555082385408
※参考：http://docs.fluentd.org/articles/monitoring#monitoring-agent<source> type monitor_agent bind 0.0.0.0 port 24220 </source>
$ curl -s http://localhost:24220/api/plugins.json | jq "."
{
"plugins": [
{
"config": {
"type": "forward"
},
"output_plugin": false,
"type": "forward",
"plugin_id": "object:3ff71e700648"
},
{
"config": {
"port": "24220",
"type": "monitor_agent"
},
"output_plugin": false,
"type": "monitor_agent",
"plugin_id": "object:3ff71e6ffb30"
},
(snip.)
ここで確認できるのは基本的に以下になります。
{
"config": {
"type": "forward"
},
"retry_count": 0,
"buffer_total_queued_size": 0,
"buffer_queue_length": 0,
"output_plugin": true,
"type": "forward",
"plugin_id": "object:3ff7206ce948"
},
retry_count, buffer_total_queued_size, buffer_queue_lengthあたりが、ウォッチが必要な項目になりますね。実際のところ、queueがあふれる理由は、トラフィックの急増やoutputの先にあるシステムの負荷高騰やキャパシティ低減が考えられるため、fluentdだけを強制的にflushしてもシステム全体のキャパシティは解決せず、解決することは少ない気もしますが、一応。pkill -USR1 -f fluentd
また、設定ファイルに以下のような記述が必要です。git clone https://github.com/moaikids/munin-fluentd.git cp munin-fluentd/plugins/fluentd/* /usr/share/munin/plugins/ chmod +x /usr/share/munin/plugins/fluentd_* ln -s /usr/share/munin/plugins/fluentd_process /etc/munin/plugins/fluentd_process ln -s /usr/share/munin/plugins/fluentd_resource /etc/munin/plugins/fluentd_resource ln -s /usr/share/munin/plugins/fluentd_monitor_agent /etc/munin/plugins/fluentd_monitor_agent
上記設定の上、munin-nodeを再起動すれば、muninのグラフに取得した数値が反映されるようになると思います。[fluentd*] user munin env.host localhost env.port 24220 env.package td-agent #td-agentの場合はこちら、fluentdの場合は"fluentd"と指定
上記のように、シンボリックリンクのファイル名のsuffixに各種metricsの値を指定すると、その値だけをグラフ化するグラフが作成できるようになります。ln -s /usr/share/munin/plugins/fluentd_monitor_agent /etc/munin/plugins/fluentd_monitor_agent_buffer_queue_length ln -s /usr/share/munin/plugins/fluentd_monitor_agent /etc/munin/plugins/fluentd_monitor_agent_buffer_total_queued_size ln -s /usr/share/munin/plugins/fluentd_monitor_agent /etc/munin/plugins/fluentd_monitor_agent_retry_count
location /hoge {
if($sheme = 'http'){
rewrite ^(.*) https://$host$1 permanent;
}
(snip.)
}
たとえばこんな感じ。のような構成になっている場合は使用出来ません。(client) --https--> (Load Balancer) --http--> (nginx)
以外の方法でも、Javaに標準で付属の"jstack"というコマンドを使用すればthread dumpの取得が行えるようです。kill -3 (process id)
みたいな感じで。jstack -F (process id) > dump.log.`date +"%Y%m%d%H%M%S"` 2>&1
pip install boto
import boto.ec2
conn = boto.ec2.connect_to_region("ap-northeast-1", aws_access_key_id=<access_key_id>,aws_secret_access_key=<secret_access_key>)
reservations = conn.get_all_instances(filters={'tag-key':'Name', 'tag-value': 'hoge'})
for reservation in reservations:
print reservation
上記のように書くと、Nameというタグの値に'hoge'と指定されているインスタンスのみ取得します。
上記の結果、targetディレクトリに"jedis-2.2.0-SNAPSHOT.jar"が作成されますので、こちらを任意の場所に置き、クラスパスを設定してあげればOKです。git clone https://github.com/xetorthio/jedis.git cd jedis mvn package
Jedis jedis = new Jedis("localhost");
Object ret = jedis.eval("return 'hello redis lua world.'");
System.out.println(ret == null ? "(null)" : ret.toString());
実行結果は以下。hello redis lua world.
http {
…
log_format ltsv 'time:$time_local\t'
'host:$remote_addr\t'
'request:$request\t'
'status:$status\t'
'size:$body_bytes_sent\t'
'referer:$http_referer\t'
'ua:$http_user_agent\t'
'reqtime:$request_time\t'
'upsttime:$upstream_response_time';
access_log /var/log/nginx/access.log ltsv;
log_format ltsv 'time:$time_local\t'
'msec:$msec\t'
'host:$remote_addr\t'
'forwardedfor:$http_x_forwarded_for\t'
'req:$request\t'
'method:$request_method\t'
'uri:$request_uri\t'
'status:$status\t'
'size:$body_bytes_sent\t'
'referer:$http_referer\t'
'ua:$http_user_agent\t'
'reqtime:$request_time\t'
'upsttime:$upstream_response_time\t'
'cache:$upstream_http_x_cache\t'
'runtime:$upstream_http_x_runtime\t'
'vhost:$host';
出力項目が変更になってもparse処理の部分は特に気にする必要が無いので、そういう意味では楽ですね。<source> type tail format ltsv (snip.) </source>
$ munin-run cpu user.value 11097897 nice.value 129809178 system.value 6680422 (snip.)
$ munin-run cpu config graph_title CPU usage graph_order system user nice idle iowait irq softirq graph_args --base 1000 -r --lower-limit 0 --upper-limit 300 (snip.)
munin-nodeのポートに接続出来ない場合はネットワークの設定か、接続先munin-nodeのmunin-node.confの設定に問題がある可能性があります。$ nc munin-node 4949 # munin node at munin-node fetch cpu user.value 11104466 nice.value 129888815 system.value 6684441 (snip.)