Docker有很多的日志插件,默認使用 json-file,只有使用json-file時,sudo docker logs -f 才可以顯示,輸入以下命令查看docker日志插件:
$ sudo docker info | grep Logging
這里先說明一下,當容器運行時,docker會在宿主機上創建一個該容器相關的文件,然后將容器產生的日志轉存到該文件下。docker logs -f 命令就會找到該文件內容并顯示在終端上。
我們都知道docker logs -f會將所有對應的服務日志輸出到終端,無論服務的部署在哪個節點上,那么我現在提出一個問題,是否每個節點對應的容器文件,都會保存該服務的完整日志備份,還是只保存該節點服務對應容器產生的日志?
因為這個問題涉及到每個節點如果都用filebeat監聽宿主機的容器日志文件,那么如果每個節點的容器日志都是一個完整的備份,日志就會重復,如果只是保存該節點上容器的日志,就不會。
答案是只保留該節點上容器的日志,docker logs -f 命令只不過在overlay網絡模型上走了一層協議,把在其它節點上的相同的容器日志匯聚起來。
默認使用docker的json-file,首先配置daemon:
$ sudo dockerd \ --log-driver=json-file \ --log-opt labels=servicename
啟動容器需要添加如下參數:
$ sudo docker service update --label servicename=test
或者直接在docker-compose.yml中標記:
version: "3" services: go-gin-demo: image: chenghuizhang/go-gin-demo:v3 ports: - 8081:8081 networks: - overlay deploy: mode: replicated replicas: 3 labels: servicename: go-gin-demoxxxxxxx logging: options: labels: "servicename" networks: overlay:
在每個節點安裝filebeat,并且filebeat.yml配置如下:
filebeat.prospectors: - type: log paths: # 容器的日志目錄 - /var/lib/docker/containers/*/*.log # 因為docker使用的log driver是json-file,因此采集到的日志格式是json格式,設置為true之后,filebeat會將日志進行json_decode處理 json.keys_under_root: true tail_files: true output.logstash: hosts: ["172.17.10.114:5044"]
在logstash.conf中配置索引:
output { elasticsearch { action => "index" hosts => ["172.17.10.114:9200"] # 獲取日志label index => "%{attrs.servicename}-%{+YYYY.MM.dd}" } }
Dockerfile文件需要將項目輸出的日志打印到stdout和stderr中,不然json-file日志驅動不會收集到容器里面輸出的日志,sudo docker logs -f就在終端顯示不了容器日志了,在Dockerfile中需加入以下命令:
RUN ln -sf /dev/stdout /xx/xx.log \ # info && ln -sf /dev/stderr /xx/xx.log # error
或者在在項目的log4j配置輸出控制臺:
<Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="[%d{DEFAULT}]%m"/> </Console> </Appenders>
如果日志需要記錄容器id名稱和鏡像名稱,在運行容器時可以加入以下參數:
--log-opt tag="http://"
最終,json-file日志插件將容器打印到控制臺的日志生成到本地 /var/lib/docker/containers/*/
目錄中,格式如下:
{ "log":"[GIN-debug] [WARNING] Now Gin requires Go 1.6 or later and Go 1.7 will be required soon.", "stream":"stderr", "attrs":{ "tag":"chenghuizhang/go-gin-demo:v3@sha256:e6c0419d64e5eda510056a38cfb803750e4ac2f0f4862d153f7c4501f576798b/mygo.2.jhqptjugfti2t4emf55sehamo/647eaa4b3913", "servicename":"test" }, "time":"2019-01-29T10:08:59.780161908Z" }
在logstash中格式化日志:
filter { grok { patterns_dir => "/etc/logstash/conf.d/patterns" match => {"message" => "%{TIMESTAMP_ISO8601:time}%{SERVICENAME:attr.servicename}%{DOCKER_TAG:attr.tag}"} }
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。