Docker 환경에서 ELK + MySQL 연동하기 #2 ELK + MySQL 연동

작성자: -

안녕하세요. 남산돈가스입니다.

지난 포스팅에 이어서 ELK와 MySQL 연동을 진행해보겠습니다.

지난 시간까지 ELK 중 Elastic Search와 Kibana 까지만 설치를 하였는데

이제 Logstash를 설치하고 MySQL에 연동해보겠습니다.

먼저 MySQL 연동 시 조회해야 할 데이터를 임의로 넣기 위해서 지난 시간에 Docker로 올렸던 MySQL 접속정보로 Workbench에 접속합니다.

최초 접속 시 생성 된 Schema가 없기 때문에 새로운 Schema를 생성해야 합니다.
ELK_TEST라는 스키마를 생성하고 ELK_TEST에 person이라는 테이블을 생성합니다.

테이블 컬럼으로는 id, name, gender, birth 이렇게 4가지의 기본 컬럼을 추가합니다.

 테이블을 생성한 뒤 테스트를 위하여 8개 Row를 insert 합니다.
 테스트 데이터를 insert 하고 조회하여 데이터가 정상적으로 입력되었는지 확인합니다.

8개 데이터가 입력 된 것을 확인했습니다. 그럼 이제 logstash 설치로 다시 돌아가봅시다.

터미널에서 docker 명령어를 이용하여 logstash를 설치하겠습니다.

$ docker pull logstash
Using default tag: latest
latest: Pulling from library/logstash
0bd44ff9c2cf: Already exists
047670ddbd2a: Already exists
ea7d5dc89438: Already exists
4a05570971bb: Already exists
66f679cd5859: Already exists
89362eaac850: Already exists
d76c23323cb4: Already exists
f7a113d2d566: Already exists
cb2dece5a7e2: Pull complete
8cf5a699244c: Pull complete
c275eeaebd29: Pull complete
159e9a1395db: Pull complete
01be31fa2906: Pull complete
9b5ca62233e3: Pull complete
39280aea2b61: Pull complete
6bac8e5eed53: Pull complete
Digest: sha256:edd49321633aff49b0f7d65f0f369b5555b467b1d8b7a29c629802beb9f0a68f
Status: Downloaded newer image for logstash:latest

Docker Pull을 이용하여 logstash 이미지를 내려받았습니다.

logstash를 구동하기 전에 mysql 연동을 위하여 필요한 설정들이 있습니다.

먼저 Logstash - MySQL을 연동하기 위해선 jdbc 드라이버가 있어야하는데요.

https://dev.mysql.com/downloads/connector/j/5.1.html 에서 다운받으실 수 있습니다.


로컬환경에 MySQL-Connector 파일을 다운받은 뒤 폴더를 하나 생성하여 해당 파일을 이동시켜 놓습니다. 그 다음 해당 폴더로 이동하여 텍스트 편집기나 터미널환경에선 vim을 이용하여 logstash.conf 라는 파일을 생성합니다.

input {
  jdbc {
    jdbc_driver_library => "/config-dir/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://DB접속주소:3306/스키마명?useUnicode=true&characterEncoding=utf8"
    jdbc_user => "DB사용자명"
    jdbc_password => "비밀번호"

    statement => "select * from person" # 실행할 쿼리문

    jdbc_pool_timeout => 10 #jdbc 접속 TimeOut 설정
    jdbc_paging_enabled => true 
    jdbc_page_size => 10000

    schedule => "* * * * *"  # crontab 표기법의 스케쥴 설정
  }
}

output {
  elasticsearch {
    hosts => ["192.168.2.153:9200"]  # 결과값을 입력받을 elasticsearch 주소
    index => "elk_test" # index명
    document_type => "person" # document type 명
  }
  stdout {
    codec => rubydebug
  }
}

생성한 파일에 위와 같이 입력합니다. 위 형식은 크게 input 과 output으로 나뉘어져 있는데, input은 logstash가 입력받는 내용을 설정하는 것이고, output은 input에서 받은 내용을 처리하는 부분을 설정하는 곳입니다.

 우리의 목적은 logstash가 jdbc connection으로 설정한 DB 접속정보로 접속하여 schedule에 맞게 입력한 쿼리문을 실행하여 해당 데이터를 elasticsearch에 저장하는 것입니다.

그러므로 input에서 DB접속정보들을 설정하였고, output에선 elasticsearch의 접속정보, 저장할 index, document_type 등을 설정합니다.

위와 같이 설정한 뒤, 이제 docker 환경에서 logstash를 구동해보겠습니다.

명령어는 다음과 같습니다.


$ docker run -it --rm -v "$PWD":/config-dir logstash logstash -f /config-dir/logstash.conf




간단히 설명하자면, -it를 이용하여 logstash 내의 명령어를 입력할 수 있고, --rm으로 프로세스를 종료하면 docker가 바로 삭제되도록 설정했습니다. 그리고 -v 옵션은 로컬의 경로를 docker 프로세스의 경로로 마운트하는 명령어입니다. 추가적으로 -v 뒤에 "$PWD":/config-dir 라고 입력하면, 로컬의 터미널창에서 현재 디렉토리를 의미하는 PWD의 경로를 logstash docker의 /config-dir 에 마운트한다는 의미입니다.



이 명령을 추가한 이유는 제가 방금 로컬에서 작성한 logstash.conf와 mysql-connector 파일을 실제 logstash환경에서 사용해야하기 때문입니다. 그 다음으로 logstash -f /config-dir/logstash.conf 명령어를 로컬에서 -it명령을 통해서 직접 실행하였습니다.



위 명령대로 실행하면 logstash는 logstash.conf의 설정정보를 가지고 logstash를 구동하게 됩니다.



그 결과를 보시면,






gimseongsin@gimseongsin-ui-MacBook-Pro:~/Desktop/IBK시스템/교육/ElasticSearch/data:> docker run -it --rm -v "$PWD":/config-dir logstash logstash -f /config-dir/logstash.conf
Sending Logstash's logs to /var/log/logstash which is now configured via log4j2.properties
00:44:19.929 [main] INFO  logstash.modules.scaffold - Initializing module {:module_name=>"netflow", :directory=>"/usr/share/logstash/modules/netflow/configuration"}
00:44:19.938 [main] INFO  logstash.modules.scaffold - Initializing module {:module_name=>"fb_apache", :directory=>"/usr/share/logstash/modules/fb_apache/configuration"}
00:44:19.975 [main] INFO  logstash.setting.writabledirectory - Creating directory {:setting=>"path.queue", :path=>"/var/lib/logstash/queue"}
00:44:19.986 [main] INFO  logstash.setting.writabledirectory - Creating directory {:setting=>"path.dead_letter_queue", :path=>"/var/lib/logstash/dead_letter_queue"}
00:44:20.101 [LogStash::Runner] INFO  logstash.agent - No persistent UUID file found. Generating new UUID {:uuid=>"5919ee36-50e3-4112-ba46-661951d6f4f3", :path=>"/var/lib/logstash/uuid"}
00:44:21.276 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://192.168.2.153:9200/]}}
00:44:21.278 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://192.168.2.153:9200/, :path=>"/"}
00:44:21.440 [[main]-pipeline-manager] WARN  logstash.outputs.elasticsearch - Restored connection to ES instance {:url=>"http://192.168.2.153:9200/"}
00:44:21.898 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Using mapping template from {:path=>nil}
00:44:21.903 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>50001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"_all"=>{"enabled"=>true, "norms"=>false}, "dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date", "include_in_all"=>false}, "@version"=>{"type"=>"keyword", "include_in_all"=>false}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
00:44:21.940 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - Installing elasticsearch template to _template/logstash
00:44:22.528 [[main]-pipeline-manager] INFO  logstash.outputs.elasticsearch - New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//192.168.2.153:9200"]}
00:44:22.534 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
00:44:22.726 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
00:44:22.869 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
Thu Jul 12 00:45:00 UTC 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
00:45:01.377 [Ruby-0-Thread-16: /usr/share/logstash/vendor/bundle/jruby/1.9/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:283] INFO  logstash.inputs.jdbc - (0.012000s) SELECT version()
00:45:01.384 [Ruby-0-Thread-16: /usr/share/logstash/vendor/bundle/jruby/1.9/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:283] INFO  logstash.inputs.jdbc - (0.002000s) SELECT version()
00:45:01.438 [Ruby-0-Thread-16: /usr/share/logstash/vendor/bundle/jruby/1.9/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:283] INFO  logstash.inputs.jdbc - (0.051000s) SELECT count(*) AS `count` FROM (select * from person) AS `t1` LIMIT 1
00:45:01.461 [Ruby-0-Thread-16: /usr/share/logstash/vendor/bundle/jruby/1.9/gems/rufus-scheduler-3.0.9/lib/rufus/scheduler/jobs.rb:283] INFO  logstash.inputs.jdbc - (0.009000s) SELECT * FROM (select * from person) AS `t1` LIMIT 10000 OFFSET 0
{
          "name" => "KIM",
      "@version" => "1",
         "birth" => "19920323",
            "id" => 1,
    "@timestamp" => 2018-07-12T00:45:01.532Z,
        "gender" => "male"
}
{
          "name" => "LEE",
      "@version" => "1",
         "birth" => "19900225",
            "id" => 2,
    "@timestamp" => 2018-07-12T00:45:01.535Z,
        "gender" => "female"
}
{
          "name" => "PARK",
      "@version" => "1",
         "birth" => "19980313",
            "id" => 3,
    "@timestamp" => 2018-07-12T00:45:01.539Z,
        "gender" => "male"
}
{
          "name" => "CHOI",
      "@version" => "1",
         "birth" => "19780523",
            "id" => 4,
    "@timestamp" => 2018-07-12T00:45:01.544Z,
        "gender" => "female"
}
{
          "name" => "KANG",
      "@version" => "1",
         "birth" => "19821002",
            "id" => 5,
    "@timestamp" => 2018-07-12T00:45:01.551Z,
        "gender" => "female"
}
{
          "name" => "AHN",
      "@version" => "1",
         "birth" => "19850502",
            "id" => 6,
    "@timestamp" => 2018-07-12T00:45:01.552Z,
        "gender" => "male"
}
{
          "name" => "YOO",
      "@version" => "1",
         "birth" => "19920708",
            "id" => 7,
    "@timestamp" => 2018-07-12T00:45:01.553Z,
        "gender" => "male"
}
{
          "name" => "SON",
      "@version" => "1",
         "birth" => "19940706",
            "id" => 8,
    "@timestamp" => 2018-07-12T00:45:01.555Z,
        "gender" => "male"
}






logstash가 실행되고, 1분 뒤에 제가 logstash.conf 파일에서 설정한 쿼리인 select * from person 를 실행하고 그 결과를 출력하게 됩니다. 또 동시에 이 출력 결과는 output으로 설정한 elasticsearch에 입력되게 됩니다.



실제로 elasticsearch에 저 조회 데이터가 입력되었는지 확인하기 위해 kibana에 접속하여 확인해봅니다.













Kibana에 접속해보니 해당 데이터가 입력되어 있습니다.







logstash.conf에 schedule로 * * * * * * 로 입력되어 있는데, 이것은 crontab 표기법으로 1분에 한번 씩 설정한 쿼리를 실행하고 데이터를 저장한다는 것을 의미합니다. 







이렇게 mysql과 연동하여 주기적인 데이터를 수집할 수 있게 되었습니다.







감사합니다.




















































댓글









  1. Unknown2019년 4월 3일 오후 10:01
    감사히 잘 보고 갑니다.
    ELK와 SQL 연동에 많은 도움이 되었습니다.
    답글삭제











댓글 쓰기






























주간 인기글









[정보] 인스타그램은 당신의 소리를 '듣고' 있을 수도 있습니다







작성자:







-














이미지







   [그림출처]  https://medium.com/@damln/instagram-is-listening-to-you-97e8f2c53023    인스타그램은 당신의 소리를 '듣고' 있을 수도 있습니다. 문자 그대로.   SNS는 사용자들이 자발적으로 공유하는 글, 사진 등의 정보를 모아서 그 데이터를 기반으로 어떤 사용자가 무엇에 관심이 있는지 파악하여 사용자들에게 가장 관심 있을 만한 광고를 보여주곤 합니다.   몇 년 전부터 페이스북은 앱의 마이크 접근 권한 을 사용하여 핸드폰 주위의 모든 대화 등의 소리를 수집.파악하여 폰 사용자가 무엇에 관심 있는지 데이터를 얻고, 타겟 맞춤 광고에 이 정보를 활용한다고 하는 의혹을 받아왔습니다. 페이스북에 인수된 인스타그램도 마찬가지로요.   저도 가끔 의아했습니다. 어떻게 내가 검색창에서 검색한 적도 없고, 사진도 찍은 적 없고, 글로 쓴 적도 없는 어떤 것에 대해서 인스타그램이 나에게, 그것에 관해 얘기한 지 10분 만에 정확히 그와 관련된 상품을 광고로 보여줄 수가 있지? 그런데 동일한 의문을 품은 유저들이 여러 명 있었던 것 같습니다.   (관련글  https://www.imore.com/how-stop-facebook-accessing-your-microphone  https://medium.com/@damln/instagram-is-listening-to-you-97e8f2c53023  )   물론  페이스북이나 인스타그램은 공식적으로 '절대로 그렇지 않다' 고 발표하지만, 그렇다고 하더라도 혹시 있을 수 있는 사생활 침해에서 앱의 마이크 접근 권한을 차단하는 것은 나쁘지 않은 것 같습니다.   만약을 위해 사생활을 보호하려면, 페이스북이나 인스타그램 앱 설정 부분에서 페이스북 앱, 인스타그램 앱의 마이크 접근 권한을 비활성화 하시면 됩니다.   1. 아이폰       또는 설정에서 아래로 스크롤해서, 인스타그램 앱을 선택한 다음, 해당 앱의 마이크 권한 비활성화를 해도...








자세한 내용 보기










[Angular] 모델, 값이 바뀌었는데 화면 template 이 업데이트 되지 않을 때 조치 팁







작성자:







-















안녕하세요. 명동섞어찌개입니다.   Angular 로 화면을 만들다 보면 종종 서버에서 값을 읽어와서 비동기로 화면이 업데이트 되는 상황에서, 화면에 바뀐 값이 반영되지 않는 경우가 생깁니다.   분명 ts (typescript) 의 값은 바뀌었고, 서버에도 문제가 없는데 html template 화면만 값이 제대로 표시되지 않는 경우가 있습니다.   이럴 때 사용할 수 있는 간단한 방법을 공유하려고 합니다.     1. ngIf = "flag == true" 를 씁니다.  data.html     1 2 3 4 5  < div  * ngIf = "data.length > 1" >      < span  * ngFor = "let item of data; let idx=index" >          < span >{{ item }}</ span >      </ span >  </ div >        data.ts      1  2  3  4  5  6  7  8  9 10 11 12 13 14  data  =  null ;   .  .  .   getData ()  {      this . dataService . getDatas (). subscribe (          data  =>  {              this . data  =  data . result ;          },           (  { error }  )  =>  {  }      )  }       비동기로 서버에서 값을 읽어올 때, 값이 들어온 시점에 (data.length > 1) 정확히 데이터를 들고 화면을 그려주기 위해 template 쪽에 ngIf 문을 이용해서 그려줍니다.   저런식으로 화면 일부가 데이터가 계속 바뀜에 따라 지속적으로 업데이트 되어야 하는데, 값은 잘 들어오지만 template 은 새로 그려지지 않을...








자세한 내용 보기










[AWS] Lambda + API GateWay를 이용해 간단한 RESTful API 만들기 #1







작성자:







-














이미지







     안녕하세요. '남산 아래 개발자들' 블로그에서 막내를 담당하고 있는 남산돈가스 입니다.                       이번 블로그에선 AWS에서 제공하고 있는 서비스인 API Gateway와 Lambda를 이용해 간단한 RESTful API를 만들어보는 시간을 가질 예정입니다.  내용의 이해를 돕기 위해서 #1, #2를 각각 나누어 Lambda와 API Gateway를 나누어 게시하도록 하겠습니다.    그렇다면 우선 Lambda는 무엇인가 싶으실텐데요.   Lambda란?   AWS Lambda를 사용하면 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행할 수 있습니다.  사용한 컴퓨팅 시간만큼만 비용을 지불하고, 코드가 실행되지 않을 때는 요금이 부과되지 않습니다.  Lambda에서는 사실상 모든 유형의 애플리케이션이나 백엔드 서비스에 대한 코드를 별도의 관리 없이 실행할 수 있습니다.  코드를 업로드하기만 하면, Lambda에서 높은 가용성으로 코드를 실행 및 확장하는 데 필요한 모든 것을 처리합니다.  다른 AWS 서비스에서 코드를 자동으로 트리거하도록 설정하거나 웹 또는 모바일 앱에서 직접 코드를 호출할 수 있습니다.   [출처] https://aws.amazon.com/ko/lambda/   이 정도 설명으론 Lambda를 이해하기엔 조금 어려울 수 있을텐데요.  쉽게 얘기하자면 기존의 AWS 사용자는 EC2인스턴스를 통해서 그들의 컴퓨팅 환경을 구성하고 그 안에서 각자의 런타임환경을 통해 코드를 실행하여 백엔드서비스를 제공해왔습니다. 하지만 Lambda를 이용하면 EC2환경이 아닌 단순히 소스코드를 업로드함으로써 Lambda에서 제공하는 Runtime환경 내에서 코드들을 실행할 수 있다는 얘기입니다.   그럼, 이제부터 실제 Lambda를 이용해 간단한 소스코드를 등록하고 실행해보겠습니다.   1. AWS Console에 접속해 Lambda 검색하여 서비스 이동   2. 처음 시작한다면 Get Started No...








자세한 내용 보기










[AWS] Lambda + API GateWay를 이용해 간단한 RESTful API 만들기 #2







작성자:







-














이미지







지난 시간에 이어서 Lambda + API Gateway를 이용해 간단한 RESTful API 만들기 2편을 진행하겠습니다.  이전 포스팅에서 Lambda를 이용하여 함수를 작성해보는 것 까지 진행했었는데요.  그렇다면 이번 포스팅에서는 API Gateway를 통해 요청 된 리소스들을 작성한 Lambda Function이 실행되도록 연결해보도록 하겠습니다.  먼저 API Gateway 서비스로 이동합니다.    시작을 누르고 나오는 화면에서 우리는 새로운 API를 만드려고하니까 새 API를 체크하시고 이름과 설명을 작성합니다.   작성 후 API 생성 버튼을 누르면 새로운 API Gateway가 생성됩니다.   여기까지 왔다면, 이제 실제 API를 정의하고 만들어봐야겠죠? 상단의 작업 버튼을 누르면 여러가지 작업들의 목록이 보여집니다.   여기서 먼저 리소스를 생성하겠습니다.  리소스는 말 그대로 이 API가 어떤 내용을 가지고 있는 것인지를 나타내는데요. 예를 들어 회원에 대한 API를 만드실거면 리소스이름을 member로 설정하시면 이 API의 경로는 /(루트) 하위의 member 라는 리소스를 가지게되는 것입니다. 여기선 실제로 member라는 리소스를 사용하겠습니다.   리소스를 생성하면 아래와 같이 /member라는 리소스가 생성됩니다.   그럼 이제 이 member라는 리소스에 메서드를 추가시킬 건데요.  여기서 메서드는 HTTP 메소드를 의미합니다. 기본적으로는 GET, POST, PUT, DELETE 등이 있습니다.  간단하게 알아보자면.  GET – URL이 가진 정보를 검색하기 위해 서버 측에 요청하는 메소드  POST – URL에 폼 입력을 처리하기 위해 구성한 메소드  PUT – POST와 유사한 방식이며 일반적으로 웹서버에 변경을 요청하는 메소드  DELETE – 말 그대로 URL에 삭제를 요청하는 메소드  로 정리할 수 있다. 우리는 먼저 POST 메소드 부터 추가해보겠습니다.  위와 같이 작업목록에서 이번엔 메서드 생성 버튼을 누르고...








자세한 내용 보기










안드로이드에서 당겨서 새로고침(SwipeRefreshLayout) 쉽게 구현하기







작성자:







-















앱을 개발 하다보면 필수 기능중에 하나가 보고 있는 리스트나 상세 페이지등을 새로고침 하는 것 입니다.   몇년 전 까지만 하더라도 새로 고침 기능이라고 하면 아이폰 처럼 뷰를 당기면 공간이 벌어지면서 새로고침 하는 방식을 많이 사용 했습니다.(여전히 이 방법을 사용하는 앱은 많습니다.) 해당 새로고침을 기능을 제공 하려면 개발가 하나하나 구현 해야해서 쉽지 않은 기능 중 하나였습니다.  하지만 지금은 android 레이아웃중 SwipeRefreshLayout을 제공하여 레이아웃만 추가한다면 별다른 구현 없이도 위에서 아래로 내려오는 새로고침 기능을 사용 할수 있게 되었습니다.   SwipeRefreshLayout을 간단하게 구현하는 샘플 코드를 작성해 보겠습니다.   1단계 : 레이아웃   새로고침이 될 뷰를 SwipeRefreshLayout으로 자식뷰로 만듭니다.         <android.support.v4.widget.SwipeRefreshLayout             android:layout_width="match_parent"             android:layout_height="match_parent"             android:id="@+id/swipe_refresh">              <WebView                 android:layout_width="match_parent"                 android:layout_height="match_parent"                 android:id="@+id/webView"></WebView>          </android.support.v4.widget.SwipeRefreshLayout>            2단계 : 새로고침 이벤트   해당 뷰 영역을 위에서 아래로 당기면...








자세한 내용 보기