Elastic Stack을 활용하여 대시보드 만들기 - 1

작성자: -
안녕하세요 명동역델리만쥬입니다~
앞으로 6주간 Elastic Stack을 활용한 DashBoard를 만들어보는 시간을 가지려고 합니다.

포스팅의 방향은 Kibana에서 제공하는 컴포넌트들을 활용하여 dashboard의 구축 및 운영을 위한 전반적인 내용과 troubloshoot을 중심으로 하려고 합니다~!
검색엔진으로서 Elasticsearch 및 Architecture 등은 깊게 들어가지는 않으려고 해요~

요즘 개발자들 사이에서 흔히들 ELK 스택이라고 표현하는데요.
ELK 스택은!

  • Elasticsearch - 데이터 검색,분석,저장
  • Logstach - 데이터 수집,변환,전송 
  • Kibana - 데이터 시각화

Elastic Stack의 Workflow를 살펴보면 크게

Elasticsearch : 데이터의 Mapping 설정
Logstash : 데이터 전처리 & 전송
Kibana : Index 등록 -> 데이터 탐색 -> 데이터 시각화 -> 대시보드 제작

ELK 스택 이미지 검색결과
으로 살펴볼수 있습니다.


ELK를 시작하면서 우리한테 익숙한 RDBMS, Excel에서의 속성에 대해 매핑되어 있는 
Elasticsearch의 속성값에 대해 알아야 합니다!





















Elasticsearch의 7버전으로 접어들면서 Type에 대한 속성은 폐지되었으며!
Index, Document, Field, Mapping만 기억해두시면 됩니다!

Kibana 시각화의 전제조건!
1. 데이터가 Elasticsearch Index에 저장되어 있어야 한다.
2. Elasticsearch Index를 Kibana에서 등록해야 한다.

1. Index Patterns 등록 단계 ( Elasticsearch Index )

  1. kibana -> management -> Index Patterns ->  Create  Index  Patterns
  2. 1.2. 시각화 하고 싶은 Index 입력 ( Elasticsearch에 저장되어 있어야 한다)

2. 해당 Index 에서 기준 시간으로 사용할 Time Field 선택


  1. Timer Filter field name 클릭
  2. Date Field 중에서 기준 시간으로 사용할 Field 선택
  3. 여기서 정한 필드 값으로 데이터 정렬 및 필터를 할수 있다
  4. Create index pattern 선택

댓글

댓글 쓰기

주간 인기글

[정보] 인스타그램은 당신의 소리를 '듣고' 있을 수도 있습니다

작성자: -
이미지
[그림출처]  https://medium.com/@damln/instagram-is-listening-to-you-97e8f2c53023 인스타그램은 당신의 소리를 '듣고' 있을 수도 있습니다. 문자 그대로. SNS는 사용자들이 자발적으로 공유하는 글, 사진 등의 정보를 모아서 그 데이터를 기반으로 어떤 사용자가 무엇에 관심이 있는지 파악하여 사용자들에게 가장 관심 있을 만한 광고를 보여주곤 합니다. 몇 년 전부터 페이스북은 앱의 마이크 접근 권한 을 사용하여 핸드폰 주위의 모든 대화 등의 소리를 수집.파악하여 폰 사용자가 무엇에 관심 있는지 데이터를 얻고, 타겟 맞춤 광고에 이 정보를 활용한다고 하는 의혹을 받아왔습니다. 페이스북에 인수된 인스타그램도 마찬가지로요. 저도 가끔 의아했습니다. 어떻게 내가 검색창에서 검색한 적도 없고, 사진도 찍은 적 없고, 글로 쓴 적도 없는 어떤 것에 대해서 인스타그램이 나에게, 그것에 관해 얘기한 지 10분 만에 정확히 그와 관련된 상품을 광고로 보여줄 수가 있지? 그런데 동일한 의문을 품은 유저들이 여러 명 있었던 것 같습니다. (관련글  https://www.imore.com/how-stop-facebook-accessing-your-microphone https://medium.com/@damln/instagram-is-listening-to-you-97e8f2c53023  ) 물론  페이스북이나 인스타그램은 공식적으로 '절대로 그렇지 않다' 고 발표하지만, 그렇다고 하더라도 혹시 있을 수 있는 사생활 침해에서 앱의 마이크 접근 권한을 차단하는 것은 나쁘지 않은 것 같습니다. 만약을 위해 사생활을 보호하려면, 페이스북이나 인스타그램 앱 설정 부분에서 페이스북 앱, 인스타그램 앱의 마이크 접근 권한을 비활성화 하시면 됩니다. 1. 아이폰 또는 설정에서 아래로 스크롤해서, 인스타그램 앱을 선택한 다음, 해당 앱의 마이크 권한 비활성화를 해도...
자세한 내용 보기

[Angular] 모델, 값이 바뀌었는데 화면 template 이 업데이트 되지 않을 때 조치 팁

작성자: -
안녕하세요. 명동섞어찌개입니다. Angular 로 화면을 만들다 보면 종종 서버에서 값을 읽어와서 비동기로 화면이 업데이트 되는 상황에서, 화면에 바뀐 값이 반영되지 않는 경우가 생깁니다. 분명 ts (typescript) 의 값은 바뀌었고, 서버에도 문제가 없는데 html template 화면만 값이 제대로 표시되지 않는 경우가 있습니다. 이럴 때 사용할 수 있는 간단한 방법을 공유하려고 합니다. 1. ngIf = "flag == true" 를 씁니다. data.html 1 2 3 4 5 < div * ngIf = "data.length > 1" > < span * ngFor = "let item of data; let idx=index" > < span >{{ item }}</ span > </ span > </ div > data.ts 1 2 3 4 5 6 7 8 9 10 11 12 13 14 data = null ; . . . getData () { this . dataService . getDatas (). subscribe ( data => { this . data = data . result ; }, ( { error } ) => { } ) } 비동기로 서버에서 값을 읽어올 때, 값이 들어온 시점에 (data.length > 1) 정확히 데이터를 들고 화면을 그려주기 위해 template 쪽에 ngIf 문을 이용해서 그려줍니다. 저런식으로 화면 일부가 데이터가 계속 바뀜에 따라 지속적으로 업데이트 되어야 하는데, 값은 잘 들어오지만 template 은 새로 그려지지 않을...
자세한 내용 보기

AWS CLI(Command Line Interface) 설치 및 환경설정 for MAC

작성자: -
AWS Command Lne Interface(이하 CLI)는 AWS 서비스를 터미널에서 명령어 기반으로 컨트롤하는 도구입니다. AWS SDK for Python (Boto)를 기반으로 되어 있으며, AWS의 모든 서비스를 관리할 수 있습니다. 리눅스는 Bash , Zsh , tsch 등의 일반적인 셸 프로그램을 사용하여 Linux, macOS, or Unix에서 명령을 실행하며, Window는 Microsoft Windows의 PowerShell 또는 Windows 명령 처리기(CMD)에서 사용할 수 있습니다. 또한 원격으로 putty 혹은 SSH등의 터미널을 이용할 수 도 있습니다. 예제 AWS S3 파일 업로드 $ aws s3 cp myvideo.mp4 s3: //mybucket/ 위와같이 aws 명령어에 s3 추가 서비스별 옵션으로 myvideo.mp4 파일을 손쉽게 S3 버킷에 업로드할 수 있습니다. AWS CLI 설치하기 for MacOS 최신 버전의 Python 및 pip를 설치한 다음, 이를 사용하여 AWS CLI를 설치할 수 있습니다. 1. Python.org 의 다운로드 페이지 에서 Python 3.6을 다운로드 및 설치합니다. 2.Python Packaging Authority에서 제공하는 스크립트를 사용하여 pip 를 설치합니다. $ curl -O https: //bootstrap.pypa.io/get-pip.py $ python3 get-pip.py --user 3.pip를 사용하여 AWS CLI를 설치합니다. $ pip3 install awscli --upgrade --user 4.AWS CLI가 올바르게 설치되었는지 확인합니다. $ aws --version AWS CLI 1.11.84 (Python 3.6.1) 구성하기 aws configure 명령을 실행하여  AWS CLI 설정할 수 있습니다. $ aws configure AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE AWS Se...
자세한 내용 보기

android studio에서 VCS 불필요한 파일 제외 시키기

작성자: -
이미지
android 프로젝트 형상관리 위하여 svn, git을 사용하다 보면 프로젝트 빌드시에 생성되는
 파일들로 인하여 conflict로 고생한 흔히 있을 것 입니다.


 이클립스에서 개발 하던 시절에도 svn, git을 사용할때 빌드시 생성되는 파일들은 목록에서
제거하기 위하여 여러가지 작업을 해주었던 기억이 납니다.
 android studio에서도 이런 파일들을 대상 목록에서 제외 시킬수 있습니다.


 설정하는 방법을 하나씩 따라가보도록 하겠습니다.


 Mac : 좌측 상단의 Android Studio -> Prefrences... -> Version Control -> Ignored Files
 Window : File -> Settings -> Version Control -> Ignored File Version Control메뉴 선택후 하단 추가(+)버튼을 선택해 주세요.


 제외시킬 파일, 폴더, 마스크를 추가해주시면 됩니다.
 Ignore specified file : 파일 설정

 Ignore all files matching : 폴더 설정
 Ignore all files matching : 마스크설정(해당 텍스트가 해당되어 있는 파일) 

File: *.iws (select Ignore all files matching option to add this pattern)
 File:.idea/workspace.xml
 File: .gradle
 Directory: .idea/libraries/
 Directory: build/
 File: local.properties
 Directory: app/build/ (this must be for every modu...
자세한 내용 보기

[iOS 강좌] 오픈소스로 쉽게 카메라 앱 만들기 - 1부(cocospods)

작성자: -
이미지
안녕하세요. 플랫폼사업팀에서 ios개발 업무를 담당하고 있는 남산타워입니다. 첫 게시글은 어떤글이 좋을까 고민하다가, 강좌를 생각하게 되었습니다. ios 개발자라면, 모두들 오픈소스를 많이 이용하실꺼같은데요. 오픈소스를 이용해서, 쉽게 앱을 제작하는 하는 강좌를 써보려 합니다. 요즘 앱 순위중에 가장 상위에 있는 앱이 카메라 앱인데요. 여러 필터들을 이용해서, 예쁜 사진을 만들 수 있습니다. 엄청 어려운 부분이지만, 오픈소스를 이용하면, 간단하게 만들 수 있습니다. 일단 강좌는 총 3부로 구성해보았습니다. [iOS 강좌] 오픈소스로 쉽게 카메라 앱 만들기 - 1부 (cocospods) [iOS 강좌] 오픈소스로 쉽게 카메라 앱 만들기 - 2부 (카메라) [iOS 강좌] 오픈소스로 쉽게 카메라 앱 만들기 - 3부 (필터) 일단 첫 시간에는 CocosPods를 파헤쳐보겠습니다. CocosPods는 ios 개발자라면, 한번은 들어보셨을꺼예요. cocosPods는 Objective-C 코코아 프로젝트의 종속적 관리자입니다. 쉽게 말해, 오픈소스나 라이브러리를 관리할 수 있게 해주는 도구 인데요. xCode에서 플러그인를 설치하고 이용했으면 좋았으나, 별도의 프로그램입니다. 이 도구를 만들어준 개발팀에 감사해야합니다. 자세한 사항은 아래의 cocosPods 사이트에 접속해서 상세히 알아보시면 될꺼같습니다. https://cocoapods.org/ 그럼 시작하겠습니다. 1. 프로젝트 생성 2. CocosPods 다운로드 3. CocosPods 설치 4. CocosPods 설정 및 라이브러리 설치 1. 프로젝트 생성 프로젝트를 생성합니다. 2. CocosPods 다운로드 터미널에서 cocosPods를 다운받습니다. 맥의 파인더를 열고, 터미널을 실행합니다. ( 파인더/응용프로그램/유틸리티) 터미널이 실행 되면, 다운로드를 받습니다. 명...
자세한 내용 보기