본문 바로가기

전체 글

LOD란 무엇인가? Qlik개발을 하다가 태블로 공부를 하고 있는데 용어가 잘 이해가 되지 않는게 있어서 찾아 봤습니다. 쉽게 설명해도 될거 같은데 어렵게 해났네요. 제가 이해한게 맞는지는 모르겠지만 단순하게 설명 해보겠습니다. ‘LOD’는 Level of Detail의 약자로, 태블로 내에서 '디테일의 레벨'을 의미한다. 디테일의 레벨이 피봇 차트로 예를 들면 차원을 여러개(국가, 시도) 넣었을떄 차원 하나 하나를 레벨이라고 하는거 같습니다. 국가로 측정값을 SUM했을떄 시도별로 SUM값을 보기 이해서는 시도를 차원으로 추가 하게 되면 됩니다. 그런데 차원에 국가만 넣고 국가별 시도 sum의 최대값을 보고 싶다던지 할 경우에 LOD표현식을 사용 하는것 같습니다. Qlik에서는 sum을 할때 옵션으로 Group By 디멘젼.. 더보기
MongoDB Replicaset 구성 명령어 1. hosts에 container명 추가 Replica Set 구성 할떄 사용 $ sudo vi /etc/hosts 2. docker-compose-replicaset.yml(인증없이 생성) version: '3.3' services: mongo1: container_name: mongo1 image: mongo:latest volumes: - ./scripts/rs-init.sh:/scripts/rs-init.sh - /data/mongo/mongoRepl/mongo1:/data/db networks: - mongo-network ports: - 37017:37017 restart: always entrypoint: [ "/usr/bin/mongod", "--bind_ip_all", "--replSe.. 더보기
MongoDB Replicaset 구성 MongoDB 복제 구성을 docker기반에서 테스트한 내용을 공유하겠습니다. 대부분은 구글 검색을 통해서 찾은 내용이고, 직접 테스트한 내용입니다. 1. MongoDB 의 복제 MongoDB 의 Replica set 은 동일한 데이터 세트를 유지 관리하는 mongod 인스턴스 그룹이다. Replica set 에는 여러 데이터 베어링 노드와 선택적으로 하나의 중재자(abiter) 노드가 포함 되게 된다. 데이터 베어링 노드 중 하나의 구성원만 Primary(기본) 노드가 되며 다른 노드는 Secondary 노드가 된다. 단일 Replica set 구조에서는 별도의 관리용 컴포넌트가 필요하지는 않지만, 단일 노드(Standalone) 에 비해서 추가로 MongoDB 서버가 필요 하다. Replica set.. 더보기
PostgreSql postgis 쿼리 최단거리 경로 검색 쿼리를 만들면서 사용해본 함수들을 대출 설명 해보겠습니다. 상세한 내용은 구글에서 검색 해보면 나옵니다. 1. ST_StartPoint, ST_EndPoint geo 컬럼에는 LINESTRING(x1 y1, x2 y2, x3 y3) 이런식으로 데이터가 들어가 있습니다. 여기서 LINE의 시작점과 종료지점을 찾아서 좌표 뒷자리 5개만 가지고 오게 합니다. st_astext(ST_StartPoint(geo),5) st_astext(ST_EndPoint(geo),5) 결과는 아래와 같이 나옵니다. POINT(126.97035 37.57616) 2. st_length geo 컬럼에는 LINESTRING(x1 y1, x2 y2, x3 y3) 길이를 구해 줍니다. st_length(geo) 3... 더보기
NIFI 사용 1. NIFI 웹 구성 요소 - Components Toolbar •Components Toolbar NiFi에서 사용하는 컴포넌트들이 있다. 이 컴포넌트를 클릭하여 드래그&드롭으로 캔버스에 컴포넌트를 등록시킬 수 있다. •Status Bar NiFi의 현재 상황을 볼 수 있다. 실행되고 있는 태스크, 프로세스 개수 정보와 오류 정보, 클러스터 노드 정보 등을 제공한다. •Search NiFi에 등록된 Processor, Connection을 검색할 수 있다. •Operate Palette NiFi 컴포넌트들의 설정, 활성화/비활성화, 시작/멈춤, 템플릿 생성/등록, 컴포넌트 복사/붙여넣기, Processor Group 화, 컴포넌트 색 변경, 컴포넌트 삭제 기능을 제공한다. 캔버스에서 컴포넌트를 선택하.. 더보기
NIFI 설치 •OpenJDK 설치 - JAVA_HOME 설정 sudo vi ~/.bashrc 의 가장 아래 라인에 추가 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH="$PATH:$JAVA_HOME/bin” source ~/.bashrc •NIFI 다운로드 및 설치 wget https://archive.apache.org/dist/nifi/1.13.2/nifi-1.13.2-bin.tar.gz tar –zxvf nifi-1.13.2-bin.tar.gz cd nifi-1.13.2 ./bin/nifi.sh install •NIFI 실행 ./bin/nifi.sh start •NIFI 웹 인터페이스 http://192.168.50.100:8080/nifi •P.. 더보기
Qlik 데이터로드 편집(스크립트) 화면의 메인 스크립트 편집화면의 메인에 있는 날짜형식,요일,주의 시작요일 등을 변경 해주게 되면 앱의 스크립트 함수를 사용 할때 반영되어 적용 됩니다. 스크립트 함수를 사용 할때 함수에 옵션이 있는게 아닐 경우 메인에 있는 부분을 확인 할 필요가 있습니다. SET ThousandSep=','; SET DecimalSep='.'; SET MoneyThousandSep=','; SET MoneyDecimalSep='.'; SET MoneyFormat='₩#,##0;-₩#,##0'; SET TimeFormat='TT h시 m분 s초'; SET DateFormat='YYYY. M. D.'; SET TimestampFormat='YYYY. M. D. TT h시 m분 s초[.fff]'; SET FirstWeekDay=6; SE.. 더보기
NIFI 란? NIFI를 설치하고 간단하게 사용해본 내용을 공유 해보겠습니다. 대부분 내용은 구글 검색을 통해서 찾아보고 제가 직접 해본 내용을 기준으로 작성 했습니다. 1. NIFI란? •Apache NiFi는 NSA(National Security Agency)에서 Apache에 기증한 Dataflow 엔진이다. •복잡해지는 기업의 시스템들에서 신속하고, 유실 없는 데이터 전송은 점점 더 중요해 지고 있다. •Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링하기 위한 최적의 시스템이다. •NiFi는 다음과 같은 특징을 가지고 있으며, 이러한 특징들 때문에 복잡한 시스템 간의 데이터 이동에 NiFi를 이용하여 쉽고, 안전하게 개발 할 수 있다. - Dataflow를 쉽게 개발할 수 있.. 더보기

티스토리툴바