본문 바로가기

전체 글

Elasticsearch와 OpenSearch 성능 비교 ChatGPT에 Elasticsearch와 OpenSearch 성능 비교자료를 만들어 달라고 했더니 아래와 같이 만들어 주네요. 구글 검색해서 자료를 만들 필요가 없어졌네요. 아주 편해요. 제가 Apache JMeter를 이용해서 동일한 데이터로 테스트 한 결과도 거의 동일 한거 같습니다. Elasticsearch와 OpenSearch는 모두 검색 및 분석 기능을 제공하는 오픈소스 검색 엔진이지만, OpenSearch는 AWS에 의해 호스팅되며, Elasticsearch 코드를 기반으로 하여 개선된 기능을 제공합니다. 아래는 Elasticsearch와 OpenSearch를 성능 기준으로 비교한 결과입니다. 테스트 환경: •테스트 시스템: AWS EC2 인스턴스 •테스트 데이터: 10,000,000 건의 .. 더보기
PostgreSQL Table 목록 추출 PostgreSQL DB 테이블 정의서 만들때 사용하고 있습니다. 구글에서 검색해서 사용하던 쿼리 입니다. SELECT info. TABLE_NAME as 테이블ID, tb_comm.tb_comm as 테이블명, info. COLUMN_NAME as 컬럼ID, comm.column_comment as 컬럼명, info.udt_name as 데이터타입, case when info.character_maximum_length is null then info.numeric_precision else info.character_maximum_length end as length, info.is_nullable NullOption, case when pri_key.column_name is null then ''.. 더보기
Oracle Table 목록 추출 Oracle DB 테이블 목록 추출 쿼리 입니다. 테이블 정의서 만들때 주로 사용하고 있는데 구글에서 찾아보면 많이 있습니다. --테이블 목록 추출 SELECT DISTINCT S1.OWNER, S1.TABLE_NAME AS 물리테이블명, COMMENTS AS 논리테이블명, TABLESPACE_NAME AS 테이블스페이스명, NUM_ROWS AS ROW수, --- analize 를 해야 정확한 Row수를 얻는다. LAST_ANALYZED AS 최종분석일자, PARTITIONED AS 파티션여부 FROM ALL_TABLES S1, ALL_TAB_COMMENTS S2 WHERE S1.TABLE_NAME = S2.TABLE_NAME AND S2.TABLE_TYPE = 'TABLE' -- VIEW (뷰, 테이블.. 더보기
Qlik multi-node 서버 Qlik 서버에서 App을 노드별로 다르게 해서 서버 부하를 줄일 수 있습니다. 서버에 Rim노드를 추가 한 이후에 QMC에서 작업을 하면 됩니다. 1. Custom properties에서 ServerGroup를 생성하고 Type을 Apps, Nodes를 선택합니다. App,Node에서 Property를 사용하기 위해서 선택합니다. 2. 속성값을 SMARTCDW1, SMARTCDW2로 해서 서버1,서버2 구분을 합니다. 3. Load balancing rules을 클릭하고 “ResourcesOnNonCentralNodes” Rule 을 Disable합니다. 4. 새로운 Rule을 생성하고 Actions에 App속성에 SMARTCDW2를 가진 App에 대해 Rim Nodes에서 실행되게 합니다. 5. 서버.. 더보기
Qlik 조회 및 초기화 기능 Qlik 프로젝트를 하다 보면 "조회" 버튼을 클릭 했을떄 결과가 조회 되게 해달라는 요구 사항이 종종 있습니다. Qlik은 기본적으로 필터, 차트를 클릭 했을떄 자동으로 데이터가 조회가 되는데 데이터가 적을때는 별 문제가 되지 않는데 많을 경우에 필터(데이터)선택 할때마다 차트가 조건에 따라 변경이 되어서 불편 하다고 하는 곳이 많이 있습니다. 그래서 "조회","초기화" 버튼을 만들어서 조건을 모두 선택한 다음에 차트(특히 피봇)가 조회 되게 하는 방법을 간단하게 설명 드리겠습니다. 1. 변수를 생성한다. - 변수 값이 변경 될때 차트가 조회 될수 있게 하기 위함 - 기본값으로 0을 입력 2. 버튼 오브젝트를 만든다. - 버튼 클릭 했을때 변수값이 1로 변경 되게 한다. - 초기화 버튼은 0으로 변경 .. 더보기
Qlik Sense 메일 발송 Qlik Sense서버에서 Task 실행 에러 발생 했을때 메일로 발송 할 수 있는 방법이 없는 것으로 알고 있습니다. Qlik Cloud에서는 가능한것 같은데 , 혹시 다른 방법 알고 있으신분은 좀 알려 주시면 고맙겠습니다. 제가 Task에러 났을때 사용한 방법은 Qlik Web Connectors를 이용해서 해결 했습니다. 1. Qlik Web Connectors 설치 합니다. - 설치 하고 Windows서비스로 실행되게 합니다. 2. Qlik Sense 서버에서 브라우저에 http://localhost:5555/web 입력하면 Web connectors가 실행됩니다. - SMTP설정을 위해서 Qlik SMTP Connector를 클릭 합니다. - SMTP설정을 위해서 “Parameters” 클릭합니.. 더보기
Qlik 서버와 Solr 검색엔진 연동 Qlik Sense와 Solr 검색엔진을 연동하려면 Qlik Sense Extension을 만들어야 합니다. Extension 만드는 방법은 구글,Qlik 사이트 검색 해서 하시면 됩니다. 검색엔진을 연동 하는 이유는 Qlik에서 텍스트 데이터를 서버에 올려서 사용하게 되면 많이 느려집니다. 데이터가 얼마 되지 않으면 문제가 되지 않지만, 텍스트 데이터가 많아 질수록 엄청나게 느려집니다. 이걸 해결 하기 위해서 검색 엔진을 연동해서 사용하기도 합니다. 여기서 자세한 내용은 다루지 않겠습니다. 몇년 전에 했던 거라서 기억이 잘 나질 않네요. 1. Solr검색 서버 설치 - 설치 방법은 Windows일경우 설치 파일 다운 받아서 압축만 풀면 됩니다. - 자세한 방법은 구글 검색 하시면 됩니다. 2. 텍스트 .. 더보기
스크립트에서 db에 insert 스크립트에서 DB 테이블에 데이터를 insert할때 오류가 발생하는데 이럴경우 아래 처럼 QvOdbcConnectorPackage.exe.config 파일을 수정 해야 합니다. C:\Program Files\Common Files\Qlik\Custom Data\QvOdbcConnectorPackage\QvOdbcConnectorPackage.exe.config 파일의 "allow-nonselect-queries"값을 True로변경해야 됩니다. 더보기

티스토리툴바