전체 글
고양이를 좋아하고 뭐든지 공유하는 것을 좋아하는 사람입니다.
-
개요 AWS DMS로 CDC(luna → cellook) 진행 중인 상황에서 원본의 변경 사항이 타겟에 반영되지 않고 Table Error가 발생한 상황에 대해 정리하였습니다. DMS 장애 상황 및 처리 DMS 구성이 되어있는 테이블에 대해 스키마 변경 요구사항이 있어 소스의 스키마 변경을 진행하였습니다. Source : Aurora MySQL Target : Aurora MySQL CDC 진행 Table Error 발생 AWS DMS 콘솔에서 해당 Task의 Status가 실행 중(오류 포함) 상태로 전환되었으며 이 시점 이후로 특정 테이블의 로드 상태가 Table error 상태로 전환되었으며 해당 테이블만 데이터가 연결되지 않는 상황이 발생하였습니다. 이후 DMS 를 중지시킨 후에 다시 실행해보았지..
AWS DMS 지속적복제(CDC) Table Error 발생개요 AWS DMS로 CDC(luna → cellook) 진행 중인 상황에서 원본의 변경 사항이 타겟에 반영되지 않고 Table Error가 발생한 상황에 대해 정리하였습니다. DMS 장애 상황 및 처리 DMS 구성이 되어있는 테이블에 대해 스키마 변경 요구사항이 있어 소스의 스키마 변경을 진행하였습니다. Source : Aurora MySQL Target : Aurora MySQL CDC 진행 Table Error 발생 AWS DMS 콘솔에서 해당 Task의 Status가 실행 중(오류 포함) 상태로 전환되었으며 이 시점 이후로 특정 테이블의 로드 상태가 Table error 상태로 전환되었으며 해당 테이블만 데이터가 연결되지 않는 상황이 발생하였습니다. 이후 DMS 를 중지시킨 후에 다시 실행해보았지..
2022.04.09 -
RedShift란 AWS에서 제공하는 서버리스 형태의 완전 관리형 데이터 웨어하우스로 페타바이트 급 확장이 가능하며 컬럼 포맷을 통해 데이터를 저장해 더 나은 I/O 효율성을 제공합니다. PostgreSQL 기반이며 대규모 병렬 처리, 데이터 압축을 통해 효율적인 데이터 저장 및 최적의 쿼리 성능을 가져올 수 있습니다. 구조 클러스터 클러스터는 하나 이상의 컴퓨팅 노드로 구성됩니다. 클러스터에 두 개 이상의 컴퓨팅 노드가 프로비저닝 될 경우 리더 노드가 컴퓨팅 노드를 관리하고 외부 통신을 처리합니다. 리더 노드 리더 노드는 엔드포인트로써 클라이언트와 통신을 처리하고 컴퓨팅 노드를 관리합니다. 리더 노드는 쿼리 수행의 중추 역할을 하는데 쿼리가 수행되면 실행 계획을 생성하고 컴파일한 후 이를 컴퓨팅 노드에..
AWS Redshift 개념과 구조RedShift란 AWS에서 제공하는 서버리스 형태의 완전 관리형 데이터 웨어하우스로 페타바이트 급 확장이 가능하며 컬럼 포맷을 통해 데이터를 저장해 더 나은 I/O 효율성을 제공합니다. PostgreSQL 기반이며 대규모 병렬 처리, 데이터 압축을 통해 효율적인 데이터 저장 및 최적의 쿼리 성능을 가져올 수 있습니다. 구조 클러스터 클러스터는 하나 이상의 컴퓨팅 노드로 구성됩니다. 클러스터에 두 개 이상의 컴퓨팅 노드가 프로비저닝 될 경우 리더 노드가 컴퓨팅 노드를 관리하고 외부 통신을 처리합니다. 리더 노드 리더 노드는 엔드포인트로써 클라이언트와 통신을 처리하고 컴퓨팅 노드를 관리합니다. 리더 노드는 쿼리 수행의 중추 역할을 하는데 쿼리가 수행되면 실행 계획을 생성하고 컴파일한 후 이를 컴퓨팅 노드에..
2022.04.05 -
그라파나란? 메트릭, 로그 등을 모니터링하고 분석할 수 있는 오픈 소스 시각및 분석 툴로 데이터를 저장하는 방식이 아닌 Cloud Watch, 프로메테우스의 데이터를 수집해 다양한 형태의 그래프로 시각화 할 수 있습니다. 시작하기 아래의 링크에서 운영체제에 맞는 버전으로 설치합니다. Download Grafana 설치 완료 후 www.localhost:3000 로 접속하면 브라우저에서 그라파나를 사용할 수 있습니다. 초기 ID / PASSWORD는 admin / admin 으로 설정되어있습니다. Data Source 생성 좌측 톱니바퀴 > Data sources 탭 선택 > Add data source 에서 Cloud Watch를 선택합니다. Connection Details에서 AWS Access Ke..
Grafana Cloud Watch 대시보드 구성그라파나란? 메트릭, 로그 등을 모니터링하고 분석할 수 있는 오픈 소스 시각및 분석 툴로 데이터를 저장하는 방식이 아닌 Cloud Watch, 프로메테우스의 데이터를 수집해 다양한 형태의 그래프로 시각화 할 수 있습니다. 시작하기 아래의 링크에서 운영체제에 맞는 버전으로 설치합니다. Download Grafana 설치 완료 후 www.localhost:3000 로 접속하면 브라우저에서 그라파나를 사용할 수 있습니다. 초기 ID / PASSWORD는 admin / admin 으로 설정되어있습니다. Data Source 생성 좌측 톱니바퀴 > Data sources 탭 선택 > Add data source 에서 Cloud Watch를 선택합니다. Connection Details에서 AWS Access Ke..
2022.03.29 -
대용량 테이블을 설계할 때 꼭 고려되는 내용 중 하나가 바로 파티셔닝입니다. 이번에 MySQL 에서 파티션을 사용하면서 어떤 경우에 파티션을 사용하는 것이 유리한지 또 어떻게 사용해야하는 것이 효율적인 것인지 정리해보았습니다. 파티션이란 테이블을 논리적으로는 하나의 테이블이지만 물리적으로는 여러 개의 테이블로 분리하여 대용량 테이블을 다수의 작은 테이블로 분산해 관리할 수 있도록 하는 기능입니다. 실제 사용자는 하나의 테이블에 SELECT 및 INSERT, DELETE 작업을 하지만 내부적으로는 파티션으로 분산된 공간에 접근하여 결과를 처리합니다. 언제 사용해야 좋은가 1. 테이블의 크기가 커 성능 상의 문제가 있을 경우 대용량 테이블의 경우 인덱스가 메모리보다 큰 경우가 존재할 수 있는데 이 때 인덱스..
MySQL 파티션대용량 테이블을 설계할 때 꼭 고려되는 내용 중 하나가 바로 파티셔닝입니다. 이번에 MySQL 에서 파티션을 사용하면서 어떤 경우에 파티션을 사용하는 것이 유리한지 또 어떻게 사용해야하는 것이 효율적인 것인지 정리해보았습니다. 파티션이란 테이블을 논리적으로는 하나의 테이블이지만 물리적으로는 여러 개의 테이블로 분리하여 대용량 테이블을 다수의 작은 테이블로 분산해 관리할 수 있도록 하는 기능입니다. 실제 사용자는 하나의 테이블에 SELECT 및 INSERT, DELETE 작업을 하지만 내부적으로는 파티션으로 분산된 공간에 접근하여 결과를 처리합니다. 언제 사용해야 좋은가 1. 테이블의 크기가 커 성능 상의 문제가 있을 경우 대용량 테이블의 경우 인덱스가 메모리보다 큰 경우가 존재할 수 있는데 이 때 인덱스..
2022.03.20 -
AWS Aurora 인스턴스 스펙 변경 시 장애 발생에 유연하게 대처할 수 있도록 순단 테스트를 진행하였습니다. 테스트 환경 인스턴스 : Mulit AZ 구성(1 라이터, 1 리더) 스펙 : db.t3.small => db.t3.medium 1s 마다 1 connection 실행 테스트 진행 전체 테스트 시나리오는 아래의 순서로 진행됩니다. Multi-AZ 구성 시 아래의 방법을 통해 진행할 경우 전체 다운타임을 최소화할 수 있습니다. 리더 인스턴스 스펙 변경 Failover를 통한 리더, 라이터 인스턴스 Switch Switch된 나머지 인스턴스 스펙 변경 우선 JMeter를 통해 리더 엔드포인트(-ro-)에 연결한 후 리더와 라이터가 Switch 되는 것을 확인하기 위해 1s 마다 show varia..
[Aurora] 인스턴스 스펙 무중단 Scale-UpAWS Aurora 인스턴스 스펙 변경 시 장애 발생에 유연하게 대처할 수 있도록 순단 테스트를 진행하였습니다. 테스트 환경 인스턴스 : Mulit AZ 구성(1 라이터, 1 리더) 스펙 : db.t3.small => db.t3.medium 1s 마다 1 connection 실행 테스트 진행 전체 테스트 시나리오는 아래의 순서로 진행됩니다. Multi-AZ 구성 시 아래의 방법을 통해 진행할 경우 전체 다운타임을 최소화할 수 있습니다. 리더 인스턴스 스펙 변경 Failover를 통한 리더, 라이터 인스턴스 Switch Switch된 나머지 인스턴스 스펙 변경 우선 JMeter를 통해 리더 엔드포인트(-ro-)에 연결한 후 리더와 라이터가 Switch 되는 것을 확인하기 위해 1s 마다 show varia..
2022.03.03 -
MySQL은 서버를 정상적으로 운영하고 상태를 기록하기 위한 다양한 로그가 존재합니다. Error log -MySQL을 시작, 실행, 종료 시 발생한 문제를 기록 General Log - 클라이언트 연결 설정 및 실행된 쿼리를 기록 Binary Log - 테이블 생성 및 데이터 변경과 같은 변경 사항을 기록(SELECT 쿼리는 남기지 않음) Relay Log - 복제 구성 시 마스터의 변경 사항을 기록 Slow Log - long_query_time 파라미터로 설정된 시간보다 수행시간이 긴 쿼리를 기록 DDL Log - DDL문의 실행을 기록 이 중 General Log, Slow Log, Binary Log가 가장 많이 사용됩니다. 이번에는 General Log와 Slow Log에 대해 알아보겠습니다...
MySQL 로그와 General, Slow Log 설정 (with. Aurora)MySQL은 서버를 정상적으로 운영하고 상태를 기록하기 위한 다양한 로그가 존재합니다. Error log -MySQL을 시작, 실행, 종료 시 발생한 문제를 기록 General Log - 클라이언트 연결 설정 및 실행된 쿼리를 기록 Binary Log - 테이블 생성 및 데이터 변경과 같은 변경 사항을 기록(SELECT 쿼리는 남기지 않음) Relay Log - 복제 구성 시 마스터의 변경 사항을 기록 Slow Log - long_query_time 파라미터로 설정된 시간보다 수행시간이 긴 쿼리를 기록 DDL Log - DDL문의 실행을 기록 이 중 General Log, Slow Log, Binary Log가 가장 많이 사용됩니다. 이번에는 General Log와 Slow Log에 대해 알아보겠습니다...
2022.02.28