[SQL] SQLD 핵심 요약 - [1과목] Part2. 데이터 모델과 성능

in Development on DataBase, Sql, Sqld
[SQL] SQLD 핵심 요약 - [1과목] Part2. 데이터 모델과 성능

#목차

데이터 모델과 성능

성능 데이터 모델링

  • DB 성능 샹항을 목적으로 설계 단계의 데이터 모델링 떄부터 정규화, 반정규화, 테이블 통합, 테이블 분할, 조인 구조, PK, FK등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것
  • 분석/설계 단계에서 데이터 모델에 성능을 고려한 데이터 모델링을 수행할 경우 성능저하에 따른 재업무 비용을 최소화 할 수 있는 기회를 가지게 된다.
  • 데이터의 증가가 빠를수록 성능저하에 따른 성능개선비용은 기하급수적으로 증가하게 된다.

성능 데이터 모델링 고려사항 순서

  1. 데이터 모델링을 할 때 정규화를 정확하게 수행
  2. DB 용량 산정을 수행한다.
  3. DB에 발생되는 트랜잭션의 유형을 파악한다.
  4. 용량과 트랜잭션의 유형에 따라 반정규화를 수행
  5. 이력모델의 조정, PK/FK조정, 슈퍼/서브타입 조정
  6. 선능관점에서 데이터 모델을 검증한다.
  • 기본적으로 데이터는 속성간의 함수종속성에 근거하여 정규화되어야 한다.
  • 겅규화는 선택이 아니라 필수사항

함수적 종속성

  • 데이터들이 어떤 기준 값에 의해 종속되는 현상

정규화

  • 반복적인 데이터를 분리하고 각 데이터가 종속된 테이블에 적절하게 배치되도록 하는 것
  • 칼럼에 의한 반복, 중복적인 속성 값을 갖는 형태는 1차 정규화의 대상

반정규화

  • 정규화된 엔티티, 속성, 관계에 대해 시스템의 성능향상과 개발과 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델리으이 기법
  • 일반적으로 정구화시 입력/수정/삭제 성능이 향상되며 반정규화시 조인 성능이 향상된다.

반정규화 절차

  1. 반정규화 대상조사(범위처리 빈도 수, 범위, 통계성)
  2. 다른 방법유도 검토(뷰, 클러스터링, 인덱스 조정)
  3. 반정규화 적용(테이블, 속성, 관계 반정규화)

반정규화 대상조사

  1. 자주 사용되는 테이블에 접근하는 프로세스의 수가 많고 항상 일정한 범위만을 조회하는 경우
  2. 테이블에 대량의 데이터가 있고 대량의 데이터 범위를 자주 처리하는 경우에 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우
  3. 통계성 프로세스에 의해 통계 정보를 필요로 할 때 별도의 통계 테이블을 생성한다
  4. 테이블에 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 SORTING, ORDER BY는 반정규화 대상X

다른방법유도 검토

  1. 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 VIEW를 사용한다
  2. 대량의 데이터처리나 부분처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스를 조정함
  3. 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리할 수 있다(파티셔닝 기법)
  4. 응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상시킬 수 있다.

반정규화의 기법(테이블, 칼럼, 관계)

테이블 반정규화

  • 테이블 병합(1:1관계, 1:M관계, 슈퍼/서브타입)
    1. 1:1관계를 통합하여 선능향상
    2. 1:M관계를 통합하여 선능향상
    3. 슈퍼/서브 관계를 통합하여 성능향상
  • 테이블 분할(수직분할, 수평분할)
    1. 수직분할 : Column단위 테이블을 디스크 I/O를 분산처리하기 위해 테이블을 1:1로 분리하여 성능향상
    2. 수평분할 : Row단위 집중 발생되는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상하기 위해 Row단위로 테이블을 쪼갬
  • 테이블 추가(중복, 통계, 이력, 부분 테이블 추가)
    1. 중복 : 다른 업무이거나 서버가 다른 경우 동일한 테이블구조를 중복하여 원격조인을 제거하여 성능 향상
    2. 통계 : SUM, AVG, 등을 미리 수행하여 계산해 둠으로써 조회 시 성능을 향상
    3. 이력 : 이력테이블 중에서 마스터 테이블에 존재하는 레코드를 중복하여 이력테이블에 존재시켜 성능 향상
    4. 부분 : 하나의 테이블의 전체 칼럼 중 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 칼럼들을 모아 놓은 별도의 반정규화된 테이블을 생성

칼럼 반정규화(중복, 파생, 이력, PK, 오작동)

  1. 중복 : 조인에 의해 ㅓ리할 때 성능저하를 예방하기 위해 중복된 칼럼을 위치 시킴
  2. 파생 : 트랜잭션이 처리되는 시점에 계산에 의해 발생되는 성능저하를 예방하기 위해 미리 값을 계싼하여 칼럼에 보관
  3. 이력테이블 : 대량의 이력데이터를 처리할 때 불특정날 조회나 최근 값을 조회할 때 나타날 수 있는성능저하를 예방하기 위해 이력테이블에 가능성 칼럼(최근값 여부, 시작과 종료일자 등)을 추가함
  4. PK에 의한 칼럼 추가 : 이미 PK안에 데이터가 존재하지만 선능향상을 위해 일반속성으로 포함하는 방법
  5. 응용시스템 오작동을 위한 칼럼 추가 : 업무적으로는 의미가 없지만 사용자의 실수로 원래 값으로 복귀하기 원하는 경우 이전 데이터를 임시적으로 중복하여 보관하는 기법

관계 반정규화

중복관계 추가

  • 데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만 이 때 발생할 수 있는 성능저하를 예방하기 위해 추가적인 관계를 맺는 방법

로우 체이닝

  • 로우의 길이가 너무 길어서 데이터 블록하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되어 있는 형태

로우 마이그레이션

  • 데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식
  • 로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디크스 I/O가 발생할 때 많은 I/O가 발생하여 성능저하 발생
  • 트랜잭션을 분석하여 적절하게 1:1관계로 분리함으로써 성능향상이 가능하도록 해야 한다.

PK에 의해 테이블을 분할하는 방법(파티셔닝)

  1. RANGE PARTITION
    • 대상 테이블이 날짜 또는 숫자 값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우
    • ex) PARTITION BY COL1 ORDER BY COL3 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
  2. LIST PARTITION
    • 지점, 사업소 등 핵심적인 코드값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우
  3. HASH PARTITION
    • 지정된 HASH 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리

테이블에 대한 수평/수직분할의 절차

  1. 데이터 모델링을 완성한다.
  2. DB 용량산정을 한다.
  3. 대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석한다.
  4. 칼럼 단위로 집

수퍼/서브 타입 모델

  • 슈퍼/서브타입에 대한 변환을 잘못하면 성능이 저하되는 이유
    • 트랜잭션의 특성을 고려하지 않고 테이블을 설계했기 때문
  1. 트랜잭션은 항상 일괄로 처리하는데 테이블은 개별로 유지되어 Union연산에 의해 성능이 저하될 수 있다.
  2. 트랜잭션은 항상 서브타입 개별로 처리하는데테이블은 하나로 통합되어 있어 불필요하게 많은 양의 데이터가 집약되러 있어 성능이 저하되는 경우가 있다.
  3. 트랜잭션은 항상 슈퍼+서브 타입을 공통으로 처리하는데 개별로 유지되어 있거나 하나의 테이블로 집약되어 있어 성능이 저하되는 경우가 있다.

Back to [SQL] SQLD 핵심 요약 - [1과목] Part1. 데이터 모델링의 이해

Continue with [SQL] SQLD 핵심 요약 - [1과목] Part2. 데이터 모델과 성능