Hiio.com

계층적 샘플링 - Stratified sampling

- 모집단을 여러개의 층으로 구분하여, 각 층에서 n개씩 랜덤하게 추출하는 방법

- 순수한 무작위 샘플링 방식은 데이터의 크기가 충분히 크지 않은 상황 등 샘플링 편향이 발생할 수 있는 가능성이 생길수 있습니다. 

- 전체 데이터를 계층별 그룹으로 나눈뒤 . 테스트 세트가 전체 데이터의 각 계층의 계수 비율 만큼 샘플링 합니다.

사이킷 런 계층적 샘플링 - sklearn.model_selection.StratifiedShuffleSplit

- 사이킷 런에서 제공하는 API 참고 자료의 예제를 통해 알아 보겠습니다.(*사이런을 먼저 설치 합니다.)

StratifiedShuffleSplit(n_splits=10, *, test_size=None, train_size=None, random_state=None

- 사용할 수 있는 parameter 들입니다.

예제

- 파이썬 numpy를 이용해 ndarray를 생성합니다.

- 사이킷런 StratifiedShuffleSplit 을 사용해 계층적 샘플링을 진행합니다.

>>> import numpy as np
>>> from sklearn.model_selection import StratifiedShuffleSplit

>>> X = np.array([[1,2],[3,4],[1,2],[3,4],[1,2],[3,4]])
>>> y = np.array([0,0,0,1,1,1])

>>> print('X : \n', X)
>>> print('y : \n', y)

X : 
 [[1 2]
 [3 4]
 [1 2]
 [3 4]
 [1 2]
 [3 4]]
y : 
 [0 0 0 1 1 1]

- 5개 계층으로 나누고, 테스트 셋 비율을 0.5 로 지정합니다.

split = StratifiedShuffleSplit(n_splits = 5 , test_size = 0.5, random_state = 0)

StratifiedShuffleSplit Methods 

- 사용할수 있는 함수로는 get_n_splits() 와 split() 함수가 있습니다.

- get_n_splits() 함수는 X , y의 arguments 로 features 데이터 셋와 labels 등 데이터 셋을 대입하면, return 값으로 n_plits 을 반환합니다.

>>> split.get_n_splits(X, y)
5

- split() 함수는 데이터를 훈련 및 테스트 세트로 분할하기 위한 인덱스를 생성해 반환합니다.

>>> for train_index , test_index in split.split(X,y):
		print('train_index : ', train_index, 'test_index : ', test_index)

train_index :  [5 2 3] test_index :  [4 1 0]
train_index :  [5 1 4] test_index :  [0 2 3]
train_index :  [5 0 2] test_index :  [4 3 1]
train_index :  [4 1 0] test_index :  [2 3 5]
train_index :  [0 5 1] test_index :  [3 4 2]

Scikit learn API Reference
https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedShuffleSplit.html