Hiio.com

넘파이 (Numpy) Numpy.c_

- Translates slice objects to concatenation along the second axis.

- 2개의 배열을 붙여 2차원 배열로 만들기

>>> np.c_[np.array([1,2,3]), np.array([4,5,6])]
array([[1, 4],
       [2, 5],
       [3, 6]])
>>> np.c_[np.array([[1,2,3]]), 0, 0, np.array([[4,5,6]])]
array([[1, 2, 3, 0, 0, 4, 5, 6]])

https://docs.scipy.org/doc/numpy-1.15.0/reference/generated/numpy.c_.html?highlight=numpy%20c_#numpy.c_

넘파이 난수 생성

import numpy as np

numpy.random.rand(d0,d1,...)

>>> a = np.random.rand()
>>> a

0.8265127132486283

>>> b = np.random.rand(10)
>>> b

array([0.52378504, 0.35727214, 0.35869626, 0.58862312, 0.39184057,
       0.49020887, 0.64360582, 0.08130151, 0.12713493, 0.42913997])
       

numpy.random.randn(d0, d1, ..., dn)

>>> c = np.random.randn()
>>> c
0.21423335992324902


>>> d = np.random.randn(10)
>>> d
array([-1.28840094, -2.03541272, -1.08534621, -0.3659988 ,  2.13054496,
       -0.37173855,  0.19194732,  0.91521406, -0.85081639, -0.68821558])

>>> e = np.random.randn(10,1)
>>> e
array([[-0.17924635],
       [ 1.09098268],
       [ 1.10546769],
       [-0.78903644],
       [ 1.29073505],
       [-1.08213603],
       [-1.08580595],
       [-0.34082787],
       [ 0.10444354],
       [ 0.08724687]])

numpy.random.randint(low, high=None, size=None, dtype='l')

>>> np.random.randint(5, size=(2, 4))
array([[4, 0, 2, 1],
       [3, 2, 2, 0]])

- 0,1로 이루어진 난수 생성

>>> np.random.randint(2, size=10)
array([1, 0, 0, 0, 1, 1, 0, 0, 1, 0])

https://docs.scipy.org/doc/numpy-1.15.0/index.html

  pd.cut()  

- 데이터 값을 분할 하고 정렬하려는 경우 사용하는 판다스 함수

- 카테고리 범주 별로 구분하거나 groupby() 와 같이 사용 하여 각 범주별 특정 값들을 구하는데 사용할 수 있다.

  예제  

- numpy 배열 생성

import pandas as pd
import numpy as np

data = np.array([1, 7, 5, 4, 6, 3])
data

>>> array([1, 7, 5, 4, 6, 3])

- 동일한 길이의 bins 값으로 분할

pd.cut(data, 3)

>>> [(0.994, 3.0], (5.0, 7.0], (3.0, 5.0], (3.0, 5.0], (5.0, 7.0], (0.994, 3.0]]
Categories (3, interval[float64]): [(0.994, 3.0] < (3.0, 5.0] < (5.0, 7.0]]

- return bins 

- bins를 반환할깨 사용합니다. 기본 값은 False 입니다.

pd.cut(data,3,retbins=True)

>>> ([(0.994, 3.0], (5.0, 7.0], (3.0, 5.0], (3.0, 5.0], (5.0, 7.0], (0.994, 3.0]]
 Categories (3, interval[float64]): [(0.994, 3.0] < (3.0, 5.0] < (5.0, 7.0]],
 array([0.994, 3.   , 5.   , 7.   ]))

- 분할 값에 특정 레이블 할당 

- parameter => label 

- default = None

pd.cut(data, 3, labels=["bad", "medium", "good"])

>>> ['bad', 'good', 'medium', 'medium', 'good', 'bad']
Categories (3, object): ['bad' < 'medium' < 'good']

- 레이블 할당 시 범주 정렬 사용 하지 않음

- parameter => orfered

- default = True

pd.cut(np.array([1, 7, 5, 4, 6, 3]), 3,labels=["B", "A", "B"], ordered=False)

>>> ['B', 'B', 'A', 'A', 'B', 'B']
Categories (2, object): ['A', 'B']

  참고   

pandas API Reference

pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise', ordered=True)

to_datetime()

- 판다스를 이용한 데이터 타입 변환중 날짜에 관한 함수

- 주식 데이터 중 날짜데이터들 증권사 api로 받아와 DataFrame에 저장한 후에 csv파일로 저장하면 날짜데이터의 형식은 int64로 지정되어 저장됩니다.

- 이를 datetime64형식으로 변환 하는 방법

날짜 형식 변환

• 증권사 API를 이용하여 주식 데이터를 년/월/일/주/시/분 단위로 받을 수 있습니다.
• 주식 데이터의 시가/고가/저가/종가 등 세부 데이터들은 날짜별로 기록되어 있습니다.
• 이때 날짜를 원본 그대로 저장하게 되면 데이터 타입은 정수(int)형으로 저장되고, DataFrame으로 변환 후 csv에 저장 하게 괴면 Dtype은 int64로 저장 되게 됩니다.
• 이 형식을 Datatime형식으로 바꾸어 시계열 데이터 처리가 가능하게 만들어야 합니다.

Import Pandas

• 판다스 모듈을 임포트 합니다.

import pandas as pd

csv 파일 읽기

• 판다스의 read_csv 함수를 사용하여 테스트 해볼 csv파일의 데이터들을 읽어와 DataFrame 형식으로 변수 df에 저장합니다.

df = pd.read_csv('./DA000020.csv')

데이터 확인

• 변수 df에 저장된 데이터를 확인합니다.
• head() 함수를 사용하여 상위 3개의 데이터를 확인해봅니다.
• info() 함수를 통해서 데이터프레임안의 데이터들의 데이터 형식과 Non-Null 값들을 확인해 봅니다.
• column 'date'에 저장된 날짜 데이터의 Dtype이 int64 정수형으로 되어 있는것을 확인 할 수 있습니다.

df.head(3)

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10928 entries, 0 to 10927
Data columns (total 23 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   date           10928 non-null  int64  
 1   time           10928 non-null  int64  
 2   start          10928 non-null  int64  
 3   high           10928 non-null  int64  
 4   low            10928 non-null  int64  
 5   close          10928 non-null  int64  
 6   prev           10928 non-null  int64  
 7   volume         10928 non-null  int64  
 8   tr_amount      10928 non-null  int64  
 9   sales_qu       10928 non-null  int64  
 10  purchase_qu    10928 non-null  int64  
 11  li_share       10928 non-null  int64  
 12  market_cap     10928 non-null  int64  
 13  fr_cu_holding  10928 non-null  int64  
 14  fr_cu_ratio    10928 non-null  float64
 15  ad_pr_ratio    10928 non-null  float64
 16  in_net_buy     10928 non-null  int64  
 17  up_do          10928 non-null  int64  
 18  up_do_ratio    10928 non-null  float64
 19  deposit        10928 non-null  int64  
 20  st_turnover    10928 non-null  float64
 21  tr_es_ratio    10928 non-null  float64
 22  sign           10928 non-null  int64  
dtypes: float64(5), int64(18)
memory usage: 1.9 MB

date 컬럼의 데이터 타입 변환

• 먼저 int64로 되어있는 date컬럼의 데이터 타입을 문자열 형식으로 변환해 줍니다.
• 데이터프레임 정보에서 Dtype이 object로 되어있는 컬럼의 데이터 타입은 문자열과 같습니다.
• astype() 함수를 통해서 데이터 타입을 문자열로 변환하고, 다시 info()로 확인해봅니다.

df['date']= df['date'].astype('str')

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10928 entries, 0 to 10927
Data columns (total 23 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   date           10928 non-null  object 
 1   time           10928 non-null  int64  
 2   start          10928 non-null  int64  
 3   high           10928 non-null  int64  
 4   low            10928 non-null  int64  
 5   close          10928 non-null  int64  
 6   prev           10928 non-null  int64  
 7   volume         10928 non-null  int64  
 8   tr_amount      10928 non-null  int64  
 9   sales_qu       10928 non-null  int64  
 10  purchase_qu    10928 non-null  int64  
 11  li_share       10928 non-null  int64  
 12  market_cap     10928 non-null  int64  
 13  fr_cu_holding  10928 non-null  int64  
 14  fr_cu_ratio    10928 non-null  float64
 15  ad_pr_ratio    10928 non-null  float64
 16  in_net_buy     10928 non-null  int64  
 17  up_do          10928 non-null  int64  
 18  up_do_ratio    10928 non-null  float64
 19  deposit        10928 non-null  int64  
 20  st_turnover    10928 non-null  float64
 21  tr_es_ratio    10928 non-null  float64
 22  sign           10928 non-null  int64  
dtypes: float64(5), int64(17), object(1)
memory usage: 1.9+ MB

• date 컬럼의 Dtype이 object로 변환 된 것을 확인할 수 있습니다.
• astype()함수를 사용하여 데이터 타입을 변환할 때 기존의 데이터 프레임에 반영 시키지 않으면 새로운 시리즈로 생성되기때문에 데이터 타입이 변환된 기존의 데이터 프레임을 계속적으로 사용하기 위해서 df['date'] 에 반영시켜 주어야 합니다.

Datetime 형식으로 변환

• 데이터 타입을 Datetime 형식으로 변환하는 방법은 크게 2가지가 있습니다.
• 1. 판다스의 to_datetime() 함수를 이용한 방법
• 2. 판다스의 apply() 함수를 이용해 datetime 모듈을 이용한 방법
• 위 2가지 방법을 이용해 위에서 문자열 형식으로 변환한 데이터들을 Datetime형식으로 변환 해 보겠습니다.

to_datetime() 함수를 이용한 방법

• to_datetime() 함수의 argument로 df의 date컬럼을 넘겨줍니다.

pd.to_datetime(df['date'])

0       2020-09-16
1       2020-09-15
2       2020-09-14
3       2020-09-11
4       2020-09-10
           ...    
10923   1980-01-09
10924   1980-01-08
10925   1980-01-07
10926   1980-01-05
10927   1980-01-04
Name: date, Length: 10928, dtype: datetime64[ns]

• 20200916...으로 저장되어있던 데이터들이 2020-09-16으로 변환 되고, dtype이 datetime64로 변환 된 것을 확인할 수 있습니다.
• info()함수와 head()함수를 사용하여 데이터 프레임의 정보를 확인해보겠습니다.

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10928 entries, 0 to 10927
Data columns (total 23 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   date           10928 non-null  object 
 1   time           10928 non-null  int64  
 2   start          10928 non-null  int64  
 3   high           10928 non-null  int64  
 4   low            10928 non-null  int64  
 5   close          10928 non-null  int64  
 6   prev           10928 non-null  int64  
 7   volume         10928 non-null  int64  
 8   tr_amount      10928 non-null  int64  
 9   sales_qu       10928 non-null  int64  
 10  purchase_qu    10928 non-null  int64  
 11  li_share       10928 non-null  int64  
 12  market_cap     10928 non-null  int64  
 13  fr_cu_holding  10928 non-null  int64  
 14  fr_cu_ratio    10928 non-null  float64
 15  ad_pr_ratio    10928 non-null  float64
 16  in_net_buy     10928 non-null  int64  
 17  up_do          10928 non-null  int64  
 18  up_do_ratio    10928 non-null  float64
 19  deposit        10928 non-null  int64  
 20  st_turnover    10928 non-null  float64
 21  tr_es_ratio    10928 non-null  float64
 22  sign           10928 non-null  int64  
dtypes: float64(5), int64(17), object(1)
memory usage: 1.9+ MB

df.head(3)

• 데이터 프레임 정보와 데이터를 확인해보면 Datetime으로 변환되지 않았음을 확인할 수 있습니다.
• to_datetime() 함수를 사용하면 astype()함수와 마찬가지로 기존의 데이터프레임 또는 컬럼 시리즈에 반영해 주여야 합니다.
• df['date']에 to_datetime()함수로 변환된 데이터들을 반영하고 다시 한번 데이터 프레임 정보를 확인해 보겠습니다.

df['date'] = pd.to_datetime(df['date'])

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10928 entries, 0 to 10927
Data columns (total 23 columns):
 #   Column         Non-Null Count  Dtype         
---  ------         --------------  -----         
 0   date           10928 non-null  datetime64[ns]
 1   time           10928 non-null  int64         
 2   start          10928 non-null  int64         
 3   high           10928 non-null  int64         
 4   low            10928 non-null  int64         
 5   close          10928 non-null  int64         
 6   prev           10928 non-null  int64         
 7   volume         10928 non-null  int64         
 8   tr_amount      10928 non-null  int64         
 9   sales_qu       10928 non-null  int64         
 10  purchase_qu    10928 non-null  int64         
 11  li_share       10928 non-null  int64         
 12  market_cap     10928 non-null  int64         
 13  fr_cu_holding  10928 non-null  int64         
 14  fr_cu_ratio    10928 non-null  float64       
 15  ad_pr_ratio    10928 non-null  float64       
 16  in_net_buy     10928 non-null  int64         
 17  up_do          10928 non-null  int64         
 18  up_do_ratio    10928 non-null  float64       
 19  deposit        10928 non-null  int64         
 20  st_turnover    10928 non-null  float64       
 21  tr_es_ratio    10928 non-null  float64       
 22  sign           10928 non-null  int64         
dtypes: datetime64[ns](1), float64(5), int64(17)
memory usage: 1.9 MB

df.head(3)

• 다시 확인해본 데이터 프레임 정보와 데이터들을 보면 변환된 형식이 잘 반영된 것을 볼 수 있습니다.

apply() 함수를 이용한 방법

• 다른 방법으로는 apply() 함수를 이용한 방법이 있습니다.
• 판다스의 apply()함수는 argument로 특정 함수와 데이터들을 넘겨주게 되면 결과값들이 반영되게 됩니다.
• datetime 모듈을 import시켜서 문자열로된 데이터들을 Datetime형식으로 변환 해 보겠습니다.

from datetime import datetime

df = pd.read_csv('./DA000020.csv')
df['date']= df['date'].astype('str')

df['date'].apply(lambda _ : datetime.strptime(_,'%Y%m%d'))

0       2020-09-16
1       2020-09-15
2       2020-09-14
3       2020-09-11
4       2020-09-10
           ...    
10923   1980-01-09
10924   1980-01-08
10925   1980-01-07
10926   1980-01-05
10927   1980-01-04
Name: date, Length: 10928, dtype: datetime64[ns]

• apply() 함수에 lambda 식을 통해서 데이터형식이 변환 된 것을 확인 할 수 있습니다.
• 데이터 프레임 정보를 확인해 보겠습니다.

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10928 entries, 0 to 10927
Data columns (total 23 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   date           10928 non-null  object 
 1   time           10928 non-null  int64  
 2   start          10928 non-null  int64  
 3   high           10928 non-null  int64  
 4   low            10928 non-null  int64  
 5   close          10928 non-null  int64  
 6   prev           10928 non-null  int64  
 7   volume         10928 non-null  int64  
 8   tr_amount      10928 non-null  int64  
 9   sales_qu       10928 non-null  int64  
 10  purchase_qu    10928 non-null  int64  
 11  li_share       10928 non-null  int64  
 12  market_cap     10928 non-null  int64  
 13  fr_cu_holding  10928 non-null  int64  
 14  fr_cu_ratio    10928 non-null  float64
 15  ad_pr_ratio    10928 non-null  float64
 16  in_net_buy     10928 non-null  int64  
 17  up_do          10928 non-null  int64  
 18  up_do_ratio    10928 non-null  float64
 19  deposit        10928 non-null  int64  
 20  st_turnover    10928 non-null  float64
 21  tr_es_ratio    10928 non-null  float64
 22  sign           10928 non-null  int64  
dtypes: float64(5), int64(17), object(1)
memory usage: 1.9+ MB

df.head()

• 확인해 보면 기존의 데이터 프레임에 반영 되지 않은 것을 확인 할 수 있습니다.
• apply() 도 to_datetimte()과 마찬가지로 새로운 시리즈로 만들어 지기 때문에 기존의 데이터 프레임에 반영시켜 주어야합니다.

df['date']=df['date'].apply(lambda _ : datetime.strptime(_,'%Y%m%d'))

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10928 entries, 0 to 10927
Data columns (total 23 columns):
 #   Column         Non-Null Count  Dtype         
---  ------         --------------  -----         
 0   date           10928 non-null  datetime64[ns]
 1   time           10928 non-null  int64         
 2   start          10928 non-null  int64         
 3   high           10928 non-null  int64         
 4   low            10928 non-null  int64         
 5   close          10928 non-null  int64         
 6   prev           10928 non-null  int64         
 7   volume         10928 non-null  int64         
 8   tr_amount      10928 non-null  int64         
 9   sales_qu       10928 non-null  int64         
 10  purchase_qu    10928 non-null  int64         
 11  li_share       10928 non-null  int64         
 12  market_cap     10928 non-null  int64         
 13  fr_cu_holding  10928 non-null  int64         
 14  fr_cu_ratio    10928 non-null  float64       
 15  ad_pr_ratio    10928 non-null  float64       
 16  in_net_buy     10928 non-null  int64         
 17  up_do          10928 non-null  int64         
 18  up_do_ratio    10928 non-null  float64       
 19  deposit        10928 non-null  int64         
 20  st_turnover    10928 non-null  float64       
 21  tr_es_ratio    10928 non-null  float64       
 22  sign           10928 non-null  int64         
dtypes: datetime64[ns](1), float64(5), int64(17)
memory usage: 1.9 MB

df.head()

• 데이터 타입을 Datetime으로 변환하는 방법에 대해서 알아 봤습니다.
• 2가지 방법 중 apply()함수를 사용한 방법이 성능이 좀 더 좋다는 의견도 있습니다.
• 개인의 취향에 맞게 선택하여 사용하면 좋을 것 같습니다.

모듈화

• 위의 과정들을 함수로 만들어 모듈로 사용해 보겠습니다.

def transform_datetype(df):
    df['date'] = df['date'].astype('str')
    df['date'] = pd.to_datetime(df['date'])
    return df

df = pd.read_csv('./DA000020.csv')
df = transform_datetype(df)
df