Python | Generator (제너레이터)

728x90

 

 

제너레이터 (Generator)¶

---

많은 양의 데이터를 처리하다보면 엄청냔 양의 메모리 공간이 필요하게 된다.

예를들어 일반적인 for 문의 경우 5개의 데이터를 한번에 메모리 공간 상에 두고 하나씩 처리가하게 되는데, 이 방법은 데이터의 양이 많아질 수록 효율적이지 못하다.

이런 상황에더 더욱 효율적으로 사용하기 위한 방법으로 제너레이터가 있다.

예를 들면, 일반적인 반복문은 다음과 같다.

In [4]:

my_list = ['a','b','c','d']

# 인자로 받은 리스트를 가공해서 만든 데이터셋 리스트를 리턴하는 함수
def get_dataset_list(my_list):
    result_list = []
    for i in range(2):
        for j in my_list:
            result_list.append((i, j))
    print('>>  {} data loaded..'.format(len(result_list)))
    return result_list

for X, y in get_dataset_list(my_list):
    print(X, y)

 

>>  8 data loaded..
0 a
0 b
0 c
0 d
1 a
1 b
1 c
1 d

 

a, b, c, d 의 값을 모두 메모리 공간상에 두고 차례로 처리하게 된다.

하지만 제너레이터 방법은

In [5]:

my_list = ['a','b','c','d']

# 인자로 받은 리스트로부터 데이터를 하나씩 가져오는 제너레이터를 리턴하는 함수
def get_dataset_generator(my_list):
    result_list = []
    for i in range(2):
        for j in my_list:
            yield (i, j)
            print('>>  1 data loaded..')

dataset_generator = get_dataset_generator(my_list)
for X, y in dataset_generator:
    print(X, y)

 

0 a
>>  1 data loaded..
0 b
>>  1 data loaded..
0 c
>>  1 data loaded..
0 d
>>  1 data loaded..
1 a
>>  1 data loaded..
1 b
>>  1 data loaded..
1 c
>>  1 data loaded..
1 d
>>  1 data loaded..

 

데이터를 모두 메모리 공간상에 두고 불러오는 것이 아니라 필요한 것만 차례로 불러다 쓰게된다. 즉, 데이터를 로드하는 시점이 다르며, 이는 앞으로 머신러닝이라는 많은 양의 데이터를 다루고 사용해야할 경우 유용하게 사용된다.