9. [파이썬] iterator와 generator

💡 본 포스팅은 수업 내용, 교재, ChatGPT를 참고하여 정리한 학습 기록입니다.
글과 그림 등 모든 콘텐츠의 정리 및 작성은 본 블로그에서 직접 제작되었습니다.

 

 

Python 기초부터 Streamlilt 데이터 시각화까지 정리하는 학습 기록입니다.

이 글은 '9. [파이썬] iterator와 generator' 입니다.

 

 

파이썬을 공부하다보면 for문은 익숙한데, 정작 그 뒤에서 실제로 무엇이 돌아가는지는 잘 의식하지 않게 된다.

리스트, 튜플, 문자열, 딕셔너리, set 같은 자료형을 자연스럽게 반복해왔지만, 그 반복을 가능하게 만드는 핵심 개념이 바로 iterable, iterator, generator 다.

 

특히 이전 포스팅에서 다룬 map()과 filter()가 결과를 즉시 리스트로 만들지 않고 iterator 성격의 객체를 반환한다는 점은, 이번 주제오 ㅏ바로 연결된다.

 

이번 글에서는 그 흐름을 이어 받아, 반복 가능한 객체와 반복자, 그리고 yield를 이용한 generator 까지 한 번에 정리해보려고 한다.

 

 

반복 가능한 객체는 무엇일까

우리가 평소 for문에 넣는 대부분의 대상은 iterable 이다.

말 그대로 "반복 가능한 객체"라는 뜻이다.

 

예를 들어 리스트는 대표적인 iterable 이다.

topics = ["python", "sql", "streamlit"]

for topic in topics:
    print(topic)

 

실행 결과

python
sql
streamlit

 

문자열도 iterable 이다.

for ch in "data":
    print(ch, end=" ")

 

실행 결과

d a t a

 

딕셔너리도 iterable 이다. 다만 기본적으로는 key를 순회한다.

profile = {"name": "Matt", "track": "data"}
for key in profile:
    print(key, profile[key])

 

실행 결과

name Matt
track data

 

즉, iterable은 "for 문이 받아서 하나씩 꺼낼 수 있는 객체"라고 생각하면 가장 이해하기 쉽다.

 

 

iterable과 iterator는 같은 말이 아니다

iterable과 iterator는 비슷해 보이지만 같은 개념이 아니다.

• iterable : 반복할 수 있는 객체
• iterator : 실제로 다음 값을 하나씩 꺼내는 객체

리스트를 예로 보면 더 분명하다.

numbers = [10, 20, 30]
print(numbers)
print(iter(numbers))

 

실행 결과

[10, 20, 30]
<list_iterator object at 0x...>

 

리스트 자체는 iterable이고, iter(numbers)를 했을 때 만들어지는 것이 iterator이다.

 

즉, 리스트는 "반복 가능한 원본"이고, iterator는 "현재 어디까지 읽었는지 기억하면서 하나씩 꺼내는 도구"라고 보면 된다.

 

 

iter()와 next()로 직접 확인해보기

for문이 내부적으로 하는 일을 직접 보고 싶다면 iter()와 next()를 써보면 좋다.

numbers = [10, 20, 30]
iterator = iter(numbers)

print(next(iterator))
print(next(iterator))
print(next(iterator))

 

실행 결과

10
20
30

 

여기서 iterator는 현재 위치를 기억하고 있다.

이미 한 번 꺼낸 값은 다시 처음부터 자동으로 돌아가지 않는다.

 

그리고 끝까지 다 꺼낸 뒤에 한 번 더 next()를 호출하면 예외가 발생한다.

numbers = [10, 20]
iterator = iter(numbers)

print(next(iterator))
print(next(iterator))
print(next(iterator))

 

실행 결과

10
20
StopIteration

 

StopIteration은 매우 중요하다.

iterator는 더 이상 꺼낼 값이 없을 때 이 예외로 "반복 종료"를 알려준다.

 

 

for문은 내부적으로 next()를 호출한다

우리가 직접 next()를 자주 쓰지는 않지만, 사실 for문은 내부적으로 iterator를 만들고 next()를 반복 호출하는 방식으로 동작한다.

 

다음 두 코드는 개념적으로 비슷하다.

scores = [80, 90, 100]

for score in scores:
    print(score)

 

실행 결과

80
90
100

 

이것을 조금 풀어서 쓰면 이런 느낌이다.

scores = [80, 90, 100]
iterator = iter(scores)

while True:
    try:
        score = next(iterator)
        print(score)
    except StopIteration:
        break

 

실행 결과는 같다.

즉, for문은 단순 문법이 아니라, iterable을 iterator로 바꾸고 반복을 관리해주는 편리한 문법이라고 볼 수 있다.

 

 

map()과 filter()가 iterator라는 점도 연결된다

이전 포스팅에서 다룬 map()과 filter()는 Python 3에서 리스트를 바로 반환하지 않는다.

이들은 iterator 성격의 객체를 반환한다.

mapped = map(lambda x: x * 2, [1, 2, 3])
filtered = filter(lambda x: x >= 2, [1, 2, 3])

print(mapped)
print(filtered)

 

실행 결과

<map object at 0x...>
<filter object at 0x...>

 

실제 값을 보려면 꺼내야 한다.

mapped = map(lambda x: x * 2, [1, 2, 3])
filtered = filter(lambda x: x >= 2, [1, 2, 3])

print(list(mapped))
print(list(filtered))

 

실행 결과

[2, 4, 6]
[2, 3]

 

이 점이 중요한 이유는,

map()과 filter()가 결과를 미리 전부 만들어놓지 않고 필요할 때 하나씩 만들어낼 수 있는 구조라는 데 있다.

이게 바로 iterator의 장점과 연결된다.

 

 

iterator는 한 번 소모되면 다시 써야 한다

iterator는 현재 위치를 기억하므로, 한 번 끝까지 사용하면 다시 처음부터 읽히지 않는다.

items = iter(["a", "b", "c"])

print(list(items))
print(list(items))

 

실행 결과

['a', 'b', 'c']
[]

 

첫 번째 list(items)에서 이미 모든 값을 소비했기 때문에, 두 번째에는 빈 리스트가 나온다.

이 성질은 generator에서도 똑같이 나타난다.

즉, iterator는 "반복가능한 저장소"라기보다 "흐름을 앞으로 흘려보내는 객체"에 가깝다.

 

 

generator란 무엇인가

generator는 iterator를 쉽게 만드는 특별한 함수다.

일반 함수는 return을 만나면 값을 하나 돌려주고 끝나지만, generator 함수는 yield를 사용해서 값을 하나씩 순차적으로 내보낼 수 있다.

 

가장 기본적인 예제를 보자.

def simple_generator():
    yield 1
    yield 2
    yield 3

gen = simple_generator()
print(gen)
print(next(gen))
print(next(gen))
print(next(gen))

 

실행 결과

<generator object simple_generator at 0x...>
1
2
3

 

즉, generator 함수는 호출한다고 해서 바로 내부 코드가 전부 실행되는 것이 아니라,

generator 객체를 반환하고 필요할 때마다 한 단계씩 진행된다.

 

 

yield는 return과 어떻게 다를까

이 차이는 매우 중요하다.

먼저 일반 함수는 return을 만나면 종료된다.

def normal_function():
    print("start")
    return 100
    print("end")

print(normal_function())

 

실행 결과

start
100

 

반면 generator는 yield에서 잠시 멈춘 뒤, 다음 호출 때 이어서 실행된다.

def number_flow():
    print("first")
    yield 10
    print("second")
    yield 20
    print("third")
    yield 30

gen = number_flow()

print(next(gen))
print(next(gen))
print(next(gen))

 

실행 결과

first
10
second
20
third
30

 

즉, yield는 값을 내보내면서 함수의 실행 상태를 잠시 저장해둔다.

그래서 다음 next() 호출 때 이전 지점부터 다시 이어서 실행할 수 있다.

 

 

generator도 for문으로 자연스럽게 순회할 수 있다

실제로는 next()를 하나씩 쓰기보다, for문으로 많이 사용한다.

def countdown():
    yield 3
    yield 2
    yield 1

for number in countdown():
    print(number)

 

실행 결과

3
2
1

 

이렇게 보면 generator도 결국 iterator의 한 종류라는 것이 자연스럽게 이해된다.

for문은 generator를 받아도 똑같이 잘 동작한다.

 

 

range()도 비슷한 철학으로 이해할 수 있다

우리가 자주 쓰는 range()는 리스트처럼 생긴 값을 전부 미리 들고 있는 것이 아니라, 필요할 때 값을 계산해서 제공하는 쪽에 가깝다.

r = range(5)

print(r)
print(list(r))

 

실행 결과

range(0, 5)
[0, 1, 2, 3, 4]

 

range() 자체는 generator는 아니지만,

"모든 값을 한 번에 리스트로 만들어 저장하지 않고, 반복할 때 필요한 값을 제공한다"는 점에서 iterator/generator의 학습 감각과 잘 연결된다고 한다.

 

 

generator가 왜 중요한가

generator의 가장 큰 장점은 '메모리를 아낄 수 있다'는 점이다.

모든 데이터를 한꺼번에 만들어 저장하지 않고, 필요할 때마다 하나씩 생성할 수 있기 때문이다.

 

예를 들어 큰 수 범위를 다룰 때 차이가 크다.

numbers_gen = (n * 2 for n in range(5))
print(numbers_gen)
print(list(numbers_gen))

 

실행 결과

<generator object <genexpr> at 0x...>
[0, 2, 4, 6, 8]

 

겉으로 보이는 결과는 비슷하지만, 내부 철학은 다르다.

• 리스트 컴프리헨션 : 결과를 한 번에 메모리에 생성
• generator expression : 필요할 때마다 값 생성

작은 데이터에서는 차이를 체감하기 어렵지만, 데이터가 커질수록 이 차이는 매우 중요해진다.

 

 

generator expression

리스트 컴프리헨션을 배웠다면 generator expression도 함께 알아두는 것이 좋다.

squares_list = [n ** 2 for n in range(1, 6)]
squares_gen = (n ** 2 for n in range(1, 6))

print(squares_list)
print(squares_gen)
print(next(squares_gen))
print(next(squares_gen))

 

실행 결과

[1, 4, 9, 16, 25]
<generator object <genexpr> at 0x...>
1
4

 

문법 차이는 대괄호 [ ] 대신 소괄호 ( )를 쓴다는 점인데, 의미 차이는 훨씬 크다.

리스트는 완성된 결과이고, generator expression은 "나중에 하나씩 꺼낼 수 있는 흐름"이다.

 

 

실무에 쓰이는 예제

generator는 파일 읽기, 로그 처리, 대용량 데이터 처리, API 응답 스트리밍 같은 곳에서 특히 강력하다.

예를 들어 아주 많은 줄이 있는 파일을 한꺼번에 전부 리스트로 읽어들이는 대신, 한 줄씩 처리하는 방식이 가능하다.

 

아래와 같은 느낌으로 이해하면 충분하다.

def even_numbers(limit):
    for n in range(limit + 1):
        if n % 2 == 0:
            yield n

for value in even_numbers(10):
    print(value, end=" ")

 

실행 결과

0 2 4 6 8 10

 

이 함수는 짝수 전체를 미리 리스트로 만드는 대신, 하나씩 차례대로 내보낸다.

이런 방식은 데이터가 커질수록 훨씬 유리하다.

 

 

iterable, iterator, generator를 한 번에 비교해보자

리스트는 iterable 이다.

data = [1, 2, 3]
print(hasattr(data, "__iter__"))
print(hasattr(data, "__next__"))

 

실행 결과

True
False

 

리스트로부터 만든 iterator는 다음 값을 꺼낼 수 있다.

data_iter = iter(data)
print(hasattr(data_iter, "__iter__"))
print(hasattr(data_iter, "__next__"))

 

실행 결과

True
True

 

generator도 iterator의 한 종류다.

gen = (x for x in range(3))
print(hasattr(gen, "__iter__"))
print(hasattr(gen, "__next__"))

 

실행 결과

True
True

 

즉, 관계를 정리하면 이렇다.

• 리스트, 문자열, 튜플, 딕셔너리, set 등은 iterable
• iter(리스트) 결과는 iterator
• generator는 iterator를 쉽게 만드는 특별한 형태

 

 

실수하기 쉬운 포인트

첫째, iterable과 iterator를 같은 것으로 보면 안 된다.

리스트는 iterable이지만, 바로 next(리스트)를 할 수는 없다.

items = [1, 2, 3]
# next(items)   # TypeError

 

반드시 iter()로 iterator를 만들어야 한다.

items = [1, 2, 3]
it = iter(items)
print(next(it))

 

실행 결과

1

 

둘째, iterator는 한 번 소비되면 끝이다.

같은 iterator를 다시 처음부터 쓰고 싶다면 새로 만들어야 한다.

 

셋째, generator 함수는 return이 아니라 yield를 중심으로 이해해야 한다.

yield는 값을 내보내고 끝나는 것이 아니라, 잠시 멈춘 뒤 다음 호출에 이어서 실행된다는 점이 핵심이다.

 

넷째, 리스트 컴프리헨션과 generator expression은 문법이 비슷하지만 동작 방식은 다르다.

하나는 즉시 결과를 만들고, 다른 하나는 필요할 때 값을 만든다.

 

 

마무리

iterator와 generator는 처음에는 조금 추상적으로 느껴질 수 있지만, 사실 파이썬의 반복 구조를 이해하는 핵심 개념이다.

우리가 익숙하게 사용해온 for문, map(), filter(), range() 같은 것들이 모두 이 흐름과 연결되어 있다.