머신러닝을 시작할 때 먼저 알아야 할 것들

파이썬, scikit-learn, 그리고 필수 도구까지

머신러닝을 처음 공부할 때 많은 사람이 곧바로 알고리즘부터 배우고 싶어 한다. k-최근접 이웃, 선형회귀, 결정트리 같은 이름을 접하면 뭔가 본격적인 공부가 시작되는 것 같기 때문이다. 하지만 실제로 머신러닝의 출발점은 알고리즘의 이름을 외우는 데 있지 않다. 먼저 해야할 일은 어떤 문제를 풀고 싶은지 이해하고, 그 문제를 데이터로 어떻게 표현할 수 있는지 파악하는 것이다. 이 출발점을 놓치면 이후에 어떤 모델을 배우더라도 전체 흐름을 잡기가 어려울 것이다.

 

머신러닝은 결국 데이터를 바탕으로 어떤 규칙이나 패턴을 학습하고, 그 학습 결과를 이용해 예측이나 판단을 수행하는 방법이다. 그런데 여기서 중요한 점은 머신러닝이 마법처럼 정답을 만들어내는 기술이 아니라는 점이다. 입력되는 데이터가 무엇인지, 우리가 예측하고 싶은 대상이 무엇인지, 그 데이터가 현실의 문제를 얼마나 잘 반영하는지에 따라 결과는 크게 달라진다. 그래서 머신러닝 공부의 첫 단계에서는 모델보다 먼저 문제와 데이터의 관계를 이해해야 한다.

 

예를 들어 고객 이탈 여부를 예측하고 싶다고 해보자. 이 경우 우리가 풀고 싶은 문제는 "어떤 고객이 서비스를 떠날 가능성이 높은가"라는 질문이 된다. 그렇다면 데이터에는 고객의 연령, 가입 기간, 구매 빈도, 문의 이력, 사용 패턴 같은 정보가 들어갈 수 있다. 이 정보들은 머신러닝에서 흔히 특성(feature) 이라고 부른다. 그리고 최종적으로 예측하고 싶은 값, 즉 이탈 여부 자체는 타깃(target) 이라고 부른다. 결국 머신러닝은 여러 특성을 바탕으로 타깃을 예측하는 구조로 이해할 수 있다.

 

이 과정에서 가장 자주 생기는 오해 중 하나는 "좋은 알고리즘만 쓰면 성능이 나온다"는 생각이다. 실제로는 그 반대에 가깝다. 대체로 성능을 좌우하는 가장 큰 요인은 알고리즘보다 데이터이다. 데이터가 부족하거나, 중요한 정보가 빠져 있거나, 값이 잘못 기록되어 있으면 아무리 유명한 모델을 써도 좋은 결과를 기대하기 어렵다. 머신러닝 분야에서 자주 언급되는 "Garbage In, Garbage Out"이라는 표현도 바로 이 점을 가리킨다. 잘못된 데이터가 들어가면 잘못된 결과가 나온다는 뜻이다. 그래서 머신러닝은 모델링의 기술이면서 동시에 데이터를 이해하는 기술이기도 하다.

 

문제를 이해할 때는 그것이 어떤 유형에 속하는지도 함께 생각해야 한다. 누군가가 스팸 메일인지 아닌지를 구분하고 싶다면 보통 "스팸이다 / 아니다"처럼 범주로 나뉜다. 이런 분제는 분류(classification) 문제라고 한다. 반대로 집값이나 매출처럼 연속적인 숫자를 예측하고 싶다면 이는 회귀(regression) 문제라고 한다. 이 구분은 매우 중요하다. 왜냐하면 어떤 종류의 문제인지에 따라 사용할 수 있는 알고리즘과 평가 방법이 달라지기 때문이다. 처음에는 이 차이가 사소해 보일 수 있지만, 머신러닝의 전체 구조를 이해하는 데 핵심이 되는 출발점이다.

 

이제 자연스럽게 다음 질문으로 넘어가게 된다. 그렇다면 이러한 머신러닝 작업은 어떤 언어와 도구로 수행하는 것이 좋을까. 현재 가장 널리 사용되는 선택지는 단연 파이썬(Python) 이다. 파이썬이 머신러닝의 대표 언어가 된 데이는 분명한 이유가 있다. 첫째, 문법이 비교적 단순하고 읽기 쉽다. 프로그래밍 경험이 많지 않은 사람도 기본 문법을 익히면 데이터를 불러오고, 가공하고, 모델을 학습시키는 흐름을 빠르게 따라갈 수 있다. 둘째, 머신러닝과 데이터 분석에 필요한 생태계가 매우 잘 갖추어져 있다. 숫자 계산을 위한 라이브러리, 데이터프레임을 다루는 도구, 시각화 도구, 머신러닝 전용 라이브러리까지 대부분 파이썬 안에서 유기적으로 연결된다. 셋째, 학습 자료와 예제가 풍부하다. 초심자 입장에서는 막히는 지점이 생겼을 때 참고할 자료가 많다는 것 자체가 큰 장점이다.

 

파이썬이 좋은 이유를 조금 더 현실적으로 말하면, "혼자 공부하기에도 좋고, 실무로 이어지기에도 좋은 언어"이기 때문이다. 데이터 분석과 머신러닝 분야에서 파이썬은 사실상 공용어처럼 쓰인다. 따라서 지금 파이썬으로 공부하는 것은 단지 한 가지 언어를 배우는 것이 아니라, 이후에 더 많은 도구와 예제를 이해할 수 있는 기반을 마련하는 일이기도 하다.

 

파이썬 환경에서 머신러닝을 처음 배울 때 가장 많이 접하게되는 라이브러리가 scikit-learn 이다. 이 라이브러리는 초심자에게 특히 좋은 출발점이 된다. 이유는 복잡한 알고리즘을 비교적 일관된 방식으로 사용할 수 있게 해주기 때문이다. 머신러닝 모델을 다룰 때 보통 fit, predict, score 같은 공통된 메서드를 사용하게 되는데, scikit-learn은 이 구조를 매우 잘 통일해 두었다. 덕분에 한 알고리즘을 배운 뒤 다른 알고리즘으로 넘어갈 때도 사용 방식이 완전히 낯설게 느껴지지 않는다.

 

예를 들어 어떤 모델을 학습시킨다고 할 때 fit은 데이터를 바탕으로 모델이 규칙을 학습하는 단계이고, predict는 그렇게 학습한 모델로 새로운 데이터에 대한 예측값을 만드는 단계이다. 초심자에게는 이 두 단계만 명확히 이해하도 전체 흐름이 훨씬 정리된다. 즉, 데이터를 준비한 뒤 모델을 학습시키고, 그다음 새로운 입력에 대해 결과를 예측하는 것이 머신러닝 실습의 기본 골격인 것이다. scikit-learn은 이 과정을 비교적 깔끔하게 보여주기 때문에 입문용으로 매우 적합하다.

 

다만 머신러닝 공부가 scikit-learn 하나만으로 이루어지는 것은 아니다. 오히려 실제로는 그 주변의 도구들을 함께 익혀야 전체 그림이 보인다. 머신러닝 모델을 사용하기 전에 데이터를 불러와야 하고, 데이터를 정리해야 하며, 숫자 계산을 수행해야 하고, 결과를 시각화해 확인해야 하기 때문이다. 그래서 머신러닝 입문에서는 몇 가지 필수 라이브러리와 작업 환경을 함께 익히는 것이 중요하다.

 

가장 먼저 익히게 되는 작업 환경 중 하나가 주피터 노트북(Jupyter Notebook) 이다. 주피터 노트북은 코드와 실행 결과, 설명 문장을 한 화면에서 함께 다룰 수 있는 환경이다. 일반적인 파이썬 파일 코드를 작성하고 실행하는 흐름에 집중되어 있지만, 주피터 노트북은 "설명하면서 실험하는 방식"에 훨씬 잘 맞는다. 셀 단위로 코드를 나누어 실행 할 수 있기 때문에 데이터를 조금씩 확인하면서 진행하기 좋고, 중간 결과를 바로바로 눈으로 확인할 수 있다. 그래서 데이터 분석이나 머신러닝 입문에서는 거의 표준처럼 사용된다.

 

특히 초심자에게 주피터 노트북이 좋은 이유는, 공부 과정 자체를 기록처럼 남길 수 있기 때문이다. 단순히 코드를 실행하는 데 그치지 않고, "왜 이런 전처리를 했는지", "이 그래프에서 무엇을 확인했는지", "모델 결과를 어떻게 해석해야 하는지"를 함께 적어둘 수 있다. 즉, 노트북은 실행 도구인 동시에 학습 노트의 역할도 한다. 머신러닝을 처음 배울 때는 결과보다 과정이 더 중요할 때가 많은데, 주피너 노트북은 그 과정을 자연스럽게 정리하게 해준다.

 

수치 계산의 핵심에는 NumPy가 있다. NumPy는 파이썬에서 배열(array)을 효율적으로 다루기 위한 라이브러리이다. 파이썬의 기본 리스트로도 숫자를 저장할 수는 있지만, 대규모 수치 계산이나 행렬 연산을 빠르게 수행하기에는 한계가 있다. NumPy는 이런 작업을 훨씬 효율적으로 처리할 수 있도록 설계되어 있다. 머신러닝에서 다루는 데이터는 결국 숫자의 집합인 경우가 많기 때문에, NumPy는 눈에 보이지 않는 곳에서 거의 모든 계산의 기반이된다.

 

NumPy를 이해할 때 중요한 개념은 "배열 기반 연산"이다. 예를 들어 같은 길이의 숫자 묶음 두 개에 대해 각각 더하거나 곱하는 연산을 매우 빠르게 수행할 수 있다. 또한 여러 값에 대해 반복문을 하나하나 돌리지 않아도 한 번에 계산하는 벡터화(vectorization)가 가능하다. 초심자 입장에서는 처음부터 벡터화라는 용어를 완벽히 이해할 필요는 없지만, "NumPy는 많은 숫자를 한꺼번에 빠르게 처리하기 위해 존재한다" 정도로 이해해두면 충분할 것이다.

 

NumPy와 자주 함께 언급되는 라이브러리가 SciPy이다. SciPy는 NumPy를 바탕으로 더 고급의 과학 계산 기능을 제공한다. 선형대수, 최적화, 확률 분포, 신호 처리 등 다양한 기능이 포함되어 있다. 머신러닝을 아주 처음 배울 때는 SciPy를 직접 많이 쓰지 않을 수도 있다. 하지만 배경에서 여러 계산을 지원하고 있으며, 파이썬 과학 계산 생태계의 중요한 축이라는 점은 알아둘 필요가 있다. 쉽게 말해 NumPy가 기본적인 수치 계산의 토대라면, SciPy는 그 위에서 보다 전문적인 계산 도구들을 제공하는 확장판에 가깝다.

 

머신러닝에서 숫자만 보는 것은 부족할 때가 많다. 데이터를 이해하려면 시각화가 필요하다. 그때 가장 기본이 되는 도구가 matplotlib이다. matplotlib은 그래프를 그리는 라이브러리로, 선 그래프, 막대 그래프, 산점도, 히스토그램 같은 기본적인 시각화를 만들 수 있다. 데이터 분석 초반에는 모델을 학습시키기 전에 데이터의 분포를 먼저 확인하는 일이 중요하다. 값이 한 쪽에 치우쳐 있는지, 이상치(outlier)가 있는지, 두 변수 사이에 대략적인 관계가 보이는지 등을 그림으로 확인하면 숫자만 볼 때보다 훨씬 직관적으로 이해할 수 있다.

 

예를 들어 특정 변수의 분포를 보고 싶다면 히스토그램을 그릴 수 있고, 두 수치형 변수의 관계를 보고 싶다면 산점도를 사용할 수 있다. 처음에는 "그래프를 예쁘게 그리는 것"보다 "데이터를 이해하기 위해 그래프를 그리는 것"이 더 중요하다. matplotlib은 바로 이런 기본기에 충실한 도구이다. 복잡한 시각화 라이브러리로 넘어가기 전에, 가장 먼저 데이터의 형태를 눈으로 확인하는 습관을 들이는 데 적합하다.

 

그리고 데이터 분석과 머신러닝 실습에서 가장 자주 사용하는 라이브러리가 바로 pandas이다. pandas는 표 형태의 데이터를 다루기 위한 도구이며, 실제로는 엑셀보다 훨씬 강력한 데이터 작업 도구라고 생가개도 무방하다. CSV 파일을 불러오고, 필요한 열만 선택하고, 결측치를 처리하고, 조건에 맞는 행을 필터링하고, 그룹별 통계를 내는 작업 등이 모두 pandas를 중심으로 이루어진다. 머신러닝 모델을 학습시키기 전에 데이터를 정리하는 시간은 생각보다 길다. 그래서 현업에서도 "머신러닝보다 pandas를 더 많이 쓴다"는 말이 나온다고 한다.

 

pandas의 핵심 객체는 DataFrame이다. DataFrame은 행과 열로 이루어진 2차원 표 구조이며, 엑셀 시트와 비슷한 느낌으로 이해할 수 있다. 다만 단순히 표를 보는 데 그치지 않고, 프로그래밍 방식으로 데이터를 체계적으로 조작할 수 있다는 점이 다르다. 예를 들어 어떤 열의 값만 골라서 평균을 내거나, 특정 조건을 만족하는 데이터만 추출하거나, 날짜 형식을 변환하는 작업을 손쉽게 수행할 수 있다. 초심자에게 pandas는 처음엔 가장 헷갈릴 수 있는 도구이기도 하지만, 동시에 한 번 익혀두면 데이터 다루는 감각이 확실히 달라지는 핵심 도구이다.

 

여기까지 정리하면, 머신러닝을 시작하는 단계에서 가장 먼저 익혀야 할 것은 의외로 알고리즘 자체가 아니라는 점이 보인다. 먼저 문제를 정의하고, 그 문제를 데이터로 표현할 수 있어야 한다. 그리고 그 데이터를 다루기 위해 파이썬 환경을 이해하고, scikit-learn을 중심으로 NumPy, SciPy, matplotlib, pandas, 주피터 노트북 같은 도구들을 함께 익혀야 한다. 이 도구들은 각각 따로 떨어진 것이 아니라, 실제 작업 흐름 안에서 서로 연결되어 있다. pandas로 데이터를 읽고 정리한 뒤, matplotlib으로 분포를 화긴하고, NumPy 기반의 배열 형태로 계산을 수행하며, scikit-learn으로 모델을 학습하는 식이다. 머신러닝은 결국 이 전체 흐름을 이해하는 공부라고 할 수 있겠다.

 

비전공자로서 머신러닝, 딥러닝을 공부할 때, 무엇을 먼저 이해하고 어디에 초점을 두어야하는지 차근차근 정리해보았다.