[연구 자동화 #3] Pandas 기초: 수만 행의 실험 데이터를 단 3줄의 코드로 불러오기
연구실에서 가장 흔하게 접하는 데이터 형식은 아마 .csv 혹은 .xlsx일 것입니다. 보통은 이 파일을 확인하기 위해 엑셀을 먼저 실행하죠. 하지만 데이터가 10만 행을 넘어가면 엑셀은 로딩 바를 띄우며 우리의 인내심을 테스트합니다.
파이썬의 핵심 라이브러리인 **Pandas(판다스)**를 사용하면 이런 기다림은 과거의 일이 됩니다. 판다스는 파이썬계의 '엑셀'이라고 불리지만, 그 성능과 확장성은 비교할 수 없을 정도로 강력합니다. 오늘은 복잡한 문법 다 치워버리고, 딱 3줄의 코드로 데이터를 장악하는 법을 알아보겠습니다.
1. 판다스(Pandas)라는 강력한 엔진 이해하기
판다스는 데이터를 'DataFrame'이라는 형식으로 다룹니다. 쉽게 말해 **'파이썬 안에 떠 있는 엑셀 시트'**라고 생각하면 됩니다.
엑셀은 눈에 보이는 셀 하나하나를 수정하는 방식이라 무겁지만, 판다스는 데이터를 메모리에 올린 뒤 행과 열이라는 구조를 통해 연산하기 때문에 수만 줄의 데이터도 눈 깜빡할 사이에 처리합니다. 무엇보다 좋은 점은, 우리가 2편에서 설치한 주피터 노트북에서 이 표를 아주 깔끔하게 확인할 수 있다는 것입니다.
2. 실전: 데이터 로딩을 위한 마법의 3줄 코드
자, 이제 주피터 노트북을 켜고 새 셀에 아래 코드를 입력해 보세요. (실험 데이터 파일이 data.csv라는 이름으로 같은 폴더에 있다고 가정하겠습니다.)
import pandas as pd
# 1. 데이터를 불러와서 df라는 변수에 담기
df = pd.read_csv('data.csv')
# 2. 데이터의 앞부분 5줄만 살짝 보기
print(df.head())
이게 끝입니다. 믿기지 않겠지만, 이 3줄이면 엑셀이 5분 동안 끙끙대며 열던 파일을 0.1초 만에 불러올 수 있습니다. 여기서 df는 DataFrame의 약자로, 앞으로 우리가 다룰 데이터 뭉치를 부르는 이름입니다.
3. 연구원들이 가장 많이 겪는 '로딩 에러' 해결법
코드를 쳤는데 빨간색 에러 메시지가 떴나요? 당황하지 마세요. 연구 데이터 로딩 시 발생하는 에러의 90%는 아래 두 가지 중 하나입니다.
1) 파일 경로 문제 (FileNotFoundError)
파이썬은 파일이 어디 있는지 모르면 화를 냅니다. 가장 쉬운 방법은 주피터 노트북 파일(.ipynb)과 분석할 데이터 파일(.csv)을 같은 폴더에 두는 것입니다. 만약 폴더가 다르다면 파일 이름 대신 전체 경로(C:\Users...)를 적어줘야 합니다.
2) 한글 깨짐 문제 (UnicodeDecodeError) 한국 연구실의 고질병이죠. 엑셀에서 저장한 CSV 파일은 가끔 인코딩 방식이 달라 한글이 깨지거나 에러가 납니다. 그럴 땐 코드 한 단어만 추가해 보세요.
df = pd.read_csv('data.csv', encoding='cp949')이 마법의 주문
encoding='cp949'하나면 웬만한 한글 깨짐은 해결됩니다.
4. 엑셀을 열지 않고도 알 수 있는 것들
데이터를 불러왔다면, 이제 엑셀에서 필터를 걸고 드래그하던 작업들을 코드 한 줄로 끝낼 수 있습니다.
df.info(): 데이터에 빈칸(결측치)이 있는지, 숫자 데이터인지 문자 데이터인지 한눈에 보여줍니다.df.describe(): 평균, 표준편차, 최솟값, 최댓값 등 기초 통계량을 순식간에 계산해 줍니다. 엑셀에서 함수 하나하나 넣던 노가다는 이제 끝입니다.df.shape: 전체 데이터가 몇 행, 몇 열인지 바로 확인합니다.
5. 마치며: 데이터 분석의 '입구'에 서다
처음 엑셀을 버리고 파이썬으로 데이터를 불러왔을 때의 그 쾌감을 저는 아직도 잊지 못합니다. 눈앞에 펼쳐진 깔끔한 데이터 표는 여러분이 이제 더 이상 '노동자'가 아닌 '분석가'임을 증명하는 첫 번째 증거입니다.
데이터를 성공적으로 불러왔다면, 여러분은 이미 연구 자동화의 절반을 성공한 셈입니다. 이제 이 데이터를 깎고 다듬어서 의미 있는 결과를 도출하는 일만 남았습니다.
## 핵심 요약
Pandas는 대용량 데이터를 메모리상에서 효율적으로 처리하는 파이썬 필수 라이브러리입니다.
pd.read_csv()함수를 사용하면 단 한 줄로 수만 줄의 데이터를 변수(df)에 담을 수 있습니다.한글 깨짐 에러가 발생할 경우
encoding='cp949'옵션을 활용하여 해결할 수 있습니다.
## 다음 편 예고
재료를 가져왔으니 이제 불순물을 제거해야겠죠? 다음 시간에는 데이터 분석의 꽃이라 불리는 [데이터 전처리(Cleaning): 불필요한 행/열 삭제하고 결측치 처리하기]를 배워보겠습니다. 엉망진창인 실험 데이터를 깔끔하게 세탁하는 노하우를 공개합니다.
## 소통 질문
여러분이 다루는 실험 데이터 중 가장 골치 아픈 형식은 무엇인가요? (예: 파일이 너무 많음, 열 이름이 이상함, 빈칸이 너무 많음 등) 댓글로 남겨주시면 4편에서 그 해결책을 다뤄보겠습니다!
댓글
댓글 쓰기