복사 붙여넣기 지옥 탈출! 파이썬 웹 크롤링으로 인터넷 데이터 엑셀에 자동 수집하기

 

매일 아침 출근하자마자 하는 일이 혹시 인터넷 창을 띄우는 것인가요? 환율 정보, 경쟁사 쇼핑몰의 상품 가격, 오늘의 주요 뉴스 제목 등을 마우스로 쭉 드래그해서 복사(Ctrl+C)한 뒤, 엑셀을 열고 붙여넣기(Ctrl+V)를 반복하고 계시다면 오늘 이 글이 여러분의 아침 시간을 완벽하게 바꿔놓을 것입니다.

사람이 눈으로 보고 마우스로 긁어오는 작업을 컴퓨터가 대신 눈 깜짝할 사이에 해치우는 기술, 바로 '웹 크롤링(Web Crawling)'입니다. 파이썬과 판다스(Pandas)를 결합하면 인터넷상의 데이터를 1초 만에 긁어와서 깔끔한 엑셀 표로 저장할 수 있습니다. 오늘은 파이썬 크롤링의 국민 도구인 BeautifulSoup을 활용해 웹 데이터를 수집하는 기초를 다져보겠습니다.



1. 웹 크롤링의 두 가지 필수 무기

인터넷의 데이터를 가져오려면 파이썬에게 두 가지 도구를 쥐여주어야 합니다.

  • requests (요청하기): 인터넷 주소창에 URL을 입력하고 엔터를 치는 역할을 합니다. 웹페이지의 전체 소스코드(HTML)를 통째로 다운받아 옵니다.
  • BeautifulSoup (요리하기): requests가 가져온 복잡한 외계어 같은 소스코드 속에서, 우리가 원하는 진짜 데이터(텍스트)만 예쁘게 발라내는 정교한 칼잡이 역할을 합니다.

코드를 작성하기 전, 주피터 노트북이나 터미널에서 pip install requests beautifulsoup4를 입력해 두 도구를 설치해 줍니다. (판다스는 이미 설치되어 있다고 가정합니다.)


2. F12 개발자 도구로 데이터의 '이름표' 찾기

컴퓨터는 사람처럼 "저기 굵은 글씨로 적힌 뉴스 제목 좀 가져와"라고 말하면 알아듣지 못합니다. 웹사이트의 모든 글씨에는 고유한 'HTML 태그와 클래스 이름'이 붙어있으며, 우리는 이 이름표를 파이썬에게 알려주어야 합니다.

크롬(Chrome) 브라우저에서 원하는 데이터가 있는 웹페이지를 띄운 뒤, 키보드 F12를 눌러보세요. 우측에 복잡한 창(개발자 도구)이 뜹니다. 여기서 마우스 화살표 모양 아이콘을 클릭하고 화면의 텍스트를 클릭해 보면, 그 글씨가 <a class="title_text"> 처럼 어떤 이름표를 달고 있는지 확인할 수 있습니다.


3. 크롤링부터 엑셀 저장까지 한 번에 (실전 코드)

이제 인터넷에 있는 뉴스 제목들을 긁어와서 엑셀로 저장하는 코드를 작성해 보겠습니다. (웹사이트의 구조는 예시이며, 실제 사이트의 클래스 이름에 맞게 수정하여 사용합니다.)

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 1. 봇 차단 방지를 위한 User-Agent 설정 (마치 사람이 접속한 것처럼 위장)
headers = {'User-Agent': 'Mozilla/5.0'}

# 2. 웹페이지 접속해서 데이터 가져오기
url = 'https://news.naver.com/main/main.naver?mode=LSD&mid=shm&sid1=105'
response = requests.get(url, headers=headers)

# 3. 뷰티풀수프(BeautifulSoup)로 데이터 요리하기
soup = BeautifulSoup(response.text, 'html.parser')

# 4. F12로 찾은 이름표(예: class가 'sh_text_headline'인 a 태그)를 가진 모든 데이터 찾기
titles = soup.find_all('a', class_='sh_text_headline')

# 5. 빈 상자(리스트)를 만들고, 태그를 떼어낸 순수 텍스트만 차곡차곡 담기
title_list = []
for title in titles:
    title_list.append(title.text.strip())

# 6. 수집한 데이터를 판다스 데이터프레임으로 만들고 엑셀로 저장하기!
df = pd.DataFrame({'오늘의 뉴스 제목': title_list})
df.to_excel('뉴스수집결과.xlsx', index=False)
print("크롤링 및 엑셀 저장 완료!")

이 코드를 실행하고 폴더를 확인해 보세요! 매일 아침 마우스로 드래그하고 복사해서 붙여넣던 그 데이터들이 뉴스수집결과.xlsx 파일 안에 깔끔하게 정리되어 들어간 것을 볼 수 있습니다. 15편에서 배운 bat 파일로 만들어두면, 더블클릭 한 번에 최신 정보가 담긴 엑셀이 매일 새롭게 탄생하는 것입니다.


크롤링 시 주의사항 (서버에 매너 지키기)

웹 크롤링은 너무나 강력하고 편리한 기술이지만 주의할 점이 있습니다. for 반복문을 돌리면서 1초에 수천 번씩 데이터를 가져오도록 코드를 짜면, 상대방 웹사이트 서버가 공격(DDoS)을 받는 것으로 인식하여 여러분의 아이피(IP)를 차단해 버릴 수 있습니다. 코드를 짤 때는 항상 time.sleep(2) 같은 휴식 코드를 넣어 기계가 아닌 사람의 속도처럼 여유롭게 수집하는 매너를 지켜주셔야 합니다.


▶ 핵심 요약

  • 웹 크롤링을 위해서는 웹페이지를 다운받는 requests와, HTML 코드에서 필요한 데이터만 발라내는 BeautifulSoup 라이브러리가 필요합니다.
  • 브라우저에서 F12 개발자 도구를 활용해 내가 가져오고 싶은 데이터의 태그(Tag)와 클래스(Class) 이름을 확인해야 파이썬에게 정확한 명령을 내릴 수 있습니다.
  • soup.find_all()로 수집한 데이터를 텍스트만 추출해 리스트에 담은 뒤, 판다스의 to_excel()을 사용하면 순식간에 엑셀 파일로 자동 저장됩니다.

웹에서 데이터를 수집하고, 분석하고, 엑셀로 포장까지 마쳤습니다. 이제 이 파일을 부서 사람들에게 나눠줄 일만 남았네요. 다음 18편에서는 '아웃룩(Outlook) 켤 필요 없다! 완성된 엑셀 파일을 파이썬으로 자동 첨부하여 수십 명에게 이메일 쏘기'에 대해 다루겠습니다.

여러분은 회사 업무 중, 인터넷에서 매일 수동으로 복사해서 엑셀로 옮겨 적고 있는 가장 귀찮은 데이터는 무엇인가요? 환율? 경쟁사 가격? 댓글로 남겨주시면 크롤링 아이디어를 나눠보겠습니다!

댓글

댓글 쓰기

이 블로그의 인기 게시물

엑셀로는 안 열리는 200만 행 대용량 데이터, 파이썬으로 1초 만에 요약하기

 회사에서 수년간 누적된 판매 데이터나 웹사이트 로그 데이터를 다운로드해 본 적 있으신가요? 파일 용량이 500MB를 넘어가고, 엑셀로 더블클릭해서 열었더니 화면 상단에 "데이터가 너무 많아 완전히 로드되지 않았습니다"라는 무시무시한 경고창이 뜹니다. 스크롤을 맨 밑으로 내려보면 정확히 1,048,576행에서 데이터가 싹둑 잘려 있습니다. 엑셀이라는 프로그램이 태생적으로 담을 수 있는 최대 한계치가 약 104만 행이기 때문입니다. 그 이상의 데이터는 엑셀로는 아예 열어볼 수조차 없습니다. 결국 데이터를 월별로 쪼개서 다운받는 등 불필요한 노가다를 해야 하죠. 하지만 파이썬에게 데이터의 한계란 '컴퓨터 메모리(RAM)의 한계'일 뿐입니다. 오늘은 엑셀은 쳐다보지도 못하는 200만 행, 1,000만 행의 대용량 데이터를 파이썬으로 가볍게 다루는 심화 기술을 알아보겠습니다. 1. 대용량 데이터의 표준, CSV 파일 불러오기 보통 100만 행이 넘어가는 대용량 데이터는 .xlsx 포맷이 아니라 .csv 포맷으로 저장되어 있습니다. CSV는 서식 없이 콤마(,)로만 데이터를 구분한 순수 텍스트 파일이라 용량이 훨씬 가볍기 때문입니다. 판다스에서 CSV 파일을 불러오는 방법은 엑셀과 거의 똑같습니다. read_excel 대신 read_csv 만 써주면 됩니다. import pandas as pd df = pd.read_csv('3년치_전체판매로그.csv') 엑셀이 열다가 기절해버린 200만 행짜리 파일도, 파이썬에서는 위 코드 한 줄이면 단 몇 초 만에 데이터 프레임(표)으로 변환되어 메모리에 척척 올라갑니다. 이제 13편에서 배웠던 피벗 테이블 코드를 돌리면 200만 행의 데이터도 순식간에 요약할 수 있습니다. 2. 컴퓨터가 멈춘다면? 마법의 옵션 chunksize 파이썬이 아무리 강력해도, 내 컴퓨터의 램(RAM) 메모리가 8GB밖에 안 되는데 10GB짜리 초거대 데이터를 한 번에 불러오려 ...
자세한 내용 보기

수식이 걸린 엑셀 데이터, 파이썬으로 불렀더니 NaN이 뜨는 이유와 해결법

실무에서 사용하는 엑셀 파일은 단순한 숫자의 나열이 아닙니다. 단가와 수량을 곱하는 간단한 수식부터, 복잡한 조건부 합계(SUMIFS)까지 다양한 수식들이 거미줄처럼 얽혀있죠. 파이썬 자동화를 처음 배우시는 분들은 이 수식이 걸린 엑셀 파일을 판다스로 호기롭게 불러왔다가, 숫자가 있어야 할 자리에 'NaN(빈칸)'이 가득한 것을 보고 멘붕에 빠지곤 합니다. "엑셀을 열면 분명히 숫자가 잘 보이는데, 왜 파이썬은 빈칸이라고 할까요?" 이것은 파이썬에 에러가 난 것이 아니라, 엑셀과 파이썬이 '수식'을 대하는 근본적인 방식이 다르기 때문입니다. 오늘은 이 치명적인 오류의 원인을 파헤치고, 진정한 의미의 '데이터 자동화'를 위해 수식을 어떻게 다뤄야 하는지 그 해답을 제시해 드립니다. 1. 파이썬은 엑셀의 수식을 '계산'하지 못합니다 가장 먼저 머릿속에 박아두어야 할 핵심 개념입니다. 판다스(Pandas)는 엑셀 프로그램이 아닙니다. 따라서 SUM , VLOOKUP 같은 엑셀 고유의 함수 엔진을 가지고 있지 않습니다. 우리가 pd.read_excel() 로 파일을 불러올 때, 파이썬은 엑셀 파일의 껍데기를 살짝 들춰보고 '가장 마지막에 엑셀이 계산해 둔 결과값(캐시 데이터)'만을 사진 찍듯이 찰칵 찍어옵니다. 즉, 파이썬 안에서 수량 데이터를 10에서 20으로 바꾼다고 해서, 총합계 수식이 자동으로 업데이트되어 바뀌지 않는다는 뜻입니다. 파이썬이 가져온 것은 살아 숨 쉬는 수식이 아니라 '박제된 숫자 텍스트'일 뿐입니다. 2. ERP에서 다운받은 파일이 무조건 NaN을 뱉는 이유 그런데 왜 숫자가 안 나오고 NaN이 뜨는 걸까요? 보통 회사 사내 시스템(ERP 등)에서 다운로드한 엑셀 파일에서 이런 일이 잦습니다. 시스템이 엑셀 파일을 만들어낼 때는 컴퓨터의 리소스를 아끼기 위해 수식(예: =A1*B1 )만 텍스트로 적어놓고, 실제 결과값은 계산하지 않은 채(...
자세한 내용 보기

"파일을 찾을 수 없습니다" - 경로 오류(Path error)가 발생하는 이유와 대처법

파이썬으로 엑셀 자동화 코드를 잘 짜놓고 기분 좋게 실행했는데, 화면 가득 빨간색 글씨로 FileNotFoundError 가 뜨면 누구나 당황하기 마련입니다. 분명히 내 눈앞 폴더에 파일이 있는데 파이썬은 "파일을 찾을 수 없다"고 우기니 답답할 노릇이죠. 어제까지 잘 되던 코드가 오늘 폴더 이름 하나 바꿨다고 멈춰버리는 일도 허다합니다. 우리가 윈도우 탐색기에서 마우스로 폴더를 클릭해 들어가는 방식은 직관적이지만, 파이썬에게 위치를 알려줄 때는 조금 더 정교한 규칙이 필요합니다. 오늘은 초보자들이 가장 많이 헤매는 '경로(Path)'의 원리를 이해하고, 매일 바뀌는 업무 환경에서도 에러 없이 파일을 척척 찾아내는 스마트한 경로 설정법을 알아보겠습니다. 1. 파이썬이 파일을 찾는 기준: 절대 경로 vs 상대 경로 파이썬이 파일을 찾는 방식은 크게 두 가지입니다. 첫째는 '절대 경로'입니다. 주소창 전체를 복사하는 방식이죠. 예컨대 C:\Users\Desktop\보고서.xlsx 처럼 집 주소를 처음부터 끝까지 다 알려주는 것입니다. 가장 확실하지만, 만약 코드를 다른 사람에게 보내거나 폴더 위치를 살짝만 옮겨도 주소가 통째로 틀려져 에러가 발생한다는 단점이 있습니다. 둘째는 '상대 경로'입니다. "지금 내가 있는 곳에서 바로 옆에 있는 파일을 찾아라"라고 명령하는 방식입니다. 파일 주소 대신 ./보고서.xlsx 처럼 마침표( . )를 사용합니다. 마침표 하나는 '현재 폴더'를 의미합니다. 코드가 들어있는 폴더와 엑셀 파일이 같은 곳에 있다면, 폴더 통째로 위치를 옮겨도 에러 없이 작동하기 때문에 실무에서는 상대 경로를 사용하는 것이 훨씬 유지보수에 유리합니다. 2. 내가 지금 어디에 있지? os.getcwd() 확인하기 상대 경로를 썼는데도 에러가 난다면, 파이썬이 생각하는 '현재 위치'와 내가 생각하는 위치가 다르기 때문입니다. 파이썬은 내가 코드를 ...
자세한 내용 보기