[연구 자동화 #9] 웹 데이터 수집의 기초: 파이썬으로 연구용 정보를 자동으로 크롤링하기
연구자에게 정보는 곧 힘입니다. 하지만 정보가 너무 방대하게 퍼져 있다는 것이 문제입니다. 수십 개의 사이트를 북마크해두고 매일 수동으로 확인하는 것은 에너지를 낭비하는 일이죠. 파이썬의 Requests와 BeautifulSoup 라이브러리를 활용하면, 내가 원하는 사이트의 특정 정보만 쏙쏙 뽑아와서 엑셀이나 데이터프레임으로 정리할 수 있습니다.
1. 크롤링과 스크레이핑, 무엇이 다른가요?
보통 혼용해서 쓰지만, 엄밀히 말하면 조금 다릅니다.
크롤링(Crawling): 거미줄처럼 연결된 웹페이지를 돌아다니며 정보를 탐색하는 행위입니다.
스크레이핑(Scraping): 특정 웹페이지에서 내가 필요한 데이터(제목, 본문, 날짜 등)만 추출하는 행위입니다. 우리는 보통 특정 사이트에서 연구 데이터를 가져오는 스크레이핑 기술을 먼저 배우게 됩니다.
2. 웹 데이터 수집의 두 기둥: Requests와 BeautifulSoup
웹페이지는 기본적으로 HTML이라는 언어로 되어 있습니다. 파이썬이 이 정보를 가져오기 위해서는 두 단계가 필요합니다.
Requests (주문하기): 파이썬이 웹 서버에 "이 페이지 정보 좀 줄래?"라고 요청을 보내는 도구입니다.
BeautifulSoup (해석하기): 서버로부터 받은 복잡한 HTML 코드 뭉치에서 내가 원하는 텍스트나 링크만 골라내는 '핀셋' 역할을 합니다.
설치 방법: 터미널에서
pip install requests beautifulsoup4를 입력하세요.
3. 실전: 5분 만에 뉴스 제목 긁어오기
주피터 노트북에서 아래 코드를 실행해 보세요. 웹 데이터 수집의 원리를 단번에 이해할 수 있습니다.
import requests
from bs4 import BeautifulSoup
# 1. 정보를 가져올 웹사이트 주소 설정
url = 'https://news.naver.com' # 예시 사이트
# 2. 서버에 페이지 정보 요청
response = requests.get(url)
# 3. HTML 코드를 읽기 좋게 해석(파싱)
soup = BeautifulSoup(response.text, 'html.parser')
# 4. 특정 태그(예: 제목)를 찾아서 출력
# (사이트마다 태그 구조가 다르므로 확인이 필요합니다)
titles = soup.select('.header_title_text')
for title in titles:
print(title.get_text())
이 짧은 코드가 작동하는 순간, 여러분은 더 이상 마우스로 일일이 드래그해서 복사할 필요가 없어집니다.
4. [중요] 웹 데이터 수집의 윤리와 주의사항 (Trust)
크롤링은 매우 강력하지만, 그만큼 주의가 필요합니다. 무분별한 크롤링은 상대방의 서버에 과부하를 주거나 법적 문제를 일으킬 수 있기 때문입니다.
Robots.txt 확인: 사이트 주소 뒤에
/robots.txt를 붙여보세요. (예:naver.com/robots.txt) 해당 사이트에서 크롤링을 허용하는지 명시되어 있습니다.수집 속도 조절:
import time라이브러리를 사용해 페이지를 가져올 때마다 최소 1~2초의 간격(time.sleep(1))을 두는 것이 예의입니다.저작권 주의: 수집한 데이터를 개인 연구용이 아닌 상업적 용도로 배포하거나 공유할 때는 반드시 저작권법을 검토해야 합니다.
5. 마치며: 파이썬이 대신 읽고 정리해 드립니다
처음 웹사이트의 HTML 코드를 열어보면 외계어처럼 느껴져 막막할 수 있습니다. 하지만 우리가 7편에서 배운 데이터 구조와 8편의 보고서 자동화 기술이 이 크롤링과 결합하면 엄청난 시너지가 발생합니다.
매일 아침 파이썬이 최신 논문 제목을 수집하고(9편), 이를 요약해서(Pandas), 워드 보고서로 만들어(8편) 메일로 보내주는 시스템. 이것이 우리가 지향하는 진정한 연구 자동화의 모습입니다.
## 핵심 요약
Requests는 웹 서버에 데이터를 요청하고, BeautifulSoup은 가져온 HTML에서 필요한 정보를 추출합니다.
웹 데이터 수집 전에는 반드시 해당 사이트의 크롤링 허용 범위(robots.txt)를 확인해야 합니다.
수집한 데이터는 Pandas 데이터프레임으로 변환하여 앞서 배운 전처리 및 시각화 과정으로 바로 연결할 수 있습니다.
## 다음 편 예고
웹사이트 중에는 클릭을 해야 정보가 나타나거나, 로그인이 필요한 곳들이 많습니다. 이런 곳들은 일반적인 크롤링으로는 한계가 있죠. 다음 시간에는 [고급 크롤링: Selenium으로 브라우저를 직접 조종하여 로그인 및 자동 클릭하기]를 배워보겠습니다.
## 소통 질문
매일 혹은 주기적으로 정보를 확인해야 해서 번거로운 사이트가 있나요? (예: 특정 공공기관 공지사항, 해외 학술지 사이트 등) 어떤 사이트인지 알려주시면 크롤링이 가능한 구조인지 함께 살펴보겠습니다!
댓글
댓글 쓰기