[연구 자동화 #10] 고급 크롤링: Selenium으로 브라우저를 직접 조종하여 로그인 및 자동 클릭 마스터하기
연구를 하다 보면 국책 과제 포털, 사내 인트라넷, 혹은 데이터 다운로드를 위해 로그인이 필수인 학술 사이트에 접속해야 할 때가 많습니다. 이런 사이트들은 보안이나 기술적인 이유로 단순히 주소(URL)만 입력해서는 정보를 주지 않습니다. 이때 필요한 것이 바로 Selenium 입니다. Selenium은 파이썬 코드를 통해 실제 크롬이나 엣지 같은 브라우저를 실행시키고, 마우스를 클릭하거나 키보드로 타이핑하는 과정을 '인간인 것처럼' 흉내 냅니다. 마치 내 컴퓨터 안에 나를 대신해 밤새 작업해주는 '투명 인간 운전사'를 고용하는 것과 같습니다. 1. Selenium이 필요한 결정적인 순간 BeautifulSoup으로 해결되지 않는 페이지들은 보통 다음과 같은 특징이 있습니다. 로그인 장벽: 아이디와 비밀번호를 입력하고 '로그인' 버튼을 눌러야만 접근 가능한 경우. 자바스크립트 실행: 페이지를 열자마자 데이터가 보이는 게 아니라, 1~2초 뒤에 혹은 클릭 후에야 나타나는 경우. 팝업창 대처: 공지사항이나 팝업창을 닫아야 본문이 보이는 경우. 2. 환경 구축: 웹드라이버와 라이브러리 세팅 Selenium은 브라우저를 조종하기 때문에, 브라우저와 파이썬을 연결해주는 '드라이버'가 필요합니다. 설치: 터미널에서 pip install selenium 을 입력하세요. WebDriver: 예전에는 사용자가 직접 크롬 버전과 맞는 드라이버를 다운로드해야 했지만, 최근에는 webdriver_manager 라는 도구를 사용하여 이 과정을 자동화할 수 있습니다. ( pip install webdriver-manager 추가 설치 권장) 3. 실전 코드: 로그인부터 데이터 확인까지 아래 코드는 브라우저를 켜고, 특정 사이트에 접속해 로그인 정보를 입력하고 버튼을 클릭하는 전 과정을 보여줍니다. Python from selenium import webdriver from selenium.webdriver.ch...