[연구 자동화 #24] 실전 프로젝트: 공공 데이터 API로 연구 트렌드 리포트 자동 생성하기
연구자에게 '최신 트렌드 파악'은 숙명과도 같습니다. 하지만 매번 관련 포털에 접속해 키워드를 검색하고, 결과를 엑셀로 내려받아 정리하는 과정은 꽤 번거롭습니다. 파이썬의 API(Application Programming Interface) 활용 기술을 이용하면, 이 지루한 과정을 자동화된 파이프라인으로 바꿀 수 있습니다. 1. API란 무엇인가? 연구원의 '데이터 주문서' API를 어렵게 생각할 필요 없습니다. 식당에서 메뉴판을 보고 주문을 하면 주방에서 음식이 나오는 것과 같습니다. 우리가 특정 규칙(URL)에 맞춰 데이터(주문)를 요청하면, 공공 데이터 서버(주방)에서 우리가 원하는 최신 데이터를 보내주는 방식입니다. 웹 크롤링(9~10편)이 웹페이지를 '긁어오는' 방식이라면, API는 서버에서 '정식으로 제공하는 데이터'를 받는 방식입니다. 따라서 훨씬 안정적이고 법적으로도 안전합니다. 2. 준비 단계: 데이터의 문을 여는 'API 키' 발급받기 가장 대표적인 소스는 공공데이터포털(data.go.kr)이나 ScienceON(scienceon.kisti.re.kr)입니다. 해당 사이트에 회원가입 후 원하는 데이터(예: 국가연구개발과제 정보, 특허 정보 등)를 검색합니다. '활용 신청'을 하면 나만의 고유한 인증키(Service Key)가 발급됩니다. 이 키는 일종의 출입증이므로 타인에게 노출되지 않도록 주의해야 합니다. 3. 실전: 데이터 호출부터 시각화까지 API로 가져온 데이터는 보통 JSON 이나 XML 형식을 띱니다. 파이썬은 이 복잡한 형식을 순식간에 Pandas 데이터프레임으로 변환해 줍니다. Python import requests import pandas as pd # 1. 요청 주소 및 인증키 설정 url = '공공데이터_제공_URL' params = { 'serviceKey' : '나의_인증키...