[연구 자동화 #34] 필요한 데이터만 쏙쏙: 연구자를 위한 SQL 쿼리 필터링과 정렬 기술
33편에서 우리는 엑셀 파일을 벗어나 SQLite라는 튼튼한 데이터 창고를 지었습니다. 하지만 창고에 물건을 잘 넣어두는 것만큼 중요한 것이 바로 '필요할 때 원하는 물건을 빠르게 꺼내는 일'입니다. 수만 줄의 데이터가 쌓인 데이터베이스(DB)에서 내가 원하는 조건의 실험 결과만 골라내는 과정은 엑셀의 필터 기능보다 훨씬 강력하고 정교합니다.
저 역시 처음에는 DB에서 데이터를 꺼내는 문법인 'SQL'이 마치 암호처럼 느껴졌습니다. 하지만 몇 가지 핵심 규칙만 익히고 나니, 수천 개의 파일 사이를 헤매던 예전으로 돌아가고 싶지 않을 만큼 편안함을 느꼈습니다. 오늘은 연구자가 DB를 다룰 때 가장 빈번하게 사용하는 필터링과 정렬의 기술을 알아보겠습니다.
1. 데이터 추출의 눈: SELECT 문
DB에게 명령을 내릴 때 가장 먼저 사용하는 단어는 'SELECT'입니다. 이는 "내가 어떤 항목(열)을 보고 싶다"고 선언하는 것입니다. 엑셀로 치면 보고 싶은 열(Column)만 선택하는 것과 같습니다. 모든 데이터를 다 보고 싶을 때는 별표(*)를 사용하지만, 연구용 데이터는 열이 매우 많을 수 있습니다. 이때는 필요한 항목만 콕 집어서 불러오는 것이 로딩 속도와 가독성 면에서 훨씬 유리합니다.
2. 정교한 필터링의 핵심: WHERE 절
SQL의 진가는 'WHERE' 절에서 발휘됩니다. 이는 수만 개의 데이터 중 우리가 원하는 조건에 맞는 행(Row)만 걸러내는 필터 역할을 합니다. 엑셀 필터는 클릭을 여러 번 해야 하지만, SQL은 문장 하나로 복잡한 조건을 한 번에 해결합니다. 예를 들어 "온도가 80도 이상인 실험 데이터만 보고 싶다"면 WHERE temperature >= 80이라고 쓰면 됩니다. AND나 OR를 사용해 여러 조건을 엮을 수도 있습니다.
3. 데이터의 질서를 잡는 정렬: ORDER BY
데이터를 뽑아냈다면 이제 보기 좋게 줄을 세울 차례입니다. 실험 결과는 보통 시간순으로 보거나, 측정 수치가 높은 순서대로 정렬해야 트렌드가 보입니다. 이때 사용하는 것이 'ORDER BY'입니다. 기본은 오름차순이며, 최신 데이터부터 보고 싶다면 DESC 키워드를 붙여 내림차순으로 바꿀 수 있습니다.
4. 실전 코드: 파이썬으로 특정 조건 데이터 가져오기
import sqlite3
import pandas as pd
# DB 연결
conn = sqlite3.connect('research_data.db')
# SQL 쿼리 작성 (25도 이상 데이터를 최신순으로)
query = "SELECT * FROM experiments WHERE temperature > 25.0 ORDER BY timestamp DESC"
# Pandas로 쿼리 결과 읽기
df = pd.read_sql(query, conn)
print(df)
conn.close()## 핵심 요약
- SELECT 문은 필요한 열만 선택하여 데이터 로딩 효율을 극대화합니다.
- WHERE 절을 활용해 수만 개의 데이터 중 원하는 조건만 즉시 필터링할 수 있습니다.
- ORDER BY는 데이터의 시간순, 수치순 정렬을 자동화하여 분석 생산성을 높입니다.
다음 편 예고: 35편에서는 흩어진 데이터를 하나로 합치는 [SQL JOIN 기초: 실험 정보와 결과를 유기적으로 연결하기]를 다룹니다.
"수만 개의 데이터 중 특정 조건만 찾을 때 가장 번거로웠던 점은 무엇인가요? 댓글로 공유해 주세요!"
댓글
댓글 쓰기