[연구 자동화 #36] 수만 개의 데이터를 단 한 줄로: SQL 집계 함수로 통계 요약하기

5월 08, 2026

연구 데이터가 쌓이다 보면 가장 먼저 마주하는 벽은 '전체적인 흐름 파악'입니다. 엑셀 파일에 센서 데이터가 10만 줄 정도 쌓여 있다고 가정해 봅시다. 이 데이터들의 전체 평균 온도를 구하거나, 실험이 총 몇 번 성공했는지 확인하려고 엑셀을 켜면 일단 로딩 속도부터 우리를 지치게 합니다. 저 역시 예전에는 데이터가 너무 많아 엑셀이 응답 없음 상태가 되면, 컴퓨터를 원망하며 커피를 마시러 가곤 했습니다.

하지만 데이터베이스(DB)의 집계 함수(Aggregate Functions)를 알게 된 뒤로는 그런 기다림이 사라졌습니다. 파이썬으로 모든 데이터를 불러와서 계산할 필요도 없습니다. DB에게 "이 데이터들의 평균 좀 내줘"라고 말만 하면, DB가 내부적으로 계산을 끝내고 결과값 딱 하나만 보내주기 때문입니다.

1. 연구자가 가장 많이 쓰는 5대 집계 함수

SQL에는 복잡한 수학 공식 대신, 누구나 직관적으로 알 수 있는 단어들로 구성된 함수들이 있습니다.

COUNT: 데이터가 총 몇 개인지 세어줍니다. (예: 총 실험 횟수)
AVG: 수치 데이터의 평균을 구합니다. (예: 평균 전압 수치)
SUM: 데이터의 합계를 구합니다. (예: 총 약물 투여량)
MAX / MIN: 최댓값과 최최솟값을 찾습니다. (예: 실험 중 최고 온도)

이 함수들의 가장 큰 매력은 속도입니다. 수백만 건의 데이터가 들어있어도 집계 함수를 사용하면 거의 실시간으로 답을 얻을 수 있습니다. 이는 우리가 파이썬 루프를 돌려 직접 계산하는 것보다 훨씬 효율적입니다.

2. 주의해야 할 '함정': NULL 값의 처리

여기서 제가 처음 공부할 때 당황했던 포인트가 하나 있습니다. 바로 '데이터가 비어있는 경우(NULL)'입니다.

예를 들어, COUNT(*)는 데이터가 비어있든 말든 전체 행의 개수를 세지만, COUNT(column_name)은 해당 열에 값이 있는 것만 골라 셉니다. 만약 센서 고장으로 온도가 기록되지 않은 행이 섞여 있다면 두 결과값이 달라지겠죠. 평균(AVG) 역시 값이 없는 행은 아예 계산에서 제외합니다.

"왜 내 엑셀 계산 결과랑 DB 결과가 미세하게 다르지?"라고 고민하신다면, 대부분 이 비어있는 데이터 처리 방식의 차이 때문일 확률이 높습니다. 실험 보고서를 쓸 때 이 차이를 모르면 나중에 수치가 꼬일 수 있으니 반드시 체크해야 합니다.

3. 실전 코드: 그룹별로 요약 데이터 추출하기

단순히 전체 평균을 구하는 것을 넘어, "각 장비별로 평균 온도가 얼마인가?"를 알고 싶을 때는 GROUP BY라는 마법의 명령어를 곁들입니다. 엑셀의 피벗 테이블과 똑같은 기능입니다.

Python
import sqlite3
import pandas as pd

# DB 연결
conn = sqlite3.connect('research_data.db')

# SQL 쿼리: 장비별(device_name) 평균 온도와 측정 횟수 계산
# measurements(m)와 devices(d) 테이블을 조인하여 계산
query = """
SELECT 
    d.device_name, 
    COUNT(m.id) AS test_count,
    AVG(m.temperature) AS avg_temp,
    MAX(m.temperature) AS max_temp
FROM measurements AS m
INNER JOIN devices AS d ON m.device_id = d.id
GROUP BY d.device_name
"""

# Pandas로 결과 읽기
df = pd.read_sql(query, conn)

print(df)
conn.close()

이 코드를 실행하면 수만 개의 데이터가 단 몇 줄의 깔끔한 표로 요약되어 출력됩니다. 어떤 장비가 오작동했는지, 어떤 조건에서 온도가 유독 높았는지 한눈에 파악할 수 있죠.

4. 데이터 요약이 주는 '인사이트'의 힘

우리가 자동화를 하는 궁극적인 이유는 단순히 시간을 아끼기 위함이 아닙니다. 데이터라는 숲속에서 길을 잃지 않고, 전체적인 지형(경향성)을 빠르게 보기 위해서입니다. 집계 함수를 활용하면 분석의 전주곡이라 할 수 있는 '탐색적 데이터 분석(EDA)' 단계가 획기적으로 짧아집니다.

저 같은 경우, 매일 아침 전날 쌓인 실험 데이터를 이 집계 쿼리로 먼저 훑어봅니다. 그러면 굳이 그래프를 다 그려보지 않아도 "어라, 오늘 3번 센서 수치가 평소보다 낮은데?" 같은 이상 징후를 바로 감지할 수 있습니다.

5. 마치며: 단순 반복은 DB에 맡기세요

연구원은 생각을 하는 사람이지, 산술 계산을 하는 사람이 아닙니다. 수천 번의 덧셈과 나눗셈은 이미 최적화된 엔진을 가진 데이터베이스에 맡기세요. 여러분은 그 요약된 결과를 보고 "왜 이런 결과가 나왔을까?"를 고민하는 데 소중한 에너지를 집중하시길 바랍니다.

## 핵심 요약

AVG, SUM, COUNT 등 SQL 집계 함수는 수만 줄의 데이터를 파이썬 메모리로 로딩하지 않고도 DB 내에서 즉시 요약할 수 있게 돕습니다.
NULL(빈 데이터) 값이 포함될 경우 COUNT(*)와 COUNT(컬럼명)의 결과가 다를 수 있음을 항상 유의해야 합니다.
GROUP BY 문법을 함께 사용하면 엑셀의 피벗 테이블처럼 장비별, 날짜별, 조건별 요약 통계를 단 한 줄의 쿼리로 추출할 수 있습니다.

## 다음 편 예고

37편에서는 DB 관리의 안전장치인 [데이터 백업과 복구 자동화: 소중한 실험 DB를 유실로부터 지키는 파이썬 스크립트]에 대해 다룹니다.

여러분의 실험 데이터에서 가장 자주 확인하는 통계 수치는 무엇인가요? (평균, 최대/최소, 혹은 데이터 개수 등) 여러분만의 요약 팁이 있다면 댓글로 공유해 주세요!

정보설명서