[연구 자동화 #36] 수만 개의 데이터를 단 한 줄로: SQL 집계 함수로 통계 요약하기
연구 데이터가 쌓이다 보면 가장 먼저 마주하는 벽은 '전체적인 흐름 파악'입니다. 엑셀 파일에 센서 데이터가 10만 줄 정도 쌓여 있다고 가정해 봅시다. 이 데이터들의 전체 평균 온도를 구하거나, 실험이 총 몇 번 성공했는지 확인하려고 엑셀을 켜면 일단 로딩 속도부터 우리를 지치게 합니다. 저 역시 예전에는 데이터가 너무 많아 엑셀이 응답 없음 상태가 되면, 컴퓨터를 원망하며 커피를 마시러 가곤 했습니다. 하지만 데이터베이스(DB)의 집계 함수(Aggregate Functions)를 알게 된 뒤로는 그런 기다림이 사라졌습니다. 파이썬으로 모든 데이터를 불러와서 계산할 필요도 없습니다. DB에게 "이 데이터들의 평균 좀 내줘"라고 말만 하면, DB가 내부적으로 계산을 끝내고 결과값 딱 하나만 보내주기 때문입니다. 1. 연구자가 가장 많이 쓰는 5대 집계 함수 SQL에는 복잡한 수학 공식 대신, 누구나 직관적으로 알 수 있는 단어들로 구성된 함수들이 있습니다. COUNT: 데이터가 총 몇 개인지 세어줍니다. (예: 총 실험 횟수) AVG: 수치 데이터의 평균을 구합니다. (예: 평균 전압 수치) SUM: 데이터의 합계를 구합니다. (예: 총 약물 투여량) MAX / MIN: 최댓값과 최최솟값을 찾습니다. (예: 실험 중 최고 온도) 이 함수들의 가장 큰 매력은 속도입니다. 수백만 건의 데이터가 들어있어도 집계 함수를 사용하면 거의 실시간으로 답을 얻을 수 있습니다. 이는 우리가 파이썬 루프를 돌려 직접 계산하는 것보다 훨씬 효율적입니다. 2. 주의해야 할 '함정': NULL 값의 처리 여기서 제가 처음 공부할 때 당황했던 포인트가 하나 있습니다. 바로 '데이터가 비어있는 경우(NULL)'입니다. 예를 들어, COUNT(*) 는 데이터가 비어있든 말든 전체 행의 개수를 세지만, COUNT(column_name) 은 해당 열에 값이 있는 것만 골라 셉니다. 만약 센서 고장으로 온도가 기록되지 않은 행...