[연구 자동화 #35] 흩어진 데이터의 재결합: SQL JOIN으로 실험 정보와 결과 연결하기
데이터베이스를 처음 접하는 연구자분들이 가장 많이 하는 질문이 있습니다. "그냥 엑셀처럼 하나의 커다란 테이블에 모든 정보를 다 때려 넣으면 편할 텐데, 왜 굳이 테이블을 여러 개로 쪼개서 복잡하게 만드나요?"라는 질문이죠. 저 역시 처음에는 그랬습니다. 실험 장비 정보, 날씨, 샘플 번호, 측정 결과까지 한 줄에 다 적어두는 게 직관적이라고 생각했거든요. 하지만 데이터가 수만 건을 넘어가면 상황이 달라집니다. 장비 이름 하나를 수정해야 하는데 수천 줄의 데이터를 일일이 고쳐야 하거나, 똑같은 장비 정보가 반복해서 저장되면서 파일 용량만 기하급수적으로 늘어나는 '데이터 중복'의 늪에 빠지게 됩니다. 그래서 우리는 정보를 쪼개서 저장하고(정규화), 필요할 때만 합쳐서 보는 기술인 JOIN 을 배워야 합니다. 1. 엑셀의 VLOOKUP보다 강력한 연결고리 엑셀에서 다른 시트의 정보를 가져올 때 우리는 흔히 VLOOKUP 함수를 사용합니다. SQL의 JOIN 은 이 기능의 '강력한 업그레이드 버전'이라고 생각하면 쉽습니다. 공통된 열(Key)을 기준으로 두 테이블을 가로로 이어 붙여, "A라는 조건에서 나온 결과가 무엇인가?"를 한눈에 보여주는 마법을 부립니다. 2. 가장 기본이 되는 INNER JOIN 이해하기 연구 현장에서 90% 이상 사용하게 되는 것은 INNER JOIN 입니다. 이는 두 테이블 모두에 존재하는 공통 데이터만 합쳐서 보여주는 방식입니다. 만약 실험 조건만 입력해두고 아직 측정을 완료하지 않은 데이터가 있다면, 결과에서 자동으로 제외되므로 '조건'과 '결과'가 완벽하게 한 쌍을 이루는 데이터만 깔끔하게 골라낼 수 있습니다. 3. 실전 코드: 두 테이블을 하나로 합쳐 분석하기 import sqlite3 import pandas as pd # DB 연결 및 JOIN 쿼리 실행 conn = sqlite3.connect(...