1. 데이터 분석

데이터 분석이란

데이터 분석(Data Analysis)은 의사 결정을 지원하기 위해 데이터를 수집, 정제, 변환, 모델링하는 일련의 과정을 말합니다.

과거에 무슨 일이 일어났는지(설명적), 왜 일어났는지(진단적), 앞으로 무슨 일이 일어날지(예측적), 그래서 어떻게 해야 하는지(처방적)를 파악하는 것이 핵심 목표입니다.

 

주요 단계

1. 문제 정의: 무엇을 해결하고 싶은가?
2. 데이터 수집: 필요한 데이터는 어디에 있는가? (DB, 로그, 외부 API 등)
3. 데이터 전처리: 결측치, 이상치 제거 및 데이터 가공.
4. 탐색적 데이터 분석(EDA): 데이터의 패턴과 특징 파악.
5. 모델링 및 분석: 통계적 기법이나 머신러닝 알고리즘 적용.
6. 시각화 및 리포팅: 결과를 이해하기 쉽게 그래프나 차트로 표현.

 

왜 필요한가?

과거에는 경영진의 '직관'이나 '경험'에 의존했다면, 현대 사회는 데이터 기반의 의사결정(Data-Driven Decision Making)이 필수적입니다.

• 불확실성 감소: 막연한 추측 대신 객관적 수치로 리스크를 줄일 수 있습니다.
• 비용 절감 및 효율화: 비효율적인 공정이나 마케팅 채널을 찾아내 예산을 아낄 수 있습니다.
• 고객 경험 개선: 고객이 무엇을 원하는지 미리 파악하여 맞춤형 서비스를 제공합니다.
• 미래 예측: 현재의 트렌드를 기반으로 향후 시장 상황이나 수요를 예측하여 선제적으로 대응합니다.

 

대표적인 예시

A. 이커머스 (유통) - "추천 시스템"

• 상황: 수백만 개의 상품 중 고객이 무엇을 살지 모름.
• 분석: 고객의 과거 구매 이력, 장바구니 목록, 클릭한 상품, 머무른 시간 데이터를 분석.
• 결과: "이 상품을 본 다른 고객들이 함께 구매한 상품"을 추천하거나, 기저귀를 사는 고객에게 맥주를 추천(연관 규칙 분석)하여 매출 증대.

B. 제조/물류 - "예지 정비(Predictive Maintenance)"

• 상황: 공장 설비가 갑자기 고장 나면 생산 라인이 멈추고 막대한 손해 발생.
• 분석: 기계에 부착된 센서에서 수집된 진동, 온도, 소음 데이터를 실시간 분석.
• 결과: 특정 부품의 진동 패턴이 평소와 달라짐을 감지하여, 고장이 나기 전에 미리 부품을 교체함으로써 가동 중단 시간(Downtime) 최소화.

C. 금융 - "이상 거래 탐지(FDS)"

• 상황: 도난된 신용카드나 보이스피싱에 의한 부정 결제 발생.
• 분석: 평소 고객의 결제 위치, 결제 금액, 결제 시간 패턴을 학습.
• 결과: 한국에 있는 고객의 카드가 10분 뒤 미국에서 고액 결제 시도될 경우, 이를 이상 징후(Anomaly)로 판단하여 즉시 거래를 차단.

 

연관 개념

데이터 분석을 더 깊이 이해하기 위해 알아두면 좋은 개념들입니다.

• 비즈니스 인텔리전스 (BI): 데이터를 시각화(대시보드 등)하여 기업의 현재 상태를 빠르게 파악하도록 돕는 도구 및 프로세스 (예: Tableau, PowerBI).
• 데이터 마이닝 (Data Mining): 대용량 데이터에서 숨겨진 패턴이나 상관관계를 캐내는 기술.
• 머신러닝 (Machine Learning): 데이터 분석 과정을 알고리즘을 통해 자동화하고, 데이터가 쌓일수록 예측 성능을 스스로 향상시키는 AI의 한 분야.
• 빅데이터 (Big Data): 기존 방법으로 처리하기 힘든 방대하고(Volume), 빠르며(Velocity), 다양한(Variety) 데이터.

 

데이터 분석의 한계

데이터 분석은 만능이 아니며, 해석 과정에서 주의가 필요합니다.

1. GIGO (Garbage In, Garbage Out):
   • 입력되는 데이터의 품질이 나쁘면(오류, 누락 등), 아무리 훌륭한 분석 기법을 써도 결과는 엉터리가 됩니다. 데이터 전처리가 분석 시간의 80%를 차지하는 이유입니다.
2. 상관관계 ≠ 인과관계:
   • 예시: "아이스크림 판매량이 늘어나면 선크림 판매량도 늘어난다."
   • 오류: 아이스크림 판매량에 의해 선크림의 판매량이 결정되지 않습니다. 두 사건 모두 '여름(기온 상승)'이라는 공통 원인 때문에 같이 증가한 것뿐입니다. 이를 혼동하면 잘못된 의사결정을 내리게 됩니다.
3. 데이터 편향 (Bias):
   • 수집된 데이터 자체가 특정 집단에 치우쳐 있다면, 분석 결과도 공정하지 않을 수 있습니다. (예: 백인 남성 데이터만 학습한 채용 AI가 여성 지원자를 탈락시키는 경우)

---

데이터 분석 도구 (Tools)

데이터의 크기(Volume)와 분석 목적에 따라 사용하는 도구가 달라집니다.

A. 스프레드시트 (Excel, Google Sheets)

• 용도: 소규모 데이터 관리, 간단한 통계 및 차트 작성.
• 특징: 접근성이 가장 높고 직관적입니다. 하지만 데이터가 100만 행이 넘어가면 느려지거나 처리가 불가능합니다.

B. SQL (Structured Query Language)

• 용도: 데이터베이스(DB)에서 데이터를 추출 및 조작하는 언어.
• 특징: 분석가에게 필수적인 언어입니다. 회사 데이터의 대부분은 DB에 저장되어 있으므로, "내가 원하는 데이터를 꺼내오는 능력"인 SQL은 필수입니다. (예: MySQL, PostgreSQL, Oracle)

C. BI (Business Intelligence) 도구

• 용도: 데이터 시각화 및 대시보드 제작.
• 도구: Tableau(태블로), Power BI.
• 특징: 복잡한 코딩 없이 드래그 앤 드롭으로 화려한 그래프를 그리고, 경영진에게 보고하기 좋은 대시보드를 만듭니다.

D. 프로그래밍 언어 (Python, R)

• 용도: 대용량 데이터 처리, 복잡한 통계 분석, 머신러닝/AI 모델링.
• 특징:
  • R: 통계학자가 만든 언어로, 전문적인 통계 분석과 시각화에 강점.
  • Python: 범용성이 뛰어나 데이터 분석뿐만 아니라 웹 개발, 자동화 등에도 쓰이며, 현재 **업계 표준(Standard)**으로 자리 잡았습니다.

데이터 분석 방법론 (Methodologies)

도구를 사용해 실제로 분석을 수행하는 접근 방식들입니다.

A. CRISP-DM (표준 프로세스)

산업계에서 가장 널리 쓰이는 데이터 마이닝 방법론입니다.

 

B. 주요 분석 기법

• 회귀 분석 (Regression): 변수 간의 인과관계를 파악하여 값을 예측합니다. (예: 광고비가 오르면 매출이 얼마나 오를까?)
• 분류 (Classification): 데이터를 특정 카테고리로 나눕니다. (예: 이 메일은 스팸인가, 아닌가?)
• 군집화 (Clustering): 정답 없이 특성이 비슷한 데이터끼리 묶습니다. (예: 우리 고객을 구매 패턴에 따라 5개 그룹으로 나누기)
• A/B 테스트: 두 가지 버전을 비교하여 더 나은 성과를 측정합니다. (예: 버튼을 파란색으로 했을 때와 빨간색으로 했을 때 클릭률 비교)

 

핵심 도구 상세: Python과 필수 라이브러리

데이터 분석을 본격적으로 시작한다면 Python을 가장 먼저 접하게 됩니다. Python 자체 문법도 중요하지만, 데이터 분석을 위해 미리 만들어진 도구 모음인 라이브러리(Library) 활용 능력이 핵심입니다.

가장 중요한 4대 라이브러리를 소개합니다.

라이브러리	별칭	역할	비유 (Excel과 비교)
Pandas	판다스	데이터 조작 및 분석	엑셀 그 자체. 표(DataFrame) 형태의 데이터를 다루는 가장 강력한 도구.
NumPy	넘파이	수치 계산	엑셀의 복잡한 수식 계산 엔진. 고속 수학 연산 처리.
Matplotlib / Seaborn	맷플롯립 / 시본	데이터 시각화	엑셀의 차트/그래프 만들기 기능.
Scikit-learn	사이킷런	머신러닝	엑셀에는 없는 기능. 미래 예측, 분류 등의 AI 알고리즘 모음.

 

Pandas가 왜 중요한가?

데이터 분석 업무의 70~80%는 데이터를 깨끗하게 만드는 전처리(Preprocessing) 과정입니다. Pandas는 엑셀로는 열리지 않는 수천만 건의 데이터도 빠르게 불러와서, 빈칸을 채우거나, 잘못된 값을 수정하고, 데이터를 합치거나 나누는 작업을 코드 몇 줄로 처리해 줍니다.