빅데이터란
컴퓨터 한 대로는 담거나 처리하기 힘든 데이터, 그리고 그걸 다루는 기술.
내 노트북에서 엑셀로 열리면 빅데이터가 아닙니다. 열리지 않을 때부터 이 수업의 내용이 필요해집니다.
3V — 빅데이터의 세 가지 특징
| V | 뜻 | 예 |
|---|---|---|
| Volume (양) | 너무 많다 | 하루에 쌓이는 로그 수 TB |
| Velocity (속도) | 너무 빨리 들어온다 | 초당 수만 번의 클릭 |
| Variety (다양성) | 모양이 제각각이다 | 표, JSON, 이미지, 글 |
여기에 Veracity(정확성), Value(가치)를 더해 5V라고도 합니다. 시험에는 3V가 주로 나옵니다.
왜 생겼나
- 스마트폰·웹·센서 때문에 데이터가 폭발적으로 늘었다
- 저장 비용이 아주 싸졌다 (클라우드)
- 구글이 "여러 컴퓨터로 나눠 처리하는 법"(MapReduce)을 공개했고 → 이걸 오픈소스로 만든 Hadoop → 더 빠른 Spark 로 이어짐
- "감"이 아니라 "데이터"로 결정하려는 회사가 늘었다
빅데이터 파이프라인 — 이 수업의 지도
데이터는 다음 다섯 단계를 거칩니다. 이 수업은 이 순서대로 진행됩니다.
수집 → 저장 → 처리 → 분석 → 활용
API HDFS Spark SQL 대시보드
파일 S3 Pandas DuckDB 보고서
| 단계 | 무슨 뜻 | 배우는 주차 |
|---|---|---|
| 수집 | 데이터를 가져온다 | 4주 |
| 저장 | 큰 데이터를 여러 컴퓨터에 담는다 | 5주 |
| 처리 | 정리하고 계산한다 | 6~10주 |
| 분석 | 질문에 답한다 | 11, 14주 |
| 활용 | 표·그래프·보고서로 만든다 | 15주 |
배치 vs 스트리밍
| 배치 (Batch) | 스트리밍 (Streaming) | |
|---|---|---|
| 방식 | 모아뒀다가 한 번에 | 들어오는 즉시 |
| 예 | 매일 새벽 어제 매출 집계 | 카드 부정 사용 실시간 탐지 |
| 장점 | 간단, 안정적 | 빠른 반응 |
| 단점 | 결과가 늦음 | 복잡, 비쌈 |
이 수업은 배치 위주입니다. 스트리밍은 개념만 소개합니다.
이 수업에서 다루는 도구
| 단계 | 도구 |
|---|---|
| 수집 | Python requests, 공공데이터포털 |
| 저장 | 내 컴퓨터, HDFS, S3, Parquet 파일 |
| 처리 | Spark, Pandas |
| 분석 | SQL, DuckDB, Polars |
이름이 많아 보이지만, "수집→저장→처리→분석"의 어느 칸에 들어가는 도구인지만 알면 됩니다.
생각해볼 질문
- 우리 학교 학사 시스템 데이터는 빅데이터일까? 3V 중 어디에 해당하고 어디에 해당하지 않을까?
- 배치로 충분한 문제와 스트리밍이 꼭 필요한 문제를 하나씩 떠올려보기