학습 자료 & 로드맵

Python, VS Code, Jupyter/Colab, Git — 수업 실습에 필요한 도구를 준비합니다.

설치 없이 브라우저에서 Python을 실행하는 Colab — 노트북 만들기, 셀 실행, 파일 올리기, 결과 저장까지 실습에 필요한 것만.

변수·자료구조·제어문·함수·파일 입출력 등 데이터 처리에 필요한 Python 핵심 문법.

DataFrame 사고방식, 데이터 불러오기·필터·집계·조인 — 이후 Spark DataFrame과 1:1로 대응됩니다.

3V(5V), 등장 배경, 수집→저장→처리→분석→시각화 파이프라인, 배치 vs 스트리밍, 도구 지도.

파일·DB·API·로그에서 데이터를 모으는 원리, 메시지 큐(Kafka)와 스트림 개념.

data.go.kr에서 회원가입 → 데이터 찾기 → 파일 다운로드 → API 신청 → 인증키로 Python에서 호출하기까지, 화면 순서대로 따라가는 실습 가이드.

데이터를 빨리 찾는 인덱스, 데이터베이스를 여러 대로 늘리는 복제·샤딩, 원본을 그대로 모아두는 데이터 레이크와 대표 제품들. 분산 저장(HDFS) 전에 알아둘 기초.

큰 파일을 여러 컴퓨터에 나눠 담는 HDFS의 기본 구조, 그리고 내 컴퓨터에 미니 하둡을 띄워 파일을 올려보는 방법.

데이터가 여러 컴퓨터에 나뉘어 있을 때 어떻게 계산할까? "나눠서 세고, 모아서 합친다"는 MapReduce의 아이디어와 Hadoop이 뭔지 개념만.

빅데이터 처리의 표준 도구 Spark. 왜 쓰는지, Pandas와 무엇이 닮았고 다른지, 그리고 "느리게 실행된다"는 게 무슨 뜻인지 쉽게.