[P01CH01S02]: 빅데이터 기술 및 제도
PART 1: 빅데이터 분석 기획Chapter 01: 빅데이터의 이해 SECTION 02: 빅데이터 기술 및 제도 ✅ 01 빅데이터 플랫폼빅데이터 플랫폼은 빅데이터를 수집, 저장, 관리, 분석하는 기술적 환경입니다.대표적으로 하둡(Hadoop), 스파크(Spark), 그리고 클라우드 기반 플랫폼(AWS, Azure, GCP)이 활용됩니다.핵심 플랫폼의 특징하둡(Hadoop)HDFS(분산파일 시스템), MapReduce(배치 처리), YARN(자원 관리), Hive(SQL 기반 분석)주로 대량 데이터의 배치 처리에 사용됨스파크(Spark)인메모리(In-memory) 처리를 통해 빠른 성능 제공배치 처리와 실시간 스트리밍 분석, 머신러닝 가능클라우드 플랫폼AWS EMR, Azure Databricks, G..
2025. 3. 11.