728x90 반응형 빅데이터13 [P02CH02S02] 고급 데이터 탐색 PART02: 빅데이터 탐색CHAPTER02: 데이터 탐색 [P02CH02S02] 고급 데이터 탐색1. 시공간 데이터 탐색 (Spatiotemporal Data Exploration)시공간 데이터는 공간적 정보(위치 데이터)에 시간의 흐름(이력 정보 등)이 결합된 다차원 데이터입니다. 즉, 특정 시점에서의 위치 정보뿐만 아니라 시간이 지남에 따라 변화하는 패턴도 분석할 수 있습니다.1.1 시간 데이터 (Temporal Data)시간과 관련된 데이터로, 다음과 같은 유형이 있습니다.유효시간 (Valid Time): 특정 데이터가 유효한 기간 (예: 계약 기간)거래시간 (Transaction Time): 데이터가 데이터베이스에 저장되거나 변경된 시간사용자 정의 시간 (User-defined Time): 특정.. 2025. 3. 15. ✨ [P02CH02S01] 데이터 탐색 기초 (feat. 기초 통계량의 추출 및 이해) PART02: 빅데이터 탐색CHAPTER02: 데이터 탐색 [P02CH02S01] 데이터 탐색 기초1. 데이터 탐색의 개요 (Exploratory Data Analysis, EDA) 1.1 탐색적 데이터 분석(EDA, Exploratory Data Analysis)탐색적 데이터 분석(EDA)는 데이터를 분석하기 전에 전반적인 분포, 패턴, 이상치(Outlier) 등을 탐색하는 과정을 의미합니다.EDA의 목적은 데이터의 구조를 이해하고, 모델링 전 데이터를 정제하며, 가설을 설정하는 것입니다. 📌 EDA의 주요 활동:데이터 분포 확인 (히스토그램, 박스플롯)이상치 검출결측치 처리변수 간 관계 분석 (상관관계)데이터의 대표값(평균, 중앙값, 최빈값) 및 분산 분석1.2 탐색적 데이터 분석의 필요성EDA를.. 2025. 3. 15. [P01CH03S02] 데이터 적재 및 저장 PART01: 빅데이터 분석 기획CHAPTER03: 데이터 수집 및 저장 계획 [P01CH03S02] 데이터 적재 및 저장1. 데이터 적재 (Data Ingestion)1.1 데이터 적재 개요데이터 적재는 수집한 데이터를 분석을 위한 저장 시스템에 적재하는 과정을 의미합니다.이 과정에서는 데이터의 유형과 특성에 따라 적절한 저장소를 선택하고, 정확하고 효율적인 적재 방법을 적용해야 합니다.데이터 적재 대상관계형 데이터베이스(RDB)HDFS (Hadoop Distributed File System)NoSQL 저장 시스템 (MongoDB, Cassandra 등)1.2 데이터 적재 방식1) 데이터 수집 도구를 이용한 데이터 적재플루언티드 (Fluentd)로그 데이터를 다양한 형태로 수집하여 JSON 포맷으로 .. 2025. 3. 12. [P01CH01S02]: 빅데이터 기술 및 제도 PART 1: 빅데이터 분석 기획Chapter 01: 빅데이터의 이해 SECTION 02: 빅데이터 기술 및 제도 ✅ 01 빅데이터 플랫폼빅데이터 플랫폼은 빅데이터를 수집, 저장, 관리, 분석하는 기술적 환경입니다.대표적으로 하둡(Hadoop), 스파크(Spark), 그리고 클라우드 기반 플랫폼(AWS, Azure, GCP)이 활용됩니다.핵심 플랫폼의 특징하둡(Hadoop)HDFS(분산파일 시스템), MapReduce(배치 처리), YARN(자원 관리), Hive(SQL 기반 분석)주로 대량 데이터의 배치 처리에 사용됨스파크(Spark)인메모리(In-memory) 처리를 통해 빠른 성능 제공배치 처리와 실시간 스트리밍 분석, 머신러닝 가능클라우드 플랫폼AWS EMR, Azure Databricks, G.. 2025. 3. 11. [P01CH01S01] 데이터와 정보 PART 1: 빅데이터 분석 기획Chapter 01: 빅데이터의 이해 Sector 01: 데이터와 정보1. 데이터와 정보데이터(Data)는 가공되지 않은 원시적인 값이나 사실을 의미하며, 정보(Information)는 데이터를 가공하여 의미를 부여한 것입니다. 데이터가 유의미한 정보를 제공할 수 있도록 가공되면 의사결정에 활용할 수 있습니다.1.1. 데이터 구분데이터는 정량적 데이터(Quantitative Data)와 정성적 데이터(Qualitative Data)로 구분됩니다.데이터 유형 설명 예시정량적 데이터수치로 표현할 수 있는 데이터매출액, 사용자 수, 평균 점수정성적 데이터숫자로 표현하기 어려운 데이터고객 리뷰, 설문조사 응답, 감성 분석 결과 ✅ 시험 출제 포인트정량적 데이터와 정성적 데이터의 .. 2025. 3. 10. PART 1: 빅데이터 분석 기획 PART 1: 빅데이터 분석 기획 최근 빅데이터분석기사 필기 시험에서는 빅데이터 분석 기획과 관련된 개념이 중요한 출제 요소로 다뤄지고 있습니다. 특히, 빅데이터의 개념과 활용, 데이터 분석 계획, 데이터 수집 및 저장 전략 등의 내용이 자주 출제되고 있습니다. 👉 출제 경향을 살펴보면, 빅데이터 분석 프로세스 전반에 대한 이해를 묻는 문제가 많습니다. 따라서 각 과정이 어떻게 연결되는지, 실무에서 어떻게 적용되는지를 중심으로 학습하는 것이 효과적입니다.📌 빅데이터 분석 기획이 중요한 이유빅데이터 분석은 단순히 데이터를 수집하고 처리하는 것이 아니라, 비즈니스 문제를 해결하고 가치를 창출하는 과정입니다.하지만 잘못된 기획은 데이터 분석의 실패로 이어질 수 있습니다. 💡 예를 들어,분석 목표가 명확하.. 2025. 3. 10. 이전 1 2 3 다음 728x90 반응형
