728x90 반응형 컴퓨터자격증25 [P01CH03S02] 데이터 적재 및 저장 PART01: 빅데이터 분석 기획CHAPTER03: 데이터 수집 및 저장 계획 [P01CH03S02] 데이터 적재 및 저장1. 데이터 적재 (Data Ingestion)1.1 데이터 적재 개요데이터 적재는 수집한 데이터를 분석을 위한 저장 시스템에 적재하는 과정을 의미합니다.이 과정에서는 데이터의 유형과 특성에 따라 적절한 저장소를 선택하고, 정확하고 효율적인 적재 방법을 적용해야 합니다.데이터 적재 대상관계형 데이터베이스(RDB)HDFS (Hadoop Distributed File System)NoSQL 저장 시스템 (MongoDB, Cassandra 등)1.2 데이터 적재 방식1) 데이터 수집 도구를 이용한 데이터 적재플루언티드 (Fluentd)로그 데이터를 다양한 형태로 수집하여 JSON 포맷으로 .. 2025. 3. 12. [P01CH01S02]: 빅데이터 기술 및 제도 PART 1: 빅데이터 분석 기획Chapter 01: 빅데이터의 이해 SECTION 02: 빅데이터 기술 및 제도 ✅ 01 빅데이터 플랫폼빅데이터 플랫폼은 빅데이터를 수집, 저장, 관리, 분석하는 기술적 환경입니다.대표적으로 하둡(Hadoop), 스파크(Spark), 그리고 클라우드 기반 플랫폼(AWS, Azure, GCP)이 활용됩니다.핵심 플랫폼의 특징하둡(Hadoop)HDFS(분산파일 시스템), MapReduce(배치 처리), YARN(자원 관리), Hive(SQL 기반 분석)주로 대량 데이터의 배치 처리에 사용됨스파크(Spark)인메모리(In-memory) 처리를 통해 빠른 성능 제공배치 처리와 실시간 스트리밍 분석, 머신러닝 가능클라우드 플랫폼AWS EMR, Azure Databricks, G.. 2025. 3. 11. [P01CH01S01] 데이터와 정보 PART 1: 빅데이터 분석 기획Chapter 01: 빅데이터의 이해 Sector 01: 데이터와 정보1. 데이터와 정보데이터(Data)는 가공되지 않은 원시적인 값이나 사실을 의미하며, 정보(Information)는 데이터를 가공하여 의미를 부여한 것입니다. 데이터가 유의미한 정보를 제공할 수 있도록 가공되면 의사결정에 활용할 수 있습니다.1.1. 데이터 구분데이터는 정량적 데이터(Quantitative Data)와 정성적 데이터(Qualitative Data)로 구분됩니다.데이터 유형 설명 예시정량적 데이터수치로 표현할 수 있는 데이터매출액, 사용자 수, 평균 점수정성적 데이터숫자로 표현하기 어려운 데이터고객 리뷰, 설문조사 응답, 감성 분석 결과 ✅ 시험 출제 포인트정량적 데이터와 정성적 데이터의 .. 2025. 3. 10. PART 0: 2025년 빅데이터분석기사 독학 (feat. 시험 일정 및 개요, 이기적 교재) 시험비가 비교적 저렴해서( 17,800 )덜컥 신청했는데 허허....공부할게 많네요.특히 확률 통계쪽 그래프나 개념은 모르기 때문에 열심히 준비해볼 생각입니다.1. 빅데이터분석기사란?빅데이터분석기사는 데이터 분석을 통해 유의미한 정보를 도출하고, 이를 기반으로 의사 결정을 지원하는 전문가를 양성하기 위한 국가기술자격증입니다. 4차 산업혁명 시대에 데이터 기반 의사결정이 점점 중요해짐에 따라, 기업 및 공공기관에서 빅데이터 전문가의 수요가 증가하고 있습니다. 2. 시험 일정 및 응시 자격 4년제 대졸 및 기사 자격증 보유자는 충분히 조건이 되고 나머지 사항은 아래 목록을 읽어보시기 바랍니다.3. 시험 과목 및 평가 기준시험은 필기와 실기로 나누어지며, 필기시험은 다음과 같이 구성됩니다.필기시험 실기시.. 2025. 3. 10. [SQLD SP02] 물리적 JOIN(조인)의 모든 것 논리적 조인 포스트: 2025.02.13 - [자격증/SQLD] - [SQLD] 3-3: 논리적 JOIN (조인)의 모든 것 [SQLD] 3-3: 논리적 JOIN (조인)의 모든 것이전 포스트:2025.02.13 - [자격증/SQLD] - [SQLD] Chapter 3-2 GROUP BY & HAVING & ORDER [SQLD] Chapter 3-2 GROUP BY & HAVING & ORDER1. GROUP BY 개념GROUP BY 절은 데이터를 특정 기준에 따라 그룹화하여 집계 연산을 수행할 때rnasterofmysea.tistory.com 🔹 논리적 조인 vs. 물리적 조인SQL에서 조인은 크게 두 가지 관점에서 분류할 수 있습니다. 구분설명종류논리적 조인 (Logical Join)데이터가 어떻.. 2025. 2. 27. [SQLD] 5-2: 데이터 정의어(DDL) & 데이터 제어어(DCL) 이전 포스트:2025.02.22 - [자격증/SQLD] - [SQLD] 5-1: 데이터 조작어 (DML) 와 트랜잭션 제어(TCL) [SQLD] 5-1: 데이터 조작어 (DML) 와 트랜잭션 제어(TCL)[SQLD] 5-1: 데이터 조작어 (DML) 와 트랜잭션 제어 (TCL) 1. DML(Data Manipulation Language)이란?DML(Data Manipulation Language, 데이터 조작어)은 데이터베이스 내의 데이터를 조작하는 SQL 명령어의 한 종류입니다.rnasterofmysea.tistory.com SQLD 시험 대비: 데이터 정의어(DDL) & 데이터 제어어(DCL)1. DDL(Data Definition Language)이란?DDL(Data Definition Langu.. 2025. 2. 22. 이전 1 2 3 4 5 다음 728x90 반응형
