728x90 반응형 자격증/빅데이터분석기사23 [P02CH01S02] 분석 변수 처리 PART02: 빅데이터 탐색CHAPTER02 데이터 전처리 참고 자료:https://ko.wikipedia.org/wiki/%EC%A3%BC%EC%84%B1%EB%B6%84_%EB%B6%84%EC%84%9D 주성분 분석 - 위키백과, 우리 모두의 백과사전위키백과, 우리 모두의 백과사전. 중심점의 좌표가(1,3)이고, (0.878, 0.478)방향으로 3, 이와 수직한 방향으로 1의 표준편차를 가지는 다변량 정규분포에 대한 주성분 분석. 화살표의 길이는 공분산ko.wikipedia.org [P02CH01S02] 분석 변수 처리 1. 변수 선택 1.1. 변수 모형의 분류전체모형(FML Full Model): 모든 독립변수를 사용한 모형으로 정의한다.축소모형(RM, Reduced Model): 전체 모형에서 .. 2025. 3. 14. [P02CH01S01] 데이터 정제 PART02: 빅데이터 탐색CHAPTER01: 데이터 전처리 [P02CH01S01] 데이터 정제1. 데이터에 내재된 변수의 이해1.1 데이터 관련 정의데이터 (Data): 이론을 세우는 기초가 되는 사실 또는 자료. 컴퓨터와 연관되어 프로그램을 운용할 수 있는 정보. 데이터를 효과적으로 분석하고 활용하기 위해서는 이를 수집하고 저장하는 방법을 정확히 이해해야 합니다.단위 (Unit): 관찰되는 항목 또는 대상을 지칭하며, 분석의 기본 단위로 사용됩니다.관측값 (Observation): 각 조사 단위별 기록정보 또는 특성을 의미하며, 이를 통해 변수 간의 관계를 분석할 수 있습니다.변수 (Variable): 각 단위에서 측정된 특성 결과로, 특정 대상이 가진 속성을 나타내는 요소입니다.원자료 (Raw Da.. 2025. 3. 13. PART 2: 빅데이터 탐색 PART 2: 빅데이터 탐색 1. 빅데이터 탐색 개요빅데이터 탐색은 수집된 데이터를 이해하고 분석하기 위한 첫 번째 단계입니다. 데이터의 특성을 파악하고, 이상치(outlier)를 탐지하며, 데이터의 구조를 분석하여 이후 모델링 및 분석에 적합한 형태로 가공하는 과정입니다.빅데이터 탐색의 주요 목표데이터의 분포 및 특징 파악결측치(missing value)와 이상치(outlier) 탐색 및 처리변수 간 관계 분석데이터 시각화를 통한 패턴 발견 2. 데이터 전처리데이터 전처리는 빅데이터 분석의 성패를 결정짓는 중요한 과정입니다. 원본 데이터(raw data)는 다양한 오류와 결측값을 포함하고 있으며, 이를 정제해야 의미 있는 분석이 가능합니다.주요 데이터 전처리 기법결측치 처리제거(Drop): 결측치가 .. 2025. 3. 13. [P01CH02S02] 분석 작업 계획 PART1 빅데이터 분석 기획CHAPTER 2 데이터 분석 계획 [P01CH02S02] 분석 작업 계획📖 분석 작업의 전체 흐름 이해하기분석 작업 계획은 다음과 같은 흐름으로 진행됩니다.데이터 수집 ▶ 데이터 저장 및 처리 ▶ 분석 ▶ 표현(시각화 등)각 단계별 핵심 내용을 살펴보겠습니다.🔖 1단계: 데이터 수집 (Data Collection)빅데이터 분석의 첫 번째 단계는 분석에 필요한 데이터를 확보하는 과정입니다. 주요 수집 방법으로는 다음과 같은 방법이 있습니다.로그 수집기: 웹 서버, 시스템, IoT 기기 등에서 생성되는 로그 데이터를 수집하는 방식미디어 정보 크롤링: 웹페이지, SNS 등 인터넷 상의 데이터를 자동으로 수집하는 방식센싱 (IoT 센서 등): IoT 센서를 통해 실시간으로 환.. 2025. 3. 12. [P01CH03S02] 데이터 적재 및 저장 PART01: 빅데이터 분석 기획CHAPTER03: 데이터 수집 및 저장 계획 [P01CH03S02] 데이터 적재 및 저장1. 데이터 적재 (Data Ingestion)1.1 데이터 적재 개요데이터 적재는 수집한 데이터를 분석을 위한 저장 시스템에 적재하는 과정을 의미합니다.이 과정에서는 데이터의 유형과 특성에 따라 적절한 저장소를 선택하고, 정확하고 효율적인 적재 방법을 적용해야 합니다.데이터 적재 대상관계형 데이터베이스(RDB)HDFS (Hadoop Distributed File System)NoSQL 저장 시스템 (MongoDB, Cassandra 등)1.2 데이터 적재 방식1) 데이터 수집 도구를 이용한 데이터 적재플루언티드 (Fluentd)로그 데이터를 다양한 형태로 수집하여 JSON 포맷으로 .. 2025. 3. 12. [P01CH03S01] 데이터 수집 및 전환 PART01 빅데이터 분석 기획CHAPTER 02 데이터 수집 및 저장 계획 [P01CH03S01] 데이터 수집 및 전환1. 데이터 수집데이터 수집은 다양한 장소에 존재하는 데이터를 한 곳으로 모으는 과정입니다. 이를 위해서는 다음과 같은 절차를 거칩니다:수집 데이터 유형 파악: 수집하려는 데이터의 유형을 이해합니다.수집 기술 결정: 데이터 유형에 맞는 수집 기술을 선택합니다.아키텍처 수립: 데이터 수집을 위한 시스템 구조를 설계합니다.하드웨어 구축: 필요한 하드웨어를 설치합니다.실행환경 구축: 데이터 수집을 위한 소프트웨어 환경을 구성합니다. citeturn0search71.1 비즈니스 도메인과 원천 데이터 정보 수집비즈니스 도메인 정보: 비즈니스 모델, 용어집, 프로세스 등을 수집하여 도메인에.. 2025. 3. 12. 이전 1 2 3 4 다음 728x90 반응형
