728x90 반응형 빅데이터13 [P04CH01S01-S02] 분석모형 평가 및 개선 PART04: 빅데이터 결과해석CHAPTER01: 분석모형 평가 및 개선[P04CH01S01-S02] 분석모형 평가 및 개선 1. 평가 지표1.1 지도학습-분류모델 평가 지표 (1) 오차 행렬: 훈련을 통한 예측 성능을 측정하기 위해 예측 값과 실제값을 비교하기 위한 표이다 오차 행렬은 크게 4가지로 나누어 볼수 있는데 간단히 설명하면 다음과 같다.TN(True Negative) : 예측을 Negative로 하였고 그 결과도 Negative인 경우TP(True Positive) : 예측을 Positive로 하였고 그 결과도 Positive인 경우FN(True Negative) : 예측을 Negative로 하였으나 결과는 Positive인 경우FP(True Positive) : 예측을 Positive로 하.. 2025. 3. 19. [P03CH02S01] ✨분석 기법 (feat. 인공지능, 빅데이터) PART03: 빅데이터 모델링CHAPTER02: 분석기법 적용[P03CH02S01] 분석 기법01. 분석기법 개요 1.1 학습 유형에 따른 데이터 분석 모델데이터 분석 모델은 학습 방식에 따라 크게 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 준지도학습(Semi-supervised Learning), 강화학습(Reinforcement Learning)으로 구분됩니다.1) 지도학습입력 데이터에 대한 정답(레이블) 이 존재하는 경우 사용훈련 데이터와 정답을 기반으로 모델을 학습하여 새로운 데이터에 대한 예측 수행대표적인 지도학습 기법:분류(Classification): 데이터가 미리 정의된 여러 개의 카테고리 중 하나로 분류됨 (예: 이메일 스팸 분류.. 2025. 3. 17. [P03CH01S01-02] 데이터 탐색 기초 PART03: 빅데이터 모델링CHAPTER03: 분석모델 설계 [P03CH01S01-02] 데이터 탐색 기초 01. 분석 절차 수립 1.1 분석 모형 선정 1) 분석 목적의사결정, 불확실성 해소, 요약, 인과관계 파악, 예측빅데이터 분석의 근본 목적: 과거 데이터를 바탕으로 원인을 분석하고, 이를 통해 미래를 예측데이터는 후행적인 성격을 가지지만 선행적인 성격도 포함가트너 그룹의 빅데이터 분석 목적:고객 인사이트, 제품 및 절차 효율성, 디지털 제품 및 서비스, 운영의 탁월성, 디지털 마케팅, 위기 관리 시스템 2) 분석 모형 선정 프로세스문제 요건 정의: 대상 데이터 선정, 분석 목표 및 조건 정의데이터 수집, 정리 및 도식화데이터 전처리: 데이터 정제, 종속/독립 변수 선정, 데이터 변환, 데이터 통.. 2025. 3. 17. Part 3: 빅데이터 모델링 1. 분석모형 설계1.1 분석 절차 수립빅데이터 분석을 위해 체계적인 분석 절차를 수립해야 합니다. 주요 단계는 다음과 같습니다.분석모형 선정: 분석 목적에 적합한 모델을 선택합니다.분석모형 정의: 분석의 목표와 가설을 수립하고, 모델의 특성을 정의합니다.분석모형 구축 절차: 데이터 수집, 정제, 모델 학습, 평가 등의 단계로 분석을 수행하는 절차를 확립합니다.1.2 분석 환경 구축효율적인 빅데이터 분석을 위해 환경을 구축하는 과정입니다.분석 도구 선정: Python, R, SQL, Hadoop, Spark 등 목적에 맞는 도구를 선택합니다.데이터 분할: 학습 데이터, 검증 데이터, 테스트 데이터로 분할하여 모델의 일반화 성능을 높입니다.2. 분석기법 적용2.1 분석기법다양한 분석기법이 존재하며, 데이터.. 2025. 3. 16. [P02CH02S02] 추론통계 PART02: 빅데이터 탐색CHAPTER02: 데이터 탐색 [P02CH02S02] 추론통계 통계적 추론 및 가설검정에 대한 핵심 개념을 잘 정리해 주셨습니다. 이를 바탕으로 보충 설명과 함께 각 개념을 좀 더 체계적으로 정리해드리겠습니다.1. 통계적 추론 (Statistical Inference)통계적 추론은 모집단의 특성을 알기 위해 표본을 사용하여 추측하는 과정입니다. 크게 추정(Estimation) 과 가설검정(Hypothesis Testing) 으로 나뉩니다.(1) 추정 (Estimation)모집단의 특성을 추정하는 과정입니다.표본평균을 이용하여 모집단 평균을 추정하거나, 신뢰구간을 계산하여 추정의 신뢰도를 평가할 수 있습니다.(2) 가설검정 (Hypothesis Testing)모집단의 특정한 주.. 2025. 3. 16. [P02CH03S01] 기술통계 PART02: 빅데이터 탐색CHAPTER02: 통계기법 이해 [P02CH03S01] 기술통계 01. 데이터 요약기술통계는 분석에 필요한 데이터를 요약하여 묘사하고 설명하는 통계 기법을 의미합니다. 단순히 데이터를 정리하는 행위만으로는 의미가 없으며, 분석 전 데이터의 특성을 찾아내고 이를 정량화하여 체계적으로 요약하는 것이 중요합니다.02. 표본추출2.1 모집단과 표본모집단(Population): 연구나 실험의 결과가 일반화되는 큰 집단으로, 정보를 얻고자 하는 대상의 전체 집합을 의미합니다.표본(Sample): 모집단에서 일부를 추출하여 조사한 결과로, 모집단의 성질을 추측하는 데 사용되는 자료입니다.표본추출(Sampling): 모집단에서 표본을 선택하는 행위 및 과정입니다.2.2 전수조사와 표본조사전.. 2025. 3. 16. 이전 1 2 3 다음 728x90 반응형
