Part 4: 빅데이터 결과 해석
Chapter 1: 분석모형 평가 및 개선분석모형 평가회귀모형 평가 지표: 평균절대오차(MAE), 평균제곱오차(MSE), 평균제곱근오차(RMSE), 평균절대백분율오차(MAPE), 결정계수(R²) 등이 사용됩니다. 결정계수 R² 값이 1에 가까울수록 모형의 설명력이 높음을 의미합니다.분류모형 평가 지표: 혼동행렬을 기반으로 정확도(Accuracy), 민감도(Sensitivity), 특이도(Specificity), 정밀도(Precision), F1 스코어, ROC 곡선 및 AUC 값 등이 활용됩니다.분석모형 진단회귀모형 가정 진단: 선형성, 독립성, 등분산성, 정규성 등의 가정을 확인하며, 잔차 산점도, 더빈-왓슨 검정, Q-Q plot 등을 통해 진단합니다.오류 유형: 과대적합(Overfitting)..
2025. 3. 18.
[P03CH01S01-02] 데이터 탐색 기초
PART03: 빅데이터 모델링CHAPTER03: 분석모델 설계 [P03CH01S01-02] 데이터 탐색 기초 01. 분석 절차 수립 1.1 분석 모형 선정 1) 분석 목적의사결정, 불확실성 해소, 요약, 인과관계 파악, 예측빅데이터 분석의 근본 목적: 과거 데이터를 바탕으로 원인을 분석하고, 이를 통해 미래를 예측데이터는 후행적인 성격을 가지지만 선행적인 성격도 포함가트너 그룹의 빅데이터 분석 목적:고객 인사이트, 제품 및 절차 효율성, 디지털 제품 및 서비스, 운영의 탁월성, 디지털 마케팅, 위기 관리 시스템 2) 분석 모형 선정 프로세스문제 요건 정의: 대상 데이터 선정, 분석 목표 및 조건 정의데이터 수집, 정리 및 도식화데이터 전처리: 데이터 정제, 종속/독립 변수 선정, 데이터 변환, 데이터 통..
2025. 3. 17.
Part 3: 빅데이터 모델링
1. 분석모형 설계1.1 분석 절차 수립빅데이터 분석을 위해 체계적인 분석 절차를 수립해야 합니다. 주요 단계는 다음과 같습니다.분석모형 선정: 분석 목적에 적합한 모델을 선택합니다.분석모형 정의: 분석의 목표와 가설을 수립하고, 모델의 특성을 정의합니다.분석모형 구축 절차: 데이터 수집, 정제, 모델 학습, 평가 등의 단계로 분석을 수행하는 절차를 확립합니다.1.2 분석 환경 구축효율적인 빅데이터 분석을 위해 환경을 구축하는 과정입니다.분석 도구 선정: Python, R, SQL, Hadoop, Spark 등 목적에 맞는 도구를 선택합니다.데이터 분할: 학습 데이터, 검증 데이터, 테스트 데이터로 분할하여 모델의 일반화 성능을 높입니다.2. 분석기법 적용2.1 분석기법다양한 분석기법이 존재하며, 데이터..
2025. 3. 16.