/ LICENSE

ADSP (3) 데이터 분석 기회의 이해

ADSP 관련 글

ADSP를 준비하면서 공부한 내용을 정리한 글입니다.
2과목 1장 데이터 분석 기회의 이해에 대한 부분을 정리한 글입니다.

  1. 분석 기획
  2. 분석 방법론 개요
    1. 전통적인 분석 방법론
    2. 빅데이터 분석 방법론
  3. 분석 과제 발굴
  4. 분석 프로세스 관리 방안

분석 기획

분석 대상이 무엇인지 알고 있고 그 분석 방법도 알고 있다면 ‘최적화’
분석 대상이 무엇인지 알고 있지만, 그 분석 방법을 모른다면 ‘솔루션’
분석 대상이 무엇인지 모르고 그 분석 방법도 모른다면 ‘발견’
분석 대상이 무엇인지는 모르지만, 그 분석 방법은 알고 있다면 ‘통찰’

과제 중심적인 접근 방식
빠르게 해결해야 하는 경우, 빠른 수행과 문제 해결이 목적

장기적인 마스터플랜 방식
지속적인 분석 내재화를 위한 경우, 정확도와 무엇이 문제인가에 대한 문제 정의가 목적

분석 기획 시 고려사항

가용 데이터 고려
적절한 활용 방안과 유스케이스의 탐색
장애 요소에 대한 사전 계획 수립

분석 방법론 개요

합리적 의사결정 방해요소
고정 관념, 편향된 생각, 프레이밍 효과

분석 방법론의 생성 과정 방법론 -(내재화)-암묵지-(형식화)-형식지-(체계화)-방법론

분석 방법론이 적용되는 업무 특성에 따른 모델

  1. 폭포수 모델
    단계적으로 진행되는 방식으로 하향식 방향

  2. 프로토타입 모델
    사용자 중심의 개발 방법

  3. 나선형 모델
    반복을 통해 점증적으로 개발하지만 위험 요소를 사전에 제거

  4. 계층적 프로세스 모델
    최상의 계층인 몇 개의 단계로 구성되어 있고 하나의 단계는 여러 개의 태스크로 구성되고 하나의 태스크는 여러개의 스텝으로 구성된다.
    단계: 프로세스 그룹을 통해 완성된 단계별 산출물 생성
    태스크: 단계를 구성하는 단위 활동
    스텝: WBS의 워크패이지에 해당


전통적인 분석 방법론

  1. KDD 분석 방법론
    데이터로부터 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 데이터 마이닝 프로세스
    데이터셋 선택 - 데이터 전처리 - 데이터 변환 - 데이터 마이닝 - 해석과 평가

  2. CRISP-DM 분석 방법론
    KDD 분석 방법론보다 더 세분화
    업무 이해 - 데이터 이해 - 데이터 준비 - 모델링 - 평가 - 전개

빅데이터 분석 방법론

분석 기획, 데이터 준비, 데이터 분석, 시스템 구현, 평가 및 전개의 5개 단계와 각각의 태스크와 스텝이 순차적으로 진행

5단계 빅데이터 분석 방법론 플로우

단계별
분석 기획 - 데이터 준비 - 데이터 분석 - 시스템 구현 - 평가 및 전개

단계별 수행 태스크

분석 기획

  1. 비즈니스 이해 및 범위 설정
    비즈니스 이해 - 프로젝트 범위 설정

  2. 프로젝트 정의 및 계획 수립
    데이터 분석 프로젝트 정의 - 프로젝트 수행 계획 수립

  3. 프로젝트 위험계획 수립
    데이터 분석 위험 식별 - 위험 대응 계획 수립

데이터 준비

  1. 필요 데이터 정의
    데이터 정의 - 데이터 획득 방안 수립

  2. 데이터 스토어 설계
    정형 데이터 스토어 설계 - 비정형 데이터 스토어 설계

  3. 데이터 수집 및 정합성 검정
    데이터 수집 및 저장 - 데이터 정합성 점검

데이터 분석

  1. 분석용 데이터 준비
    비즈니스 룰 확인 - 분석용 데이터셋 준비

  2. 텍스트 분석
    텍스트 데이터 확인 및 추출 - 텍스트 데이터 분석

  3. 탐색적 분석
    탐색적 데이터 분석 - 데이터 시각화

  4. 모델링
    데이터 분할 - 데이터 모델링 - 모델 적용 및 운영 방안

  5. 모델 평가 및 검증
    모델 평가 - 모델 검증

시스템 구현

  1. 설계 및 구현
    시스템 분석 및 설계 - 시스템 구현

  2. 시스템 테스트 및 운영
    시스템 테스트 - 시스템 운영 계획

평가 및 전개

  1. 모델 발전 계획 수립
    모델 발전 계획

  2. 프로젝트 평가 및 보고
    프로젝트 성과 평가 - 프로젝트 종료


분석 과제 발굴

하향식 접근법
분석 대상을 알고 있을 때 문제 탐색 단계 - 문제 정의 단계 - 해결방안 탐색 단계 - 타당성 컴토 단계

문제 탐색 단계

  1. 비즈니스 모델 탐색 기법
    업무, 제품, 고객, 규제와 감사, 지원 인프라

  2. 분석 기회 발굴 범위의 확장
    거시적 관점, 경쟁자 확대 관점, 시장의 니즈 탐색, 역량의 재해석

  3. 외부 참조 모델 기반 문제 탐색
    유사 동종 업계에서의 문제 탐색

  4. 분석 유스케이스
    유사 및 동종 사례 탐색

문제 정의 단계

해결 방안 탐색 단계

타당성 검토 단계

  1. 경제적 타당성
  2. 데이터 및 기술적 타당성

상향식 접근법
분석 대상을 모르고 있을 때 분석 후 가치를 찾음
지도, 비지도 학습 - 프로토타입

지도학습
정답이 있는 데이터를 활용하여 분석 모델 학습
ex) 머신 러닝, DT, 인공신경망 모형, 분류, 회귀

비지도학습
정답이 없는 데이터를 활용하여 학습
연관성, 유사성, 결합을 중심으로 데이터의 상태를 표현
장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분 분석, 다차원 척도

프로토타이핑 접근법
먼저 분석을 시도하고 결과를 확인하면서 개선
가설의 생성 - 디자인에 대한 실험 - 실제 환경에서의 테스트 - 결과로부터 인사이트 도출 및 가설 확인


분석 프로세스 관리 방안

데이터의 양, 데이터의 복잡도, 분석의 속도, 분석 복잡도, 정확도와 정밀도