가. 정보 디자인 프로세스 [인포그래픽 생성 단계] (1) 1단계 : 데이터 수집 (2) 2단계 : 모든 것을 읽기 – 빠진 데이터가 있는지 스토리를 펼치는데 필요한 작은 조각들을 확인하는 단계 (3) 3단계 : 네러티브 찾기 – 스토리를 만드는 단계 (정보를 담은 스토리인가? , 주제에 관심이 가는가? ,주목할만한가?) (4) 4단계 : 문제의 정의 – 이야기가 내포한 결과에 […]
가. 데이터 시각화의 중요성 – 많은 정보가 생성되는 빅데이터 환경이 도래하며, 엄청나게 많은 데이터의 홍수 속에서 의미있는 정보와 가치들을 얻어내는 것이 중요해 짐 특히나 텍스트와 이미지가 비정형의 형태를 띄고 있어 중요한 패턴을 찾기가 쉽지 않음 구글 수석 경제학자 할 배리언은 “데이터 얻는 능력”, “처리하는 능력” , “가치를 뽑아내는 능력” . “시각화하는 능력”, “전달하는 능력”이 중요하게 […]
가. 내부에서 적용 – 기존 문제 해결 방식이나 설명 모델의 수정 – 새로운 문제 해결 방식의 도입 – 새롭게 발견한 가능성에 대한 구체적인 탐색과 발전 나. 외부에 대한 설명, 설득과 시각화 도구 – 다른 사람에게 정보를 전달하거나 설득하기 위해서는 시각화가 유용 – 대표적인 예로는 인포그래픽이 있음 다. 인사이트의 발전과 확장 (1) 탑다운 vs 보텀업 – […]
가. Spark 설치 (1) http://spark.apache.org/downloads.html 접속 (2) 기 구축된 Hadoop 환경이 있는 것이 아니라면 Hadoop Pre-Build 선택 (3) download Spark (4) 압축 해제 tar -zxvf spark-1.6.1-bin-hadoop.2.6.tgz 나. Spark 실행 [커맨드 모드] (1) spark-1.6.1-bin-hadoop2.6/bin$ ./pyspark (2) Spark 모니터링 16/06/01 22:03:46 INFO SparkUI: Started SparkUI at http://192.168.0.3:4040 [Master Node] /sbin/start-master.sh ※ 아래 Page 기본 접속 포트는 8080 […]
가. 분석 대상의 구체화 (1) 2차 탐색 – 탐색을 통해 찾아낸 관계들 사이의 우선순의를 조정 – 잘라보기, 달리보기, 내려다보기, 올려다보기, 측정값, 차원값 조정 등을 다시 점검 (2) 분석 목표에 따른 분석 기법 – 패턴 자체를 확률적으로 검증하거나 패턴을 구성하는 핵심 함수의 모델 도출 등 분석 -평균에 대한 검정과 추정 : T 검정 -비율에 대한 검정과 […]
가. 사용 가능한 데이터 확인 (1) 데이터 명세화 : 차원과 측정값 대상을 국가별 남성의 평균 수명이라고 하면 아래과 같이 예를 들 수 있다. – 측정값 : 평균 나이 값 – 차원값 : 국가 , 성별 . 하나는 1차원, 두개 이상은 다차원이라고 명명 함 . 시간 연속 데이터는 일,연 단위로 묶어서 차원을 관리하기도 함 – 데이터의 […]
가. Insight 통찰력 – 영문 의미와 한글 의미의 주요 공통점은 정보, 인과관계, 본질, 이해 (1) 데이터, 정보, 지식, 지혜, 관계 1Level : 지혜 – 적용된 지식 . 지역별, 기후 반복주기 최대치를 고려한 관계 2Level : 지식 – 조직화된 정보 . A 마을의 강수량과 지형조건, 배수 시설 등의 정보를 고려한 관계 3Level : 정보 – 연관된 […]
AI 의 대표적인 방법론인 Neural Net 의 활용 방안에 대한 아이디어를 찾기 위해서는 기존에 어떤 분야에 활용되는지를 알 필요가 있다. http://www.alyuda.com/products/forecaster/neural-network-applications.htm 가) Financial (1) 주식시장 예측 : 오픈, 최고, 최저, 마감, 가격 등으로 주식 시장 예측 (2) 신용도 예측 : 개인 데이터, 수입, 지출, 신용 History 등 활용 (3) 회사 신용도 : 회사의 재무적인 지표 등으로 […]