가. Spark 설치 (1) http://spark.apache.org/downloads.html 접속 (2) 기 구축된 Hadoop 환경이 있는 것이 아니라면 Hadoop Pre-Build 선택 (3) download Spark (4) 압축 해제 tar -zxvf spark-1.6.1-bin-hadoop.2.6.tgz 나. Spark 실행 [커맨드 모드] (1) spark-1.6.1-bin-hadoop2.6/bin$ ./pyspark (2) Spark 모니터링 16/06/01 22:03:46 INFO SparkUI: Started SparkUI at http://192.168.0.3:4040 [Master Node] /sbin/start-master.sh ※ 아래 Page 기본 접속 포트는 8080 […]
가. 분석 대상의 구체화 (1) 2차 탐색 – 탐색을 통해 찾아낸 관계들 사이의 우선순의를 조정 – 잘라보기, 달리보기, 내려다보기, 올려다보기, 측정값, 차원값 조정 등을 다시 점검 (2) 분석 목표에 따른 분석 기법 – 패턴 자체를 확률적으로 검증하거나 패턴을 구성하는 핵심 함수의 모델 도출 등 분석 -평균에 대한 검정과 추정 : T 검정 -비율에 대한 검정과 […]
가. 사용 가능한 데이터 확인 (1) 데이터 명세화 : 차원과 측정값 대상을 국가별 남성의 평균 수명이라고 하면 아래과 같이 예를 들 수 있다. – 측정값 : 평균 나이 값 – 차원값 : 국가 , 성별 . 하나는 1차원, 두개 이상은 다차원이라고 명명 함 . 시간 연속 데이터는 일,연 단위로 묶어서 차원을 관리하기도 함 – 데이터의 […]
가. Insight 통찰력 – 영문 의미와 한글 의미의 주요 공통점은 정보, 인과관계, 본질, 이해 (1) 데이터, 정보, 지식, 지혜, 관계 1Level : 지혜 – 적용된 지식 . 지역별, 기후 반복주기 최대치를 고려한 관계 2Level : 지식 – 조직화된 정보 . A 마을의 강수량과 지형조건, 배수 시설 등의 정보를 고려한 관계 3Level : 정보 – 연관된 […]
AI 의 대표적인 방법론인 Neural Net 의 활용 방안에 대한 아이디어를 찾기 위해서는 기존에 어떤 분야에 활용되는지를 알 필요가 있다. http://www.alyuda.com/products/forecaster/neural-network-applications.htm 가) Financial (1) 주식시장 예측 : 오픈, 최고, 최저, 마감, 가격 등으로 주식 시장 예측 (2) 신용도 예측 : 개인 데이터, 수입, 지출, 신용 History 등 활용 (3) 회사 신용도 : 회사의 재무적인 지표 등으로 […]
1. 안드로이드 지자기 정보 활용 IPS 에서 지구 자기장 강도를 Finger Print 방식으로 실내에서 위치를 찾는다고 하는데 실제 Android 코드로 어떤 값이 어떤식으로 수집되고 사용되는지 알아보고자 하였다. Android Sensor 에서는 자기장에 대하여 X,Y,Z 방향에 대한 자기장 강도를 리턴하는 것으로 확인하였으며, 각각의 값은 스마트폰의 회전 등 움직임에 크게 영향을 받기 때문에Finger Print 방식으로 지자기 값을 […]
1. 정상성 – 평균이 일정하다. 즉 모든 시점에 대해 일정한 평균을 가진다. – 분산도 시점에 의존하지 않는다 – 공분산은 단지 시차에만 의존하고 실제 어느 시점 t,s 에는 의존하지 않는다. 대부분의 경우 실제의 데이터는 이러한 정상성을 만족하지 않는다. 그래서 정상성을 만족하지 않는 데이터를 정상 시계열 데이터로 변환해야 하는데 이때, 변환, 차분과 같은 방법을 사용할 수 있다. […]
install.packages(“rattle”) install.packages(“RColorBrewer”) install.packages(“rpart.plot”) ####################################### #1. 데이터 구성 ####################################### library(rattle) library(RColorBrewer) library(rpart.plot) #일정한 Random 값을 갖도록한다. (언제 실행해도 1426 이라면 같은 Random 값) set.seed(1426) #R 에 내장된 샘플 CSV weather 를 읽어 온다 data(weather) #weather 데이터를 ds 에 담는다. ds <- get(“weather”) # 제외할 컬럼 “Date” “Location” “RISK_MM” id <- c(“Date”, “Location”) risk <- “RISK_MM” ignore […]