가. 데이터 시각화의 중요성 – 많은 정보가 생성되는 빅데이터 환경이 도래하며, 엄청나게 많은 데이터의 홍수 속에서 의미있는 정보와 가치들을 얻어내는 것이 중요해 짐 특히나 텍스트와 이미지가 비정형의 형태를 띄고 있어 중요한 패턴을 찾기가 쉽지 않음 구글 수석 경제학자 할 배리언은 “데이터 얻는 능력”, “처리하는 능력” , “가치를 뽑아내는 능력” . “시각화하는 능력”, “전달하는 능력”이 중요하게 […]
Deep Learning Research Group
가. 내부에서 적용 – 기존 문제 해결 방식이나 설명 모델의 수정 – 새로운 문제 해결 방식의 도입 – 새롭게 발견한 가능성에 대한 구체적인 탐색과 발전 나. 외부에 대한 설명, 설득과 시각화 도구 – 다른 사람에게 정보를 전달하거나 설득하기 위해서는 시각화가 유용 – 대표적인 예로는 인포그래픽이 있음 다. 인사이트의 발전과 확장 (1) 탑다운 vs 보텀업 – […]
가. Spark 설치 (1) http://spark.apache.org/downloads.html 접속 (2) 기 구축된 Hadoop 환경이 있는 것이 아니라면 Hadoop Pre-Build 선택 (3) download Spark (4) 압축 해제 tar -zxvf spark-1.6.1-bin-hadoop.2.6.tgz 나. Spark 실행 [커맨드 모드] (1) spark-1.6.1-bin-hadoop2.6/bin$ ./pyspark (2) Spark 모니터링 16/06/01 22:03:46 INFO SparkUI: Started SparkUI at http://192.168.0.3:4040 [Master Node] /sbin/start-master.sh ※ 아래 Page 기본 접속 포트는 8080 […]
가. 분석 대상의 구체화 (1) 2차 탐색 – 탐색을 통해 찾아낸 관계들 사이의 우선순의를 조정 – 잘라보기, 달리보기, 내려다보기, 올려다보기, 측정값, 차원값 조정 등을 다시 점검 (2) 분석 목표에 따른 분석 기법 – 패턴 자체를 확률적으로 검증하거나 패턴을 구성하는 핵심 함수의 모델 도출 등 분석 -평균에 대한 검정과 추정 : T 검정 -비율에 대한 검정과 […]
가. 사용 가능한 데이터 확인 (1) 데이터 명세화 : 차원과 측정값 대상을 국가별 남성의 평균 수명이라고 하면 아래과 같이 예를 들 수 있다. – 측정값 : 평균 나이 값 – 차원값 : 국가 , 성별 . 하나는 1차원, 두개 이상은 다차원이라고 명명 함 . 시간 연속 데이터는 일,연 단위로 묶어서 차원을 관리하기도 함 – 데이터의 […]
가. Insight 통찰력 – 영문 의미와 한글 의미의 주요 공통점은 정보, 인과관계, 본질, 이해 (1) 데이터, 정보, 지식, 지혜, 관계 1Level : 지혜 – 적용된 지식 . 지역별, 기후 반복주기 최대치를 고려한 관계 2Level : 지식 – 조직화된 정보 . A 마을의 강수량과 지형조건, 배수 시설 등의 정보를 고려한 관계 3Level : 정보 – 연관된 […]
AI 의 대표적인 방법론인 Neural Net 의 활용 방안에 대한 아이디어를 찾기 위해서는 기존에 어떤 분야에 활용되는지를 알 필요가 있다. http://www.alyuda.com/products/forecaster/neural-network-applications.htm 가) Financial (1) 주식시장 예측 : 오픈, 최고, 최저, 마감, 가격 등으로 주식 시장 예측 (2) 신용도 예측 : 개인 데이터, 수입, 지출, 신용 History 등 활용 (3) 회사 신용도 : 회사의 재무적인 지표 등으로 […]
1. 안드로이드 지자기 정보 활용 IPS 에서 지구 자기장 강도를 Finger Print 방식으로 실내에서 위치를 찾는다고 하는데 실제 Android 코드로 어떤 값이 어떤식으로 수집되고 사용되는지 알아보고자 하였다. Android Sensor 에서는 자기장에 대하여 X,Y,Z 방향에 대한 자기장 강도를 리턴하는 것으로 확인하였으며, 각각의 값은 스마트폰의 회전 등 움직임에 크게 영향을 받기 때문에Finger Print 방식으로 지자기 값을 […]