나만보는 블로그

Tensorflow 기초 Tensorflow 그래프 실행 -- 예제 1 -- # 텐서플로 import import tensorflow as tf # Tensor라는 자료형으로 저장 # Tensor는 랭크(Rank)와 셰이프(Shape)로 구성 # 랭크는 차원의 수를 나타냄 # 0이면 스칼라, 1이면 벡터, 2이면 행렬, 3이상은 n차원 텐서 hello = tf.constant('hello, tensor') print(hello) # 텐서를 이용하여 다양한 연산이 가능 a = tf.constant(10) b = tf.constant(32) c = tf.add(a,b) print(c) # 하지만 출력을 하기 위해서는 그래프를 실행 해야함 # 그래프란 텐서들의 연산 모음이라 할수 있음 # 그래프 실행은 Session 안에서 이루어 져야 함 sess = tf.Session() print(sess.run(hello)) print(sess.run([a,b,c])) sess.close() 플레이스홀더와 변수 -- 예제 2 -- import tensorflow as tf # Placeholder 는 그래프에 사용할 입력값을 나중에 받기 위해 사용하는 매개변수 # 아래는 [?, 3] 같은 모양의 행렬이 만들어진다. X = tf.placeholder(tf.float32, [None,3]) print(X) # X 에 넣을 데이터로 [?,3]의 모양이 될수 있게 자료를 입력 x_data = [[1,2,3],[4,5,6]] # tf.random_normal() 함수는 정규분포의 무작위 값을 추출 해줌 W = tf.Variable(tf.random_normal([3,2])) b = tf.Variable(tf.random_normal([2,1])) # tf.matmul() 함수는 두 행렬의 곱셈을 해줌 expr = tf.matmul(X,W) + b sess = tf.Session() # tf.global_variables_i...

커스텀 Image Stack 만들기 Eclipse Che 에서는 Docker Container 기반의 Workspace를 제공한다. 개발환경을 좀더 손 쉽게 만들어주는데 일반적인 Java, Python, Node js 등 다양한 언어들의 기본 개발 환경이 eclipse che 기본 stack 으로 구성되어 있다. 하지만 더 나아가 기본 개발환경에서 추가적으로 라이브러리를 설치하고 사용하려고 할때를 위해 Custom Stack 을 제공한다. 하지만 Eclipse che 에서 실행 될수 있는 Docker image를 만들기 쉽지 않기 때문에 저는 기존에 있는 Stack 을 생성하고 생성된 Container에 앞으로 사용할 라이브러리를 설치하고 해당 Container를 이미지화 시키는 것으로 Custom Stack 을 만드려 한다. 아래의 내용을 잘 따라 하면 Custom Stack 을 쉽게 만들수 있을 것이다. 1. Custom 하기 위한 언어의 기본 베이스 스택을 선택 (Workspace 만들기) Python에 Tensorflow를 설치하기 위해 Python stack 을 선택후 Workspace를 생성 했다. 2. 생성한 Workspace의 Open IDE 환경 Terminal에서 라이브러리 설치 Python 라이브러리 설치 제대로 설치 됐는지 확인을 해볼 필요가 있다. 3. Docker Image 만들고 Repository에 등록 Eclipse Che 가 설치된 Local Docker repository 나 Public Docker hub 를 사용한다 Public Docker hub 를 이용하기 위해 Docker 에 로그인 한다 $ docker login 서버에 접속하여 image 만들 컨테이너를 선택한다  $ docker ps -a {container_id}에 docker ps 에서 본 이미지를 id를 넣어 이미지화 시킨다 $...

데이터 시각화 1. 시각화 인사이트 프로세스 (1) 시각화 인사이트 프로세스 의미 데이터 비닝 (Data Binning) 데이터 플롯 (Data Flot) 시각화 연산 (2) 시각화 인사이트 프로세스 2. 시각화 디자인 (1) 시각화의 정의 (2) 시각화 프로세스 (3) 시각화 방법 3. R을 이용한 시각화 구현 (1) 사전작업 (2) 데이터 불러오기 (3) 시각화 (4) 시각적 매핑(Aesthetic Mapping) 구체화 (5) geoms (기하 객체) (6) Facets (면 분할) (7) 그 밖의 미학 요소 (8) Statistical Transformation (통계적 변환) 4. 샤이니(shiny)를 이용한 시각화 구현 (1) 샤이니 시작하기 (2) 새로운 샤이니 앱 만들기 (3) 샤이니 앱 템플릿으로 시작하기 (4) fluidPage() 함수 안에 요소를 추가하기

데이터 분석 1. 통계 프로그램 (1) 통계 프로그램 개요 통계적 방법과 기술 비교 학습 용이성 비교 지원측면 비교 시각화 비교 비용측면 비교 (2) SPSS 기초 SPSS 시작 SPSS 사용법 (3) R 기초 R 다운로드와 설치 R 살펴보기 R 사용하기 계산기로서의 R 변수의 사용 R의 기본 자료형 자료형을 위한 R 내장 함수 함수 (Function, Method) 도움말 관련 함수 help() R의 자료구조 R의 사용 예 2. 통계 분석 기법 (1) 통계학 개요 자료의 유형 측정(Measurement) 척도 구분 측정척도와 통계 분석 방법 (2) 통계 분석 기법 종류 교차 분석 (Crosstabs Analysis) 빈도 분석 (Frequency Analysis) 판별 분석 (Discriminant Analysis) 요인 분석 (Factor Analysis) 평균비교 (T-Test) 군집 분석 (Cluster Analysis) 회귀 분석 (Regression Analysis) 분산 분석 (Analysis Variance) 상관 분석 (Correlation Analysis) (3) 시계열 분석 시계열 분석 기법 비산형 시계열 분석 기법 (4) 시뮬레이션 (Simulation) (5) 최적화 기법(Optimization) (6) 다차원 척도법 (MDS : Multi-Dimensional Scaling Method) (7) 주성분 분석 (PCA : Principal Component Analysis) 3. 데이터 마트 (1) 데이터 마트 개요 데이터 마트 목적 분석 마트 구축 시 유의점 데이터 마트 종류 (2) 데이터 변경 및 요약 reshape 패키지로 데이터마트 개발 reshape (패키지) sqldf 패키지를 이용한 데이터 분석 p...

데이터 분석 기획 1. 데이터 분석 기획의 이해 (1) 데이터 분석 기획 방향성 도출 데이터 분석 개요 데이터 분석 기획 시 고려사항 (2) 데이터 분석 방법 데이터 분석 방법론 개요 KDD 분석 방법론(Knowledge Discovery in Databases) CRISP-DM 분석 방법론 빅데이터 분석 방법론 (3) 데이터 분석 프로젝트 관리 전략 빅데이터 분석 프로젝트 관리 영역 빅데이터 분석 프로젝트 관리 방안 (ISO 21500) 2. 데이터 분석 마스터 플랜 (1) 데이터 분석 마스터 플랜 이해 (2) 데이터 분석 거버넌스 체계 구축 이해관계자 프로젝트 거버넌스 프로젝트 환경 프로젝트 제약사항

데이터 처리 기술 이해 1. 데이터 처리 프로세스 (1) 데이터 추출·변환·전송 (ETL : Extraction, Transformation and Load) 추출 (Extraction) 변환 (Transformation) 전송 (Load) (2) 운영 데이터 저장소 (ODS : Operational Data Store) (3) 메타 데이터 (Meta Data) (4) 변경 데이터 이력관리 (CDC : Change Data Capture) Time Stamp on Rows Version Numbers on Rows Use in Optimistic Locking Status indicators on rows Time/Version/Status on rows Triggers on tables Event Programming Log scanners on Databases (5) 기업 애플리케이션 통합 (EAI : Enterprise Application Integration) EAI 기본요소 EAI 기능 EAI 구현 (Herb & Spoke 형 데이터 연대) EAI 기대효과 (6) 데이터 연게 및 통합기법 (7) 데이터 분류 수집 데이터의 형태에 따른 분류 수집 데이터의 위치에 따른 분류 2. 데이터 처리 기술 (1) 분산 데이터 저장 기술 분산 파일 시스템 구글 파일 시스템 (GFS : Google File System) 하둡 분산 파일 시스템 (2) 데이터베이스 클러스터 분산 데이터베이스 NoSQL (3) 분산 컴퓨팅 기술 하둡(Hadoop)의 탄생 맵리듀스(MapReduce) 하둡 에코시스템 (4) 클라우드 컴퓨팅 기술 클라우드 컴퓨팅의 형태 클라우드 컴퓨팅 주요 기술

데이터이해 1. 데이터와 정보의 이해 (1)데이터와 정보 데이터 정의 데이터와 정보의 차이 (2)데이터베이스 개요 데이터베이스 등장 배경 데이터베이스 정의 및 특성 (3)데이터베이스 활용 (기업)데이터베이스 활용 (기관)데이터베이스 활용 예 (국가)데이터베이스 활용 예 2. 데이터 가치와 미래 (1)빅데이터의 이해 빅데이터 등장 배경 빅데이터 정의 빅데이터 특징 빅데이터 등장에 따른 사회적 변화 (2)빅데이터의 가치와 영향 빅데이터 가치 빅데이터 영향 (3)빅데이터 비지니스 모델 빅데이터 활용 비지니스 모델 빅데이터 활용 테크닉 (4)미래 빅데이터 위기요인과 통제방안 빅데이터 미래 예측 3. 데이터 사이언스와 전략 인사이트 (1)데이터 분석 전략과 인사이트 빅데이터 회의론 빅데이터 분석의 함정 일차원적인 분석과 가치 기반 분석 (2)데이터 사이언스 이해 데이터 사이언스 정의 데이터 사이언스 구성 요소 (3)데이터 사이언티스트와 통찰력 데이터 사이언티스트 이해 데이터 사이언티스트와 인문학 빅데이터와 데이터 사이언스 미래

이론편 Blockchain Structure 1.       비트코인 구조 비트코인의 목적 -  은행과 같은 중앙 기관을 경유하지 않고  P2P  네트워크에서  1 대  1 교환이 가능한 전자 화폐 시스템을 구현하는 것 - P2P  기술과 공개키 암호 및 해시 함수 등 암호 기술로 구현 비트코인 구현 방법 - ‘ 온라인에서 교환이 가능한 전자 화폐 ’  의 기술적 문제를 해결하기 위해 이전 소유자의 본인 보증과 부인 방지를 구현해야 하기 때문에 전자 서명이라는 방법을 사용 -  전자 화폐는 이 화폐가 이중으로 사용된 것인지 아닌지를 증명하기 위해 모든 거래 ( 트랜잭션 )  이력을  ‘ 블록체인 ’ 이라는 대장에 기록하고 네트워크에서 공유함 -  중앙 기관이 하는 일을 네트워크에 참여하는 모두가 담당 -  또한 변조를 막기 위해 거래를  ‘ 블록 ’  이라는 단위로 결합해 앞의 블록 정보를 포함해 해시로 만들어 불가역 데이터를 만듬 -  하지만 위의  ‘ 블록 체인 ’ 이 간단히 만들 수 있다면 블록체인 전체를 위조해 조작할 수 있기 때문에 새로운 블록을 만들기 위해 계산량이 큰 문제를 푸는 방식을 도입 -  중앙 기관이 하는 일을 네트워크에 참여하는 모두가 담당 -  하나의 블록을 만드는데 막대한  CPU  파워가 필요하고  P2P  네트워크에서 블록 생성과 네트워크 전파 시점에 따라 블록체인이 분기하는 상황이 일어난다 -  이에 블록을 만든 사람에게 보상으로  CPU 사용에 대한 인센티브를 제공하고 여러 개의 블록 중 가장 긴 블록체인을 채택함 비잔티움 장군 문제 -  전자 화폐시스템을  P2P  네트워...