나만보는 블로그

Tensorflow 기초 Tensorflow 그래프 실행 -- 예제 1 -- # 텐서플로 import import tensorflow as tf # Tensor라는 자료형으로 저장 # Tensor는 랭크(Rank)와 셰이프(Shape)로 구성 # 랭크는 차원의 수를 나타냄 # 0이면 스칼라, 1이면 벡터, 2이면 행렬, 3이상은 n차원 텐서 hello = tf.constant('hello, tensor') print(hello) # 텐서를 이용하여 다양한 연산이 가능 a = tf.constant(10) b = tf.constant(32) c = tf.add(a,b) print(c) # 하지만 출력을 하기 위해서는 그래프를 실행 해야함 # 그래프란 텐서들의 연산 모음이라 할수 있음 # 그래프 실행은 Session 안에서 이루어 져야 함 sess = tf.Session() print(sess.run(hello)) print(sess.run([a,b,c])) sess.close() 플레이스홀더와 변수 -- 예제 2 -- import tensorflow as tf # Placeholder 는 그래프에 사용할 입력값을 나중에 받기 위해 사용하는 매개변수 # 아래는 [?, 3] 같은 모양의 행렬이 만들어진다. X = tf.placeholder(tf.float32, [None,3]) print(X) # X 에 넣을 데이터로 [?,3]의 모양이 될수 있게 자료를 입력 x_data = [[1,2,3],[4,5,6]] # tf.random_normal() 함수는 정규분포의 무작위 값을 추출 해줌 W = tf.Variable(tf.random_normal([3,2])) b = tf.Variable(tf.random_normal([2,1])) # tf.matmul() 함수는 두 행렬의 곱셈을 해줌 expr = tf.matmul(X,W) + b sess = tf.Session() # tf.global_variables_i

커스텀 Image Stack 만들기 Eclipse Che 에서는 Docker Container 기반의 Workspace를 제공한다. 개발환경을 좀더 손 쉽게 만들어주는데 일반적인 Java, Python, Node js 등 다양한 언어들의 기본 개발 환경이 eclipse che 기본 stack 으로 구성되어 있다. 하지만 더 나아가 기본 개발환경에서 추가적으로 라이브러리를 설치하고 사용하려고 할때를 위해 Custom Stack 을 제공한다. 하지만 Eclipse che 에서 실행 될수 있는 Docker image를 만들기 쉽지 않기 때문에 저는 기존에 있는 Stack 을 생성하고 생성된 Container에 앞으로 사용할 라이브러리를 설치하고 해당 Container를 이미지화 시키는 것으로 Custom Stack 을 만드려 한다. 아래의 내용을 잘 따라 하면 Custom Stack 을 쉽게 만들수 있을 것이다. 1. Custom 하기 위한 언어의 기본 베이스 스택을 선택 (Workspace 만들기) Python에 Tensorflow를 설치하기 위해 Python stack 을 선택후 Workspace를 생성 했다. 2. 생성한 Workspace의 Open IDE 환경 Terminal에서 라이브러리 설치 Python 라이브러리 설치 제대로 설치 됐는지 확인을 해볼 필요가 있다. 3. Docker Image 만들고 Repository에 등록 Eclipse Che 가 설치된 Local Docker repository 나 Public Docker hub 를 사용한다 Public Docker hub 를 이용하기 위해 Docker 에 로그인 한다 $ docker login 서버에 접속하여 image 만들 컨테이너를 선택한다  $ docker ps -a {container_id}에 docker ps 에서 본 이미지를 id를 넣어 이미지화 시킨다 $ doc

데이터 시각화 1. 시각화 인사이트 프로세스 (1) 시각화 인사이트 프로세스 의미 데이터 비닝 (Data Binning) 데이터 플롯 (Data Flot) 시각화 연산 (2) 시각화 인사이트 프로세스 2. 시각화 디자인 (1) 시각화의 정의 (2) 시각화 프로세스 (3) 시각화 방법 3. R을 이용한 시각화 구현 (1) 사전작업 (2) 데이터 불러오기 (3) 시각화 (4) 시각적 매핑(Aesthetic Mapping) 구체화 (5) geoms (기하 객체) (6) Facets (면 분할) (7) 그 밖의 미학 요소 (8) Statistical Transformation (통계적 변환) 4. 샤이니(shiny)를 이용한 시각화 구현 (1) 샤이니 시작하기 (2) 새로운 샤이니 앱 만들기 (3) 샤이니 앱 템플릿으로 시작하기 (4) fluidPage() 함수 안에 요소를 추가하기

데이터 분석 1. 통계 프로그램 (1) 통계 프로그램 개요 통계적 방법과 기술 비교 학습 용이성 비교 지원측면 비교 시각화 비교 비용측면 비교 (2) SPSS 기초 SPSS 시작 SPSS 사용법 (3) R 기초 R 다운로드와 설치 R 살펴보기 R 사용하기 계산기로서의 R 변수의 사용 R의 기본 자료형 자료형을 위한 R 내장 함수 함수 (Function, Method) 도움말 관련 함수 help() R의 자료구조 R의 사용 예 2. 통계 분석 기법 (1) 통계학 개요 자료의 유형 측정(Measurement) 척도 구분 측정척도와 통계 분석 방법 (2) 통계 분석 기법 종류 교차 분석 (Crosstabs Analysis) 빈도 분석 (Frequency Analysis) 판별 분석 (Discriminant Analysis) 요인 분석 (Factor Analysis) 평균비교 (T-Test) 군집 분석 (Cluster Analysis) 회귀 분석 (Regression Analysis) 분산 분석 (Analysis Variance) 상관 분석 (Correlation Analysis) (3) 시계열 분석 시계열 분석 기법 비산형 시계열 분석 기법 (4) 시뮬레이션 (Simulation) (5) 최적화 기법(Optimization) (6) 다차원 척도법 (MDS : Multi-Dimensional Scaling Method) (7) 주성분 분석 (PCA : Principal Component Analysis) 3. 데이터 마트 (1) 데이터 마트 개요 데이터 마트 목적 분석 마트 구축 시 유의점 데이터 마트 종류 (2) 데이터 변경 및 요약 reshape 패키지로 데이터마트 개발 reshape (패키지) sqldf 패키지를 이용한 데이터 분석 plyr

데이터 분석 기획 1. 데이터 분석 기획의 이해 (1) 데이터 분석 기획 방향성 도출 데이터 분석 개요 데이터 분석 기획 시 고려사항 (2) 데이터 분석 방법 데이터 분석 방법론 개요 KDD 분석 방법론(Knowledge Discovery in Databases) CRISP-DM 분석 방법론 빅데이터 분석 방법론 (3) 데이터 분석 프로젝트 관리 전략 빅데이터 분석 프로젝트 관리 영역 빅데이터 분석 프로젝트 관리 방안 (ISO 21500) 2. 데이터 분석 마스터 플랜 (1) 데이터 분석 마스터 플랜 이해 (2) 데이터 분석 거버넌스 체계 구축 이해관계자 프로젝트 거버넌스 프로젝트 환경 프로젝트 제약사항

데이터 처리 기술 이해 1. 데이터 처리 프로세스 (1) 데이터 추출·변환·전송 (ETL : Extraction, Transformation and Load) 추출 (Extraction) 변환 (Transformation) 전송 (Load) (2) 운영 데이터 저장소 (ODS : Operational Data Store) (3) 메타 데이터 (Meta Data) (4) 변경 데이터 이력관리 (CDC : Change Data Capture) Time Stamp on Rows Version Numbers on Rows Use in Optimistic Locking Status indicators on rows Time/Version/Status on rows Triggers on tables Event Programming Log scanners on Databases (5) 기업 애플리케이션 통합 (EAI : Enterprise Application Integration) EAI 기본요소 EAI 기능 EAI 구현 (Herb & Spoke 형 데이터 연대) EAI 기대효과 (6) 데이터 연게 및 통합기법 (7) 데이터 분류 수집 데이터의 형태에 따른 분류 수집 데이터의 위치에 따른 분류 2. 데이터 처리 기술 (1) 분산 데이터 저장 기술 분산 파일 시스템 구글 파일 시스템 (GFS : Google File System) 하둡 분산 파일 시스템 (2) 데이터베이스 클러스터 분산 데이터베이스 NoSQL (3) 분산 컴퓨팅 기술 하둡(Hadoop)의 탄생 맵리듀스(MapReduce) 하둡 에코시스템 (4) 클라우드 컴퓨팅 기술 클라우드 컴퓨팅의 형태 클라우드 컴퓨팅 주요 기술