나만보는 블로그

 Python Pandas 데이터중 컬럼의 값 뽑아내기 데이터 형식 data/flower.csv 속성 leaf stem x축 잎가로 줄기가로 y축 잎세로 줄기세로 크기 50개 25개 데이터 뽑아내기  # CSV 파일 읽기 df = pd.read_csv("./data/flower.csv")  # 잎의 가로 세로만 추출 leaf_df = df[(df["x"]== "leaf"),(df["y"]=="leaf")] # print(leaf_df)

리눅스 현재 디렉토리 용량 확인하기 - 디렉토리 용량만 확인하기 $ du -sh - 디렉토리 하위경로의 용량 확인하기 $ du -h 참고 : https://faq.hostway.co.kr/Linux_ETC/3817 https://www.manualfactory.net/10591 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=comlo1&logNo=221243026523

  코인 거래소 모니터링시스템 구축이야기(5/?) 매일 업비트 상장데이터 Mongo 적재 1. 상장코인적재 실행 및 배치 실행 주기 # -*- coding: utf-8 -*- """     매 초 Job 실행 if 로직으로 작업 수행     - 매일 정각 : 코인 상장 데이터 확인     - 매일 오전 9시 : 환율 데이터 저장     - 1분 단위 [상장코인 1/3 씩 수집] (         upbit    : 3 , 23 , 43         bithum   : 5 , 25 , 45         bitfinex : 7 , 27 , 47     ) """ import   datetime from  module  import   upbitModule # 현재 시간을 확인 today_time  =  datetime . datetime . now () now_date  =  today_time . strftime ( "%Y-%m- %d " ) now_time  =  today_time . strftime ( "%H:%M:%S" ) upbitModule . check_market ( now_date ) 2. MongoDB Connect 템플릿 import   os from  pymongo  import  MongoClient from  pymongo.cursor  import  CursorType # 접근정보 m_host  =  os . environ [ "MONGODB_SERVER_URL" ] m_port  =  os . environ [ "MONGODB_SERVER_PORT" ] m_user  =  os . environ [ "MONGODB_USER" ] m_pwd  =  os . environ [ "MONGODB_PWD" ] m_db  =  os . environ [ "MONGODB_DA

  코인 거래소 모니터링시스템 구축이야기(4/?) MongoDB 데이터 모델링 1. 상장코인 데이터베이스 각 거래소에서 검색하기 위한 상장코인 코드를 조회하는 DB 각 거래소마다 제공하는 데이터가 다르기 때문에 공통된 포멧을 가져가기 위한 모델링 업비트 상장 코드 조회 https://api.upbit.com/v1/market/all?isDetails=false 비트파이넥스 코드 조회 : https://api-pub.bitfinex.com/v2/conf/pub:map:currency:label 상장 코인 모델링 ( version 0.1 ) 2. 환율 데이터베이스 원화와 달러간 환율을 저장 해외 마켓의 경우 달러로 표현되어 있기 떄문에 원화로 변경되어 보여줄 필요성이 있음 환율정보 공공 API :https://www.koreaexim.go.kr/site/program/openapi/openApiView?menuid=001003002002001&apino=2&viewtype=C 3. 각 거래소 거래 데이터베이스 빗썸, 업비트, Bitfinex 의 거래소 현재가를 1분 단위로 저장 각 거래소마다 데이터 포멧이 다르기 때문에 collection 단위로 저장 빗썸 현재가 API :  https://api.bithumb.com/public/ticker/BTT_KRW 업비트 현재가 API :  https://api.upbit.com/v1/ticker?markets=KRW-BTC Bitfinex 현재가 API :  https://api-pub.bitfinex.com/v2/tickers?symbols=tDOGUSD 1. 개요 :  https://limdh3325.blogspot.com/2021/04/1.html 2. 서버 아키텍처 :  https://limdh3325.blogspot.com/2021/04/2.html 3. MongoDB 설치 :  https://limdh3325.blogspot.com/2021/04/3.html 4. 데이터 모델링 :  https:

   코인 거래소 모니터링시스템 구축이야기(3/?) Ubuntu 서버 MongoDB 설치 서버 구성 - 서비스페이지 및 데이터 저장소 (Nas 서버) : Docker container ubuntu 20.04 - 일일 크롤링 서버 (Cloud at Cost Cloud 서버) : CentOS 7 MongoDB 다운로드 및 설치 MongoDB 공식 사이트 : https://www.mongodb.com/try/download/community Ubuntu 20.04 이기 때문에 해당 URL Copy 함 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu2004-4.4.5.tgz -------------------------------------------------------------------------------- root 계정으로 실행함 # wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu2004-4.4.5.tgz # tar -xvf mongodb-linux-x86_64-ubuntu2004-4.4.5.tgz 알기 쉽게 폴더 변경 # cp -R mongodb-linux-x86_64-ubuntu2004-4.4.5/ mongodb # cd ./mongodb/bin/ 싱글노드 데이터 저장 디렉토리 만들기 # mkdir /data/db # mkdir -p /var/lib/mongo # mkdir -p /var/log/mongodb # ./install_compass Done! A log file for this installation can be found at /tmp/install_compass.log # cp ./mongo* /usr/local/bin/ mongo 서버 실행 # mongod --dbpath /var/lib/mongo --logpath /var/log/mongodb/mongod.log --fork # mongo --------

리눅스 ps -ef 로 프로세스 이름의 PID 찾기 ps -ef | grep -v "grep" | grep "원하는 프로세스 이름" | awk "{print $2}" 스크립트 - [  ` , "  , '  ] 에 주의 하시기 바랍니다

  코인 거래소 모니터링시스템 구축이야기(2/?) 코인 거래소 모니터링 시스템 구축 (가칭 : 김프멈춰) 서버 구성 사용자가 확인할 서비스 페이지, 데이터 저장소에 대한 서버는 NAS 서버로 운영 일일 Data 크롤링 서버는 Cloud 서버 이용하여 운영 - 서비스페이지 및 데이터 저장소 (Nas 서버) : Docker container ubuntu 20.04 - 일일 크롤링 서버 (Cloud at Cost Cloud 서버) : CentOS 7 서버 아키텍처 서버 아키텍처 레퍼런스 빗썸 : https://apidocs.bithumb.com/ 업비트 : https://docs.upbit.com/ 홍콩 Bitfinex : https://docs.bitfinex.com/docs 몽고 DB 설치 : https://coterie.tistory.com/20 1. 개요 :  https://limdh3325.blogspot.com/2021/04/1.html 2. 서버 아키텍처 :  https://limdh3325.blogspot.com/2021/04/2.html 3. MongoDB 설치 :  https://limdh3325.blogspot.com/2021/04/3.html 4. 데이터 모델링 :  https://limdh3325.blogspot.com/2021/05/4.html 5. MongoDB 저장 :  https://limdh3325.blogspot.com/2021/06/5.html

 코인 거래소 모니터링시스템 구축이야기(1/?) - 김프멈춰 코인 거래소 모니터링 시스템 구축 (가칭 : 김프멈춰) 개요 김치 프리미엄이 생겨남에 따라서 국내 코인 거래소(업비트,빗썸)와 해외 코인 거래소(홍콩: bitfinex) 의 오픈 api 를 이용하여 국내와 얼마나 차이나는지를 확인하는 시스템 사용기술 - Python Flask를 이용하여 데이터를 수집 - 수집된 데이터를 mongoDB 에 적재 - html 화면으로 표출 작업 툴 및 형상관리 - 소스 형상관리 : github - 작업 툴 : linux vi , Visual Studio code 레퍼런스 빗썸 : https://apidocs.bithumb.com/ 업비트 : https://docs.upbit.com/ 홍콩 Bitfinex : https://docs.bitfinex.com/docs 1. 개요 :  https://limdh3325.blogspot.com/2021/04/1.html 2. 서버 아키텍처 : https://limdh3325.blogspot.com/2021/04/2.html 3. MongoDB 설치 :  https://limdh3325.blogspot.com/2021/04/3.html 4. 데이터 모델링 :  https://limdh3325.blogspot.com/2021/05/4.html 5. MongoDB 저장 :  https://limdh3325.blogspot.com/2021/06/5.html

딥러닝 북마크 논문 및 서베이 논문 :  https://arxiv.org/ 머신러닝 + 논문 :  https://paperswithcode.com/ 딥러닝 독서 맵(커리큘럼) : https://www.mindmeister.com/ko/812276967/_?fullscreen=1 이론 딥러닝 코드 기초 :  https://www.slideshare.net/mobile/yongho/ss-79607172?from_m_app=android&fbclid=IwAR2eRllNDkPszSWILaBl00ijCEB2fUXkq5S1TADFUp02QxImfshVNXDu0yE NLP 이론 및 강좌 : http://www.aistudy.co.kr/linguistics/natural/natural_language_processing.htm [논문 리뷰] Wide & Deep Learning for Recommender Systems - paper review : https://leehyejin91.github.io/post-wide_n_deep/ AI / ML Canvas : https://medium.com/@RoboAndy/ml-ai-model-canvas-59ac4c03c0ea 한남대학교 교수님 통계 :  http://wolfpack.hnu.ac.kr/ 도큐먼트 tensorflow 한글 : https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/api_docs/python/constant_op.html 텐서플로 자격증 : https://www.tensorflow.org/certificate 자격증 pdf : https://www.tensorflow.org/site-assets/downloads/marketing/cert/TF_Certificate_Candidate_Handbook.pdf 코드 밑바닥부터 시작하는 딥러닝 : https://github.com/WegraLee/deep-learning-from-sc