본문 바로가기

Project12

BTC 시계열 모델링 워크플로우 및 각 단계별 트러블 정리 워크플로우 (요약) 0. Loading Data - resampling - returns, volatility 1. Preprocessing(전처리) 1-1. checking missing value , imputation - ohlc, quote_qty : spline interpolate - returns : Arima - volatility : Arima 2. Technical Indicators(파생변수 생성) - MACD - Stochastic Oscillator - ATR - RSI - Ultimate Oscilator - ROC - RSI - Boolinger Band 2.1. checking Missing Value 3. Feature Engineering - (Baseline Model .. 2024. 2. 24.
TICK 데이터 리샘플링 & OHLCV 변환 + 트러블슈팅 0. 공모전 개요 2024-1 데이터 학회 연합 ASCEND 채용 연계 데이터 분석 공모전 틱데이터 활용 비트코인(BTC)의 단기 변동성 예측 모델링 주관/ 주최 : BDA , ASCEND(퀀트 트레이딩 기업) 참여 학회 : BDA, KUBIG, KHUDA, ESAA, ESC, PARROT 사용 모델 : Random Forest 데이터 : 2023.01 ~ 2024.01 10분 단위 BTC 틱데이터 평가 방법 / 성능평가지표 : 향후 7일 동안의 ‘실제 시장 데이터’에 적용해 성능을 평가 / mape 1. 제공된 데이터 & 리샘플링 계획 Column Name Description id 각 거래에 고유하게 할당된 식별 번호, 거래 구별 시 사용 price 거래가 체결된 가격(달러가치) qty 거래된 비트코.. 2024. 2. 18.
[편의점 매출 예측] Streamlit 페이지 구현 3. 메인 페이지 모델 적용 코드 개요 지난 포스팅에서 모델을 pkl로 models 폴더에 저장했다. 이번 포스팅에서는, 저장한 모델로 pages 폴더의 main page 구현 원리를 설명한다. Streamlit ┣ 📂data ┣ 📂models ┃ ┣ 📜gm_model.pkl # 모델 pkl ┃ ┗ 📜ngm_model.pkl # 모델 pkl ┣ 📂pages ┃ ┣ 📜main_page.py # 메인 페이지 ┃ ┗ 📜sub_page.py # 서브 페이지 ┣ 📜Home.py # 첫 페이지 메인 페이지 기능 왼쪽의 회색 Side Bar 부분의 영역과 오른쪽 하얀 바탕의 Main 영역으로 나눠서 분류한다. Python 코드 구현 라이브러리 및 데이터 불러오기 import streamlit as st import joblib import numpy.. 2023. 12. 22.
[편의점 매출 예측] Streamlit 페이지 구현 2. 모델 pkl 저장 이전 포스팅의 구현 순서에 맞게 코드를 작성한다 주요 아키텍쳐 Streamlit ┣ 📂data ┣ 📂models ┃ ┣ 📜gm_model.pkl # 모델 pkl ┃ ┗ 📜ngm_model.pkl # 모델 pkl ┣ 📂pages ┃ ┣ 📜main_page.py # 메인 페이지 ┃ ┗ 📜sub_page.py # 서브 페이지 ┣ 📜Home.py # 첫 페이지 ┣ 📜models_gol.py # 골목상권 모델 ┣ 📜models_ngol.py # 비골목상권 모델 ┗ 📜requirements.txt 모델 pkl 형태로 저장 > models_gol.py, models_ngol.py 에서 각각 진행 머신러닝 코드 작성 (예시. models_gol.py 골목상권 모델) import numpy as np import pan.. 2023. 12. 22.
[편의점 매출 예측] Streamlit 페이지 구현 1. 페이지 설명 및 구현 순서 Streamlit 페이지 구현 1. 페이지 설명 및 구현 순서 1. Streamlit 구현 페이지 Home This app was built in Streamlit! Check it out and visit https://streamlit.io for more awesome community apps. 🎈 procspredictor.streamlit.app 2. Streamlit 구현 페이지 상세 ┣ 📂pages ┃ ┣ 📜main_page.py # 메인 페이지 ┃ ┗ 📜sub_page.py # 서브 페이지 ┣ 📜Home.py # 첫 페이지 Home Page > 서비스 안내 등 main page, sub page 이용 방법을 안내하는 페이지이다. Main Page > map 에서 원하는 상권을 확인 후, .. 2023. 12. 22.
PORTMIS 대기시간 예측 - 예측 결과 활용(대기비용, 온실가스배출량) 선박 대기시간 감소 효과 지표 이 포스팅은 프로젝트 후반부인, 예측 모델 결과 활용 지표 산출에 관한 내용을 담고 있다. PORTMIS 시설사용허가현황, 입출항현황 데이터로 예측한 대기시간 분단위 예측 모델의 결과 활용에 관한 결과 지표이다. 한정된 데이터로 결과 지표를 산출해야 했기에, 확보한 데이터 내에서 산출할 방법을 고민했다. 개요 1. 대기 시, 온실가스 배출량 2. 선박 대기비용 다음은, 대기 중 온길가스 배출량 및 선박 대기비용의 요약 장표이다. 1. 온실가스 배출량 산출 Plan 선박별 평균 대기시간(분) 계산 후, 정박 시 온실가스 배출량 계산 Tier1 방법 사용 = 정박 시 연료소비량 X 온실가스 배출 계수 (IPCC , 2006) 연료 소비량 참고 눈문 : 선박 대기오염 물질 배출량.. 2023. 12. 5.
PORT MIS 대기시간 예측 - 3. 결측치 처리(시계열 데이터, 중앙값) 이 포스팅은 2차 전처리(입출항 기준 데이터셋 재구성)에 이은, 결측치 처리(3차 전처리)에 관한 내용을 담고 있다. 개요 결측치 처리 방법은 다음과 같다. 1. 선박제원정보 : 선박용도별 중앙값 대체 2. 기상데이터 결측치 : 선형보간법 사용 1. 선박제원정보 결측치 처리 선박제원정보 데이터 타입 변경(숫자) # 쉽표 제거 columns_to_fix = ['총톤수', '재화중량톤수', '선박제원(총길이, m)', '선박제원(너비, m)', '만재흘수(m)', '깊이(m)', '길이1(m)'] df[columns_to_fix] = df[columns_to_fix].replace({',': ''}, regex=True) # 숫자로 변환 df[columns_to_fix] = df[columns_to_fix].. 2023. 11. 30.
PORT MIS 대기시간 예측 - 2. 입출항 기준 데이터셋 재구성(2차 전처리) 항만 대기시간 예측 및 운영시스템 개선 을 위한 두번째 전처리 단계인, 입출항 1건당 전처리에 관한 내용을 담고 있다. 지난 포스팅에서는 PORT MIS 입출항 + 시설하용허가 데이터를 서비스시간, 대기시간을 산출하기 위해 1차 전처리한 후, 항구별 대기율을 산출한 과정을 담고 있으며, 해당 결과를 바탕으로 타겟항구가 울산항으로 선정되었다. https://datapilots.tistory.com/59 PORT MIS 대기시간 예측 1. 항구별 대기율 산정 항만 대기시간 예측 및 운영시스템 개선 을 위한 첫번째 전처리 단계인, 항구별 대기율 산정에 관한 내용을 담고 있다. 1. 사용 데이터 데이터명 사용 목적 merge 기준 컬럼 PORT MIS 입출항 현황 입 datapilots.tistory.com 1.. 2023. 11. 23.
PORT MIS 대기시간 예측 1. 항구별 대기율 산정(1차 전처리) 항만 대기시간 예측 및 운영시스템 개선 을 위한 첫번째 전처리 단계인, 항구별 대기율 산정에 관한 내용을 담고 있다. 1. 사용 데이터 데이터명 사용 목적 merge 기준 컬럼 PORT MIS 입출항 현황 입출항 데이터 사용 > 서비스시간 산출 호출부호, 선박명 ,입항횟수_횟수, 입항횟수_연도 PORT MIS 시설사용허가현황 접안대기, 출항대기 데이터 파악 및 대기시간 산출 2. 전처리 설계 2.1. 선박 입출항 관련 서비스 지표 대기율 (WR) = TW/TS TW : 대기시간 (Waiting Time) TS : 서비스시간 (Service Time) 선박 입출항 관련 서비스 지표인 대기율(대기시간/서비스시간) 을 기준으로 대기율이 가장 높은 항구를 선정한다. 22년 기준 물동량이 가장 많은 항구인 부산,.. 2023. 11. 13.
[카카오 지도 API] 반경 내 시설 정보 수집 with python 이 포스팅에서는 카카오 지도 API 를 이용하여, 특정반경 내 집객시설를 수집하는 코드를 python 으로 구현한다. 1. 검색 키워드로 반경 내 집객시설 수집_예시 코드 카카오 지도 API 도메인 주소 : 'https://dapi.kakao.com' import requests # HTTP 요청 import pandas as pd # 카카오 API의 장소 검색 엔드포인트 URL url = 'https://dapi.kakao.com/v2/local/search/keyword.json' params = { 'query': '카페', # 검색할 키워드 (예시: '카페') 'x': 441908.750495, # 중심점의 x 좌표 'y': 194438.829927, # 중심점의 y 좌표 'radius': 200.. 2023. 11. 9.