전체 글115 Kaggle 시계열 데이터 분석 Kaggle Aquifer_Petrignano 데이터로 구현해본 시계열 데이터 분석 과정이다. 데이터 날짜, 강수량, 지하수 깊이, 온도, 천연가스 체적, 수위 등의 다양한 지표가 포함되어있다. 개요 0. target/features 구분 1. 결측치 시각화 fillna(np.inf) 시각화 River_Hydrometry, Drainage_volumns 결측치 시각화 Heatmap 시각화 2. 결측치 Impoutation Drainage_volumn 대치 케이스별 시각화 3. resampling 경향성 확인 4. 다운샘플링 - 변수 별로 다르게 5. Stationary 정상성 정상성을 가진 데이터 특성 정상성이 중요한 이유 6. 정상성 판단 7. Augmented Dickey-Fuller (ADF) 검정.. 2024. 1. 27. [Tableau] 세부 수준 계산식(LOD) 1. 전일대비 종가 등락 주식 data 의 '종가'를 가지고 전일 대비 등락을 표현해본다. (1) 테이블 계산식 생성 LOOKUP 함수를 사용해서, 전일대비 종가의 차이를 계산해준다. (LOOKUP : 지정된 기준 오프셋만큼 떨어진 대상 행에서 주어진 식을 계산하는 함수) [전일 대비 종가 등락] 을 가지고, 등락 여부를 기호로 표현해주는 계산식을 생성한다. 색상 구분을 통해 그래프에 시각화하는 용도이다. (2) 선반 - 이중축 합계(종가) - 라인 합계(종가)(2) - 원 , 등가 여부 색상 > 색상 2. 지역별/전국구 구성비 함께 보기 매출의 구성비율을 시각화한다. 전체 기준 비율과 지역 기준 비율을 따로 생성해서 시각화 해야 한다. (1) [전국 기준 매출] , [전국 기준 구성비율] 테이블 계산 .. 2024. 1. 27. [Tableau] 공간 분석 - Custom Map, Makepoint, Buffer 이 포스팅은 태블로 신병훈련소 과제를 참고하여 작성했다. 1. 2호선 일별 승하차 승객 수 - Custom Map 사용 데이터 - 2호선 역별 승하차인원수 (1) 기본 선반 세팅 열 - 평균(X) 행 - 평균(Y) (2) 지하철 배경 이미지 삽입 - 가로와 세로 길이를 입력한다( 해당 길이를 중심으로 x,y 좌표 데이터가 존재) (3) 매개변수/계산된 필드 사용 - 매개변수(측정값 선택) : 평균 하차승객수, 평균 승차승객수 목록을 만든다. - 계산된 필드 : 만들어진 "측정값 선택" 매개변수로 조회가능하게 연결시켜준다 - 매개변수를 필터로 표시해준다. (4) 마크 크기, 색상 - 평균(측정값 계산) 세부정보 - 역명 2. 항공편의 취향지별 승객 수 - 공간테이블 활용 (0) 선반 - 열 : 경도 - 행.. 2024. 1. 20. [Tableau] Time Analysis - 라인차트, 하이라이트 테이블, 덤벨 차트 1. 라인차트 - 월별 미세먼지 평균 지수 날짜의 옵션이 불연속형, 연속형 별로 시간 표현을 다르게 할 수 있다. 월별 미세먼지 평균지수 차트는 아래와 같이 설정하면 간단히 그릴 수 있다. 사용한 data : 도시 대기 미세먼지(PM 10) - 열 선반 : 기준년월(월) > 연속형 - 월 로 변경 - 행 선반 : 평균(PM10) > 기준 집계 평균으로 변경 2. 하이라이트 테이블 - 시도별 미세먼지 평균 하이라이트 테이블을 활용해서, 패턴을 명확하게 이번엔 불연속형 옵션을 선택한다. - 열 선반 : 기준년월(월) > 불연속형 - 월 로 변경 - 행 선반 : 시도 - 마크 모양 : 사각형 - 마크 색상 : 평균(PM10) 3. 테이블 계산식 활용 - 국가별 빅맥 가격 변동 비율 차이 - 열: Data > .. 2024. 1. 19. [Github] remote: Invalid username or password 에러 해결 에러 % git push origin master remote: Invalid username or password. fatal: Authentication failed for 'https://github.com/sin09135/TIL.git/' remote Error가 났다. 비밀번호 변경 사항이 없는데 Invalid username or password를 입력하라고 한다. 에러가 난 이유는 Token 값이 만료되었기 때문이고, 다음과 같은 방법으로 해결했다. 1. 원격 저장소 해제 후 다시 연결 $ git remote remove origin 기존 연결을 제거한다. $ git remote add origin https://github.com/아이디/repository이름.git 똑같은 경로로 재연결 .. 2024. 1. 15. 시계열 분석 - 시계열 데이터 특성, ARIMA 1. 시계열 데이터의 특성 시간이라는 독립변수(고정된 축), 기존 데이터의 특성과는 다른 시계열만의 특성 자기 상관관계(Auto Correlation) 과거의 데이터가 현재의 데이터에 영향을 주는 경향 예) 우리나라 인구수는 자기 상관 관계가 매우 높다 추세 경향성(Trend) 시계열 데이터의 장기적으로 점차 증가 또는 감소하는 추세 계절성(Seasonality), 순환성(Cycle) 중장기적인 추세 경향성 외에 날짜나 기간에 따른 주기적으로 변화하는 것 추세가 반복되는 변동성 등 불확실성 미래의 예측값은 현재로서는 정확히 모른다 예측 기간이 길어질수록 예측 신뢰구간이 확장되어 먼 미래의 예측은 더 어려워진다. 2. 시계열 분석 탐색 목적 : 외부 인자와 관련된 계절적 패턴, 추세 설명 인과관계 규명 예.. 2024. 1. 8. [편의점 매출 예측] Streamlit 페이지 구현 3. 메인 페이지 모델 적용 코드 개요 지난 포스팅에서 모델을 pkl로 models 폴더에 저장했다. 이번 포스팅에서는, 저장한 모델로 pages 폴더의 main page 구현 원리를 설명한다. Streamlit ┣ 📂data ┣ 📂models ┃ ┣ 📜gm_model.pkl # 모델 pkl ┃ ┗ 📜ngm_model.pkl # 모델 pkl ┣ 📂pages ┃ ┣ 📜main_page.py # 메인 페이지 ┃ ┗ 📜sub_page.py # 서브 페이지 ┣ 📜Home.py # 첫 페이지 메인 페이지 기능 왼쪽의 회색 Side Bar 부분의 영역과 오른쪽 하얀 바탕의 Main 영역으로 나눠서 분류한다. Python 코드 구현 라이브러리 및 데이터 불러오기 import streamlit as st import joblib import numpy.. 2023. 12. 22. [편의점 매출 예측] Streamlit 페이지 구현 2. 모델 pkl 저장 이전 포스팅의 구현 순서에 맞게 코드를 작성한다 주요 아키텍쳐 Streamlit ┣ 📂data ┣ 📂models ┃ ┣ 📜gm_model.pkl # 모델 pkl ┃ ┗ 📜ngm_model.pkl # 모델 pkl ┣ 📂pages ┃ ┣ 📜main_page.py # 메인 페이지 ┃ ┗ 📜sub_page.py # 서브 페이지 ┣ 📜Home.py # 첫 페이지 ┣ 📜models_gol.py # 골목상권 모델 ┣ 📜models_ngol.py # 비골목상권 모델 ┗ 📜requirements.txt 모델 pkl 형태로 저장 > models_gol.py, models_ngol.py 에서 각각 진행 머신러닝 코드 작성 (예시. models_gol.py 골목상권 모델) import numpy as np import pan.. 2023. 12. 22. [편의점 매출 예측] Streamlit 페이지 구현 1. 페이지 설명 및 구현 순서 Streamlit 페이지 구현 1. 페이지 설명 및 구현 순서 1. Streamlit 구현 페이지 Home This app was built in Streamlit! Check it out and visit https://streamlit.io for more awesome community apps. 🎈 procspredictor.streamlit.app 2. Streamlit 구현 페이지 상세 ┣ 📂pages ┃ ┣ 📜main_page.py # 메인 페이지 ┃ ┗ 📜sub_page.py # 서브 페이지 ┣ 📜Home.py # 첫 페이지 Home Page > 서비스 안내 등 main page, sub page 이용 방법을 안내하는 페이지이다. Main Page > map 에서 원하는 상권을 확인 후, .. 2023. 12. 22. [github] README 이미지 업로드 방법(Issue) 깃허브 리드미 파일에 이미지 업로드하기 프로젝트의 리드미 파일에 이미지를 추가하고 싶다면, 이미지 폴더를 생성하는 방법 외에 , 간단하게 깃허브의 Issue 탭을 활용할 수 있다. 1. Isuue 탭 이미지 업로드 1.1. 깃허브 저장소의 메인 페이지로 이동 1.2. 상단 "Issues" 탭 클릭 1.3. "New issue" 버튼을 클릭하여 새 이슈 생성 1.4. 이미지 업로드(Drag & Drop, Attach files by dragging & dropping, selecting or pasting them) 이미지가 업로드 되면, 위와 같이 html tag로 변경된다. 해당 태그를 복사한다.(Comment 버튼은 클릭할 필요 없다.) 2. 리드미 파일에 이미지 삽입 후 확인 복사한 이미지 파일 태.. 2023. 12. 19. 이전 1 2 3 4 5 6 7 8 ··· 12 다음
