본문 바로가기

전체 글115

서울시 빅데이터 캠퍼스 데이터 분석 사례(수상작) 크롤링 이 포스팅은 공모전 주제 선정, 공모전 수상작 사례의 케이스 스터디 우선순위를 결정하기 위해 게시판을 스크래핑한 내용이 담겨있다. 서울특별시 빅데이터 캠퍼스 https://bigdata.seoul.go.kr/noti/selectPageListTabNoti.do?r_id=P260&bbs_seq=&ac_type=A1&sch_type=&sch_text=&currentPage=1 서울특별시 빅데이터 캠퍼스 서울시 빅데이터 캠퍼스 공모전을 통해 빅데이터 분석결과를 도출하고 빅데이터 캠퍼스 웹사이트에 게시하여 시민 누구나 지식과 정보를 공유할 수 있습니다. bigdata.seoul.go.kr 사이트에 접속하면 하단에 공모전 분석 사례 게시판이 보인다. 13 페이지에 걸쳐서 총 98개의 게시물이 있는 것을 확인할 수.. 2023. 10. 3.
[Git] Git 버전관리, 협업 하기 Git Basic - 버전관리 & 협업 이 포스팅에서는 깃허브 버전관리 복습과 협업 기초를 다룬다. Git 버전 관리 git init, git commit, git push 1.git init 1) mkdir디렉터리 생성 $ pwd -> 현재 위치 확인 $ mkdir practice -> practice 디렉토리 생성 $ ls -> 잘 생성되었는지 확인 $ cd practice -> practice 폴더로 이동 2) 'git init' 실행 $ git init /practice/.git/ 안의 기존 깃 저장소를 다시 초기화했습니다. $ git status -> git 상태 확인 3) 파일 생성 $ touch a.txt -> a.txt 파일을 practice 디렉토리 안에 생성 $ git add a.txt.. 2023. 9. 29.
[Web] Streamlit - 예측 모델 구현 구조 및 순서 이 포스팅은 MiniPJT를 진행하면서, 구현하며 학습한 내용을 종합한 것으로 streamlit 모델을 스트림릿 웹페이지에서 구현하는 방법이다. Streamlit 구조 및 순서 streamlit 에서 예측 모델을 구현하는 코드를 간략하게 표현하면 다음과 같다. 모델 파일이 저장된 상태에서, 모델 파일을 불러오고, 해당 모델에 input_data를 넣어줘서 예측을 수행한다. # 저장된 모델 파일을 불러옴 loaded_model = joblib.load("models/모델.pkl") # 불러온 모델을 사용하여 예측 수행 predictions = loaded_model.predict(input_data) 즉, 모델을 불러오고 해당 모델이 예측을 수행할 수 있게 불러온 모델.predict(이부분) 에 해당하는 .. 2023. 9. 27.
[SQLD] 1과목 - 데이터 모델링의 이해 1. 개념정리 SQLD 1과목. 데이터 모델링의 이해 SQLD 1과목은 데이터 모델링의 이해이며, 데이터 모델링의 이해 파트와 데이터 모델링의 속성 파트로 나눠진다. 이 포스팅은 1과목의 첫 번째, 데이터 모델링의 이해 파트의 요점정리이다. 데이터 모델링 1. 데이터 모델링의 정의 고객과 함께 고객의 업무 프로세스를 이해해야 함 현실 세계를 데이터베이스상에서 추상화하는 과정 데이터 모델링 표기법을 사용해야 함 고객이 이해하기 쉽게 모델링 해야 함 2. 데이터 모델링의 특징 추상화현실세계를 일정한 양식에 맞게 표현 단순화 누구나 이해하기 쉽도록 약속된 구약에 의해 표기 명확화 명확하게 의미가 한 가지로 해석해야 함, 정확한 현상을 기술해야 함 3. 데이터 모델링의 단계 개념적 모델링 > 논리적 모델링 > 물리적 모델링 .. 2023. 9. 21.
[Web] Streamlit 시작 - 콘다 가상환경 설치, 실행 준비 for mac Streamlit 시작 공식문서 링크 https://docs.streamlit.io/tj Step 0. Anaconda, Visual Studio Code 설치 https://www.anaconda.com/download Free Download | Anaconda Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com https://code.visualstudio.com Visual Studio Code - Code Editing. Redefined Visual Studio Code is a cod.. 2023. 9. 16.
[ML] 머신러닝 평가지표 - 회귀 모델 MSE, RMSE, MAE 머신러닝 모델 평가 지표 - 회귀모델 머신러닝, 딥러닝에서 평가지표로 손실함수를 사용한다. 손실 함수의 값이 작아질수록, 모델의 예측 성능은 좋아진다. 따라서 모델의 성능을 향상하기 위해 손실함수를 최소화 해야한다. 따라서 아래와 같은 손실함수, 평가지표를 사용한다. 회귀(Regression) 모델 평가 지표 요약 아래의 평가지표는 분류(Yes/No)가 아니라, 회귀 모델. 즉 , 실수 기반의 결과에 대한 오차를 판별하는 지표이다. MSE (Mean Squared Error, 평균제곱오차) : 예측값과 실제값 간의 차이를 제곱하여 평균한 값, 오차 제곱의 평균 RMSE (Root Mean Squared Error, 평균 제곱근 오차):MSE의 제곱근으로, 예측값과 실제값 간의 차이를 평균적으로 얼마나 벗.. 2023. 9. 16.
[ML] 머신러닝 평가지표 - 분류 모델 평가지표(오차행렬) 머신러닝 모델 평가 지표 정리 1 분류(Classification) 모델 평가 지표 정확도 (Accuracy): 전체 예측 중 올바르게 예측한 비율(데이터가 불균형할 경우에는 부적절할 수 있음) 정밀도 (Precision): Positive로 예측한 샘플 중 실제 Positive인 비율을 나타내며 > FP을 최소화 재현율 (Recall):실제 Positive인 샘플 중 모델이 올바르게 Positive로 예측한 비율 > FN 최소화 F1 Score: 정밀도와 재현율의 조화 평균(정밀도와 재현율 모두 고려하는 지표) ROC 곡선 (ROC Curve) , AUC (Area Under the ROC Curve):이 모델의 분류 성능을 시각화하고 측정하는 데 사용 1. 이진 분류 평가지표- 오차행렬 개념 오차 행.. 2023. 9. 15.
[SQL] 데이터 모델링(Data Modeling) 개념과 ERD 이 포스팅은 2023 이기적 SQL 개발자 이론서+기출문제(https://www.yes24.com/Product/Goods/111360577)를 참고하여 작성되었다. 데이터 모델링(Data Modeling) 이란? 고객의 비즈니스 프로세스를 이해하고 비즈니스 프로세스의 규칙을 데이터 모델로 표현하는 것 01. 특징 추상화(Abstraction) 현실세계를 간략하게 표현 단순화(Simplification) 누구나 이해할 수 있도록 구현 명확성(Clarity) 명확한 의미 해석이 가능하도록 구현 02. 단계 데이터 모델링 단계 개념적 모델링(Conceptual Data Modeling) - 고객의 비즈니스 프로세스를 분석, 업무 전체에 대한 모델링(전사적 관점) - 중요한 부분 위주로 모델링 - 엔터티(En.. 2023. 9. 12.
[Git] Git 버전관리 with VS Code - 1 . 저장소 만들기 본 포스팅은 생활코딩 협업관리 강좌를 바탕으로 복습 용도로 작성되었다. Git 버전관리 with VS Code Step 01. 로컬 환경 세팅 - 저장소 만들기 1. 로컬에서 원하는 위치에서 폴더를 새로 생성한 후, vs code를 실행한다. $ mkdir 폴더이름 $ cd 폴더이름 $ code . 2. work1.txt 파일 생성 후, 간단한 내용을 적어준다. 3.[소스 제어] 를 클릭하여 저장소를 만들어준다. 좌측 상단의 소스제어를 클릭후 Initialize Repository 를 클릭한다. 4. 저장소 기본 설정 1. 해당경로를 통해 설정으로 들어간다. (mac) 2. 설정에서 exclude를 검색 한 후, 숨겨진 git 폴더를 삭제한다. 삭제가 정상적으로 처리되었다면, 기존에 생성했던 폴더에 숨겨.. 2023. 9. 11.
[Web] Streamlit 라이브러리 소개 및 기본문법 Streamlit Streamlit은 웹 애플리케이션(대시보드)을 쉽게 만들고 공유하기 위한 파이썬 라이브러리이다. https://docs.streamlit.io/ Streamlit Docs Join the community Streamlit is more than just a way to make data apps, it's also a community of creators that share their apps and ideas and help each other make their work better. Please come join us on the community forum. We love to hear your questions docs.streamlit.io Streamlit을 사용하면 .. 2023. 9. 11.