본문 바로가기

전체 글115

GCP 빅쿼리 Locker 연동하기 Google Cloud Platform https://console.cloud.google.com/ Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com Big Query 사용하기 Step 01. GCP 에서 왼쪽 상단 메뉴에서 BigQuery 를 클릭한다. Step 02. 데이터 세트 만들기를 클릭하여 데이터 세트를 만든다. 데이터 세트가 생성되었다면, 생성된 이름으로 데이터 세트 정보를 확인할 수 있다. Step 03. 데이터 세트 위에 커서를 올리고, 테이블 만들기를 선택한다. (임의로 iris.csv 를 사용했다.) iris 테이블이 잘 생성되었다. Step 04. 쿼리 테스트 전체 아이리스 테이블이 잘 불러와지는지 확인한다. Looker s.. 2023. 10. 25.
Google Cloud Console - 새프로젝트, VM, 방화벽 이 포스팅에서는 구글클라우드 시작을 다룬다. 회원가입 과정은 생략, 새프로젝트에서 SSH 브라우저에서 열기까지의 과정을 설명한다. Step 01. 새프로젝트 생성 https://console.cloud.google.com/ Google 클라우드 플랫폼 로그인 Google 클라우드 플랫폼으로 이동 accounts.google.com 메인화면 상단에서 새 프로젝트를 생성한다. 사용자가 원하는 이름을 삽입 후 만들기를 클릭한다. Step 02. VM 인스턴스 생성 새프로젝트 생성 후, VM 인스턴스를 생성한다. 부팅 디스크 변경 클릭 만들기 버튼으로 생성한다. Step 03. 방화벽 규칙 설정 VM 인스턴스 생성 후 방화벽 규칙을 설정해준다. 소스 Ipv4 : 0.0.0.0/0 으로 입력 후 만들기 버튼 눌러.. 2023. 10. 17.
Google Cloud 라이브러리 설치, 환경변수 세팅 라이브러리 설치 프로세스 설치 > 환경변수 설정(vi ~/.bashrc) > 환경변수 적용(source ~/.bashrc) 1. JAVA 설치 $ cd ../../opt $ sudo apt update $ sudo apt install openjdk-8-jdk -y 자바 환경변수 세팅 $ vi ~/.bashrc # JAVA ENV SET export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$JAVA_HOME/bin:$PATH export CLASS_PATH=$JAVA_HOME/lib:$CLASS_PATH $ source ~/.bashrc 2. SCALA 설치 $ sudo apt-get install scala -y SCALA 환경변수 세팅 $ .. 2023. 10. 17.
[AWS] AWS EC2 접속 (with pem) AWS(Amazon Web Services) 소개 Amazon이 제공하는 클라우드 컴퓨팅 플랫폼서비스. 기업 및 개발자에게 인프라스트럭처 및 다양한 컴퓨팅 리소스를 인터넷을 통해 제공하는 클라우드 컴퓨팅 공급자로, 많은 기업 및 조직에서 사용되고 있다. AWS 를 이용하여 웹 애플리케이션을 개발, 배포 및 관리하거나 데이터를 저장, 분석 및 처 리하는데 이용할 수 있다. ex) 컴퓨팅, 스토리지, 데이터베이스, 네트워킹, 보안, 머신 러닝, 분석, IoT AWS 주요 기능 1. Amazon EC2 (Elastic Compute Cloud): 가상 서버를 제공하여 웹 애플리케이션 및 다른 소프트웨어 실행 2. Amazon S3 (Simple Storage Service): 스토리지 서비스로, 파일 및 데이.. 2023. 10. 16.
[SQL] 상품리뷰 데이터 분석 3. 텍스트 분석 이 포스팅은 책의 5장을 학습하며 정리한 내용이다. 상품리뷰 데이터 분석 - 3 이전 포스팅에서는 가장 낮은 평점을 Department별, 연령별로 다양하게 조회해보았다. 이번 포스팅에서는 리뷰 내용 중 size 관련한 내용이 얼마나 되는지 알아보고 다양하게 분류하여 조회해본다. 데이터세트 컬럼 구조 Clothing ID 상품번호(Unique Value) Age 리뷰 작성자의 연령 Title 리뷰 제목 Review Text 리뷰 내용 Rating 사용자가 제출한 평점 Recommend IND 상품 추천 여부 Positive Feedback Count 긍정적 피드백 수 Division Name 상품이 속한 Division (Initmates, General ...) Department Name 상품이 속한.. 2023. 10. 10.
[Python] 시계열 데이터 결측치 처리 시계열 데이터 결측치 처리¶ 0. 라이브러리 불러오기 & 데이터 준비¶ In [ ]: import pandas as pd import seaborn as sns import numpy as np df= pd.read_csv('seattle-weather.csv') # 시계열 데이터 불리오기 In [ ]: df Out[ ]: date precipitation temp_max temp_min wind weather 0 2012-01-01 0.0 12.8 5.0 4.7 drizzle 1 2012-01-02 10.9 10.6 2.8 4.5 rain 2 2012-01-03 0.8 11.7 7.2 2.3 rain 3 2012-01-04 20.3 12.2 5.6 4.7 rain 4 2012-01-05 1.3 8.9 .. 2023. 10. 8.
[SQL] 상품리뷰 데이터 분석 - 2 이 포스팅은 책의 5장을 학습하며 정리한 내용이다. 상품리뷰 데이터 분석 - 2 이전 포스팅에서는 Division 별 평점 분포, 평점 낮은 순서로 조회 등을 알아봤다. 이번 포스팅에서는 가장 낮은 평점을 Department별, 연령별로 다양하게 조회해본다. 데이터세트 컬럼 구조 Clothing ID 상품번호(Unique Value) Age 리뷰 작성자의 연령 Title 리뷰 제목 Review Text 리뷰 내용 Rating 사용자가 제출한 평점 Recommend IND 상품 추천 여부 Positive Feedback Count 긍정적 피드백 수 Division Name 상품이 속한 Division (Initmates, General ...) Department Name 상품이 속한 Department(.. 2023. 10. 6.
[SQL] 상품리뷰 데이터 분석 - 1 with MySQL 이 포스팅은 책의 5장을 학습하며 정리한 내용이다. 상품리뷰 데이터 분석 상품리뷰 데이터 분석을 실시하기에 앞서 mydata 스키마에 dataset2로 상품리뷰 데이터를 불러왔다. 데이터는 저자의 깃허브에서 확인할 수 있다. 코드 구현은 VScode에 Mysql을 연동하여 진행했다. 데이터세트 컬럼 구조 Clothing ID 상품번호(Unique Value) Age 리뷰 작성자의 연령 Title 리뷰 제목 Review Text 리뷰 내용 Rating 사용자가 제출한 평점 Recommend IND 상품 추천 여부 Positive Feedback Count 긍정적 피드백 수 Division Name 상품이 속한 Division (Initmates, General ...) Department Name 상품이 .. 2023. 10. 6.
[SQL] 기초문법 - CREATE, INSERT, DELETE, UPDATE, VIEW 이 포스팅은 책의 3장을 학습하며 정리한 내용이다. SQL Basic 1 0. CREATE(테이블 생성) 문법 CREATE TABLE 테이블명( 컬럼명 데이터타입 속성 PRIMARY KEY(컬럼명) FOREIGN KEY(컬럼명) 외래키 조건 설정 ); 예시 CREATE TABLE IF NOT EXISTS tasks ( task_id INT AUTO_INCREMENT , title VARCHAR(255) NOT NULL , start_date DATE , due_date DATE , priority TINYINT NOT NULL DEFAULT 3 , DESCRIPTION TEXT , PRIMARY KEY (task_id) ); tasks라는 테이블이 없으면 테이블을 생성하는 명령문이다. 다음과 같은 형식으.. 2023. 10. 6.
MySQL - Unhandled exception : 'ascii' codec can't decode byte 0xc3 in position 480: 해결방법 Mac 에서 특정 csv 테이블을 불러오는 도중 다음과 같은 에러가 발생했다. 해결 방법 로컬에서 직접 데이터 파일을 읽어 MySQL 데이터베이스로 로드하는 방법으로 해결했다. 1. MySQL 설정에서 'OPT_LOCAL_INFILE'을 활성화한다 Mysql 에서 홈화면으로 이동하여 Edit Connection으로 들어간다. Advanced 로 들어가서 Others에 OPT_LOCAL_INFILE = 1 을 추가해준다. 이제 , MySQL 서버가 로컬 파일을 사용하여 데이터를 로드할 수 있도록 허용했다. 2. 'LOAD DATA LOCAL INFILE' SQL 문을 사용 (로컬 파일에서 데이터를 읽고 MySQL 데이터베이스 테이블로 로드) 터미널에서 mysql을 실행 show global variable.. 2023. 10. 4.

티스토리툴바