requests2 [Web] API 크롤링 - 서울 열린데이터광장 유동인구 API 크롤링 API 크롤링 이 포스팅은 "서울 열린데이터광장"의 회원가입 및 인증키 발급이 완료된 상태를 전제로 한다. 서울 열린데이터 광장에서 제공하는 open api를 통해 JSON 파일의 데이터를 크롤링할 것이며, 데이터 프레임 형태로 변환 및 CSV로 저장하는 과정을 다룬다. 1. 서울 열린데이터광장에서 "유동인구" 검색 https://data.seoul.go.kr 가장 첫번째에 나오는 스마트서울 도시데이터 센서(S-DoT) 유동인구 측정 정보를 클릭한다. 2. 데이터 설명 확인 서울 전역 100 곳에 유동인구를 감지할 수 있는 센서에 대한 데이터를 담고 있으며, 10분 단위이다. 3. 미리보기 정보 확인(Open API) 미리보기 정보를 확인하고 요청인자에 따라 URL을 입력해야 한다. 샘플 URL 을 살펴.. 2023. 8. 13. [Web] 웹 크롤링,웹 스크래핑 Basic - 1 . requests 라이브러리 웹 스크래핑(Web Scraping) 이란? 웹 스크래핑(Web scraping)은 웹 페이지로부터 데이터를 추출하고 수집하는 과정을 말한다. 이를 위해 프로그램을 사용하여 웹 사이트의 HTML 코드를 분석하고 원하는 정보를 추출하는 작업을 수행합니다. 데이터 수집, 정보 추출, 경쟁 분석, 텍스트 마이닝 등이 수행된다. 웹 스크래핑은 웹 사이트의 이용 약관과 로봇 배제 표준(Robots Exclusion Standard)을 준수하는 한에서 수행되어야 한다.. 일부 웹 사이트는 웹 스크래핑을 금지하거나 제한하는 경우가 있으므로 주의해야 한다. Python의 requests 라이브러리와 Beautiful Soup, Scrapy 등의 도구를 사용하여 웹 스크래핑 작업을 수행한다. 웹 스크래핑 Basic - .. 2023. 8. 6. 이전 1 다음
