HTML4 [Web] 웹 크롤링,웹 스크래핑 Basic - 1 . requests 라이브러리 웹 스크래핑(Web Scraping) 이란? 웹 스크래핑(Web scraping)은 웹 페이지로부터 데이터를 추출하고 수집하는 과정을 말한다. 이를 위해 프로그램을 사용하여 웹 사이트의 HTML 코드를 분석하고 원하는 정보를 추출하는 작업을 수행합니다. 데이터 수집, 정보 추출, 경쟁 분석, 텍스트 마이닝 등이 수행된다. 웹 스크래핑은 웹 사이트의 이용 약관과 로봇 배제 표준(Robots Exclusion Standard)을 준수하는 한에서 수행되어야 한다.. 일부 웹 사이트는 웹 스크래핑을 금지하거나 제한하는 경우가 있으므로 주의해야 한다. Python의 requests 라이브러리와 Beautiful Soup, Scrapy 등의 도구를 사용하여 웹 스크래핑 작업을 수행한다. 웹 스크래핑 Basic - .. 2023. 8. 6. [Web] django로 Todolist 만들기 for Mac - 1 이 포스팅은 "Django 한그릇뚝딱"의 Chapter4 내용을 실습하며 정리한 내용이다. Github repository 생성 0. 실행에 앞서 github에서 프로젝트에 사용될 repository를 만들어준다. Desktop % git clone https://github.com/sin09135/ToDoList_Practice.git 'ToDoList_Practice'에 복제합니다... remote: Enumerating objects: 4, done. remote: Counting objects: 100% (4/4), done. remote: Compressing objects: 100% (3/3), done. remote: Total 4 (delta 0), reused 0 (delta 0), pa.. 2023. 7. 26. [web 환경설정] Visual Studio Code 설치 및 기본 세팅 웹 개발을 위한 Visual Studio Code와 Live Server를 설치하는 방법입니다. Live Server를 설치하면 코드 변경 시 실시간으로 브라우저에 반영하여 작업을 편리하게 확인할 수 있습니다. 1. Visual Studio 다운로드 및 설치 방법 1. Microsoft Visual Studio 웹사이트에서, 사용하는 OS에 맞게 Visual Studio Code를 다운로드합니다. https://visualstudio.microsoft.com/ko/ 2. Visual Studio Live Server 설치 방법 1. Visual Studio Code 실행 설치가 완료되면, Visual Studio Code 를 실행합니다. 2. 확장 기능 탐색 상단 메뉴(좌측)에서 [확장]을 클릭한 후, .. 2023. 7. 24. [웹 개발] HTTP 메서드 - GET,POST HTTP (Hypertext Transfer Protocol)는 웹 브라우저와 웹 서버 사이의 데이터 전송을 관리하는 프로토콜이다. HTTP 메서드는 클라이언트(일반적으로 웹 브라우저)가 서버에게 요청의 목적과 종류를 알리는 역할을 한다. GET 메서드 GET 메서드는 서버로부터 정보를 요청하기 위해 사용한다. 주로 URL을 통해 데이터를 전송, 요청한 데이터는 URL의 쿼리 매개변수에 포함된다. 사용자가 웹 페이지를 방문하거나, 링크를 클릭할 때 GET 요청이 서버로 전송된다. 브라우저 히스토리에 남기 때문에 뒤로 가기 버튼을 사용하여 쉽게 돌아갈 수 있다. 요청하는 데이터가 URL에 노출되기 때문에 보안에 취약할 수 있다. 서버에 데이터를 제출하는데에는 적합하지 않다. (예: 로그인 정보 전송) GE.. 2023. 7. 20. 이전 1 다음
