리고니

노드로 API 서버를 운영하기 위해 npm install 하던중 에러가 발생했다. 해결법 npm i @babel/node -g 설치만 해주자 !!

웹 페이지를 통해서 커피 전문점 (할리스) 에 대한 전국 매장 정보를 크롤링 하는 실습을 해보겠습니다. 먼저 사용자가 원하는 데이터를 찾기위해 사이트에 접속합니다 https://www.hollys.co.kr/store/korea/korStore2.do?pageNo=1&sido=&gugun=&store= 할리스 HOLLYS www.hollys.co.kr 전국 매장정보가 페이지 순으로 나타나는것을 확인 해당 URL을 보면 페이지 번호에 따라 URL이 변경됨을 확인 ( pageNo=1 , 2 , 3, ... ) CTRL + U 을 통해 전체소스를 확인하면 안에 안에 태그에 원하는 데이터가 규칙적으로 정렬되있음을 확인할 수 있다! ( 매우 중요 !! ) 해당 URL을 가져옴으로써 Python으로 웹 크롤링 기술..

웹 페이지를 크롤링하기 전에 크롤링 허용 여부를 확인하는 작업이 필요하다. 방법 주소 창에 '크롤링할 주소/robots.txt' 를 입력 만약 robots.txt 파일이 없다면 수집에 대한 정책이 없으므로 크롤링 해도 된다는 뜻 ! membership + /myHollys 경로 제외 모든 접근 허용

설치 에러 확인 분석 위 사진의 노란 밑줄 처럼 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 파이썬에서 c로 만들어진 확장모듈을 컴파일하기 위해 c 컴파일러가 필요하기때문에, 윈도우는 vc 를 요구하므로 상기 링크 클릭하여 설치해주어야 됩니다 ! 추가적으로 아나콘다 터미널에서 worcloud 설치 설치 완료

설치 에러 설치경로 : https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud 설치 : pip install wordcloud-1.8.1-cp38-cp38-win_amd64.whl 자신의 파이썬 버전과 일치해야함 예) 3.10 버전이면 cp310 버전을 설치해야함 성공

공공데이터포털에 사용자가 원하는 데이터를 가져와 Python으로 크롤링하여 정보를 얻고 데이터 시각화(통계자료) 실습을 진행하겠습니다. # 사이트 회원가입은 생략하고 진행하겠습니다 ! 1 ] 먼저 공공데이터포털 사이트로 접속한다 https://www.data.go.kr/index.do 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 2 ] 원하는 데이터를 찾는다 ( 코로나 ) 3 ] API 신청을 한다. 4 ] 미리보기를 통해 데이터를 확인한다 ! ServiceKey 는 발급받은 키를 입력한다 !! 5 ] API 호출..

사용자로부터 키워드를 입력받아서 데이터를 조회하여 원하는 값만 가져와 JSON으로 파일을 생성하는실습을 진행하겠습니다 ! 코드 구성 설계하기 코드 분석하기 1 ) import 및 아이디와 키 값 입력 import os import sys import urllib.request import datetime import time import json client_id = '' # 발급받은 ID 값 입력 client_secret = '' # 발급받은 KEY 값 입력 # 터미널 상에서 원하는 검색어 입력하면 데이터 조회후 같은경로에서 JSON 파일(데이터 파일) 생성 # 1. 검색어 지정 # 2. 네이버 뉴스 검색 ( getNaverSearch() , getRequestUrl() ) # 3. 응답 데이터 정리 ..

이번시간에는 네이버 API를 활용하여 원하는 키워드를 입력하여 데이터를 크롤링하는 실습을 해보겠습니다 !! 실습 코드 # 네이버 검색 API예제는 블로그를 비롯 전문자료까지 호출방법이 동일하므로 blog검색만 대표로 예제를 올렸습니다. # 터미널 상에서 JSON 으로 데이터 출력하는 방법 import os import sys import urllib.request client_id = "" # 발급받은 ID 값 입력 client_secret = "" # 발급받은 KEY 값 입력 encText = urllib.parse.quote("대통령 선거") # 원하는 키워드 입력 url = "https://openapi.naver.com/v1/search/news?query=" + encText # JSON 결과 ..

Python 을 가지고 네이버 API을 사용하여 네이버에서 사용자가 원하는 데이터(뉴스,맛집 등) 을 가져올 수 있다. 시작하려면 네이버 API에 자신의 정보를 등록해야 한다 ! 네이버 API 들어가기 : https://developers.naver.com/main/ 여기까지오면 네이버 API를 사용하기위한 셋팅이 끝났다! 다음시간에는 본격적으로 네이버 API를 활용하여 데이터를 크롤링하는 실습을 하겠습니다 !!

AI 특강 수업으로 네이버 API , 공공 API 를 활용하여 원하는 데이터를 크롤링하여 받아오는 실습을 하였다. 또한 정적, 동적 페이지 상에서 html을 분석하여 필요한 데이터를 가져오는 실습을 하였다. 이와 관련 코드분석 및 실습내용은 Python 게시판에서 작성하겠습니다 !!! 작업 파일