네이버 데이터랩(naver datalab) 웹크롤링 연습[exam8_crawl]
작성일 21-09-11 23:09
페이지 정보
작성자관리자 조회 363회 댓글 0건본문
import requests
from bs4 import BeautifulSoup
#https://datalab.naver.com/ 네이버 데이터랩 페이지에서 오늘날짜의 인기검색어 1-10위까지 가져오는 웹크롤링
#화면에는 4일치의 인기검색어만 나오지만 실제 html스크립트에는 총 최근 14일치정도가 있어서 14개 나옴 len(ls_imsi2)=14
#find는 1개만 찾는거구 find_all은 여러개를 배열로 가져옴
#ls_imsi2에는 14개 정도의 태그가 들어있어서 루프문을 돌면서 오늘날짜인 경우에는
#다시 li 태그이고 클래스명이 list인 태그를 루프문으로 가져오며
#키워드만 출력을 해줌
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko'}
ls_req2 = requests.get('https://datalab.naver.com', headers=header, verify=False)
ls_html2 = ls_req2.text
ls_parse2 = BeautifulSoup(ls_html2, 'html.parser')
ls_imsi2 = ls_parse2.find_all("div", {"class": "keyword_rank"})
for k in ls_imsi2:
ls_date2 = k.find('span', {'class': 'title_cell'}).text
if ls_date2 == '2021.08.31.(화)':
print('날짜:'+ls_date2)
#print(ls_date2)
#print(k)
ls_title2 = k.find_all('li', {'class': 'list'})
for j in ls_title2:
print(j.find('span').text)
첨부파일
- exam8_crawl.py (1.3K) 6회 다운로드 | DATE : 2021-09-11 23:09:57
댓글목록
등록된 댓글이 없습니다.