아마존 상품 검색 페이지 중 오른 쪽 스폰서 광고 상품의 ASIN 정보를 수집한다. # _*_ coding: utf-8 _*_ from bs4 import BeautifulSoup import urllib import html5lib import time import re keywords = ‘fishing rod’ headers = {‘User-Agent’: ‘ Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0’} asins = [] values = {‘keywords’: keywords, ‘page’ : …
아마존 사이트에서 fishing rod 라는 검색어로 상품을 검색했을 때 검색된 상품 리스트의 ASIN 정보를 수집하는 코드이다. # _*_ coding: utf-8 _*_ from bs4 import BeautifulSoup import urllib import html5lib import time def getSearchItemAsin(keywords): headers = {‘User-Agent’: ‘ Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0’} asins = [] sleep_time = 0 sleep_exec = True for …
Ubuntu 16.04 LTS 버전에 Python 3.6 버전을 설치한 상태를 기준으로 한다. pip 업그레이드 You are using pip version 8.1.1, however version 9.0.1 is available. You should consider upgrading via the ‘pip install –upgrade pip’ command. 위와 유사한 메세지가 표시되는 경우 내용대로 pip install –upgrade pip 실행해도 pip 업그레이드 되지 않는다면 아래 명령을 실행한다. $ python3.6 …
오늘은 파이썬의 mmap 모듈과 multiprocessing 모듈을 이용해서 텍스트 파일의 데이터를 추출해 재가공하는 부분을 작성해봤다. 대용량 파일의 처리는 mmap 모듈을 사용하는 것이 효율적이라고 해서 적용을 했는데.. 일단 10만건 기준으로 기존보다는 10초정도 빨라진다. 추출 데이터를 좀 더 늘려서 테스트를 진행해봐야 할 것 같다. # _*_ coding: utf-8 _*_ from multiprocessing import Process import mmap import time import …
이전에 작성했던 코드를 다시 한번 수정했다. 별다른 것은 없고 퍼포먼스 체크를 위해 실행 시간을 출력하는 부분을 상점ID별로 정보를 출력하도록 수정했다. # _*_ coding: utf-8 _*_ from multiprocessing import Process import time import datetime import locale seller = [] exclude = [] datas = [] def get_exce_time(start, end): return datetime.timedelta(seconds=(end – start)) def number_format(num, places=0): “””Format …