[Python] 아마존 상품 검색페이지에서 ASIN 정보 수집하기

아마존 사이트에서 fishing rod 라는 검색어로 상품을 검색했을 때 검색된 상품 리스트의 ASIN 정보를 수집하는 코드이다.

# _*_ coding: utf-8 _*_

from bs4 import BeautifulSoup
import urllib
import html5lib
import time

def getSearchItemAsin(keywords):
    headers = {'User-Agent': ' Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0'}

    asins = []
    sleep_time = 0
    sleep_exec = True

    for page in range(1, 21):
        try:
            if(sleep_time > 0 and sleep_exec == True):
                time.sleep(sleep_time)

            values = {'keywords': keywords, 'page' : page, 'ie' : 'UTF8', 'qid' : int(time.time()) }

            data = urllib.parse.urlencode(values)
            data = data.encode('ascii')

            request = urllib.request.Request('https://www.amazon.com/s/ref=sr_ex_n_0', data, headers)
            with urllib.request.urlopen(request, timeout=30) as response:
                the_page = response.read()

            result = BeautifulSoup(the_page, 'html5lib')

            content = result.find_all('li', class_='s-result-item')

            for li in content:
                asin = li.get('data-asin')
                asins.append(asin)

            if(sleep_time == 0):
                sleep_time = 4
            sleep_exec = True
        except:
            sleep_exec = False

    return asins

asins = getSearchItemAsin('fishing rod')

for asin in asins:
    print(asin)

검색 결과 페이지 파싱은 BeautifulSoup 모듈을 사용했다.