오늘은 파이썬의 mmap 모듈과 multiprocessing 모듈을 이용해서 텍스트 파일의 데이터를 추출해 재가공하는 부분을 작성해봤다. 대용량 파일의 처리는 mmap 모듈을 사용하는 것이 효율적이라고 해서 적용을 했는데.. 일단 10만건 기준으로 기존보다는 10초정도 빨라진다. 추출 데이터를 좀 더 늘려서 테스트를 진행해봐야 할 것 같다. # _*_ coding: utf-8 _*_ from multiprocessing import Process import mmap import time import …
이전에 작성했던 코드를 다시 한번 수정했다. 별다른 것은 없고 퍼포먼스 체크를 위해 실행 시간을 출력하는 부분을 상점ID별로 정보를 출력하도록 수정했다. # _*_ coding: utf-8 _*_ from multiprocessing import Process import time import datetime import locale seller = [] exclude = [] datas = [] def get_exce_time(start, end): return datetime.timedelta(seconds=(end – start)) def number_format(num, places=0): “””Format …
아래의 코드는 파이썬을 공부하면서 만들었기 때문에 최적화 등과는 거리가 멀다. 테스트 목적의 코드이기 때문에 정상작동은 보장할 수 없다. 판매자와 상품코드가 탭으로 분리된 큰 용량의 텍스트 파일에서 각 판매자 별로 상품코드를 분리해서 각각 텍스트로 파일로 저장한다. 상품코드 중 exclude_item_id.txt 파일에 저장된 코드는 제외한다. # _*_ coding: utf-8 _*_ from multiprocessing import Process import time import datetime …
몰려오는 졸음을 이겨내고 파이썬 코딩 놀이 중이다. 이번엔 팩토리얼 계산을 실행하는 코드를 작성했다. # _*_ coding: utf-8 _*_ def factorials(x): if x == 1: return 1 return x * factorials(x – 1) L = list(range(1, 11)) for i in L: print(“{0}! = {1}”.format(i, factorials(i))) 위 코드를 실행하면 아래의 결과가 표시된다. 1! = 1 2! = …
PHP만 사용하다가 이직을 하면서 시간이 좀 있어 Python(파이썬)을 공부하고 있는데.. 처음엔 물론 hello world를 찍어보긴 했지만 PHP 할 때도 작성해보지 않은 구구단 코드를 작성해봤다. 작동은 잘 되는 듯.. ㅋ L_1 = list(range(2, 10)) L_2 = list(range(1, 10)) for i in L_1: for j in L_2: print(“{0} * {1} = {2}”.format(i, j, i * j)) 처음이니까 …