[Python] Scrapy crawl with parameters, Scrapy실행시 파라미터 적용

Spiderss의 __init__함수에 다음과 같이 추가해준다.

    def __init__(self, group = None, *args, **kwargs):
        print(group)
        openapi_gg_go_kr_Spider.__init__(self)

 

그리고 Spider를 CommandLine에서 호출할 때, 다음과 같이 호출한다.

scrapy crawl FiresttnPolcsttnM -a group=20200803 --logfile log/FiresttnPolcsttnM.log  --loglevel INFO -o out/FiresttnPolcsttnM.jl -s FEED_EXPORT_ENCODING=utf-8scrapy crawl FiresttnPolcsttnM -a group=20200803 --logfile log/FiresttnPolcsttnM.log  --loglevel INFO -o out/FiresttnPolcsttnM.jl -s FEED_EXPORT_ENCODING=utf-8

 

-a라는 옵션을 주고 뒤에 group라는 파라미터로 넘겨준다.

 

__init__함수에서 group이라는 파라미터를 정의했으므로 받아서 사용할 수 있다.

 

물론, VisualCode에서 실행시에도 다음과 같이 추가해주면 된다.

        execute(
            [
                'scrapy',
                'crawl',
                SPIDER_NAME,
                '-a',
                'group=20112222',
                '--logfile',
                'log/' + SPIDER_NAME + '.log',
                '--loglevel',
                'DEBUG',
                '-o',
                'out/' + SPIDER_NAME + '.jl',
                '-s',
                'FEED_EXPORT_ENCODING=utf-8',
            ]
        )