Configurações spider

custom_settings = {
    'DOWNLOAD_DELAY': 2,  # Atraso de 2 segundos entre cada requisição
    'AUTOTHROTTLE_ENABLED': True,
    'AUTOTHROTTLE_MAX_DELAY': 10,
    'AUTOTHROTTLE_START_DELAY': 2,
    'AUTOTHROTTLE_TARGET_CONCURRENCY': 20,
    'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}