blockchain_spider/settings.py at master · Forestjylee/blockchain_spider · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
# -*- coding: utf-8 -*-
"""
爬虫配置文件
@file: settings.py
@time: 2018/12/1 9:50
Created by Junyi.
"""


# 爬取的关键字[必填！！！]
KEYWORD = '区块链'

# 是否开启展示模式(不存储爬取的数据,只输出到控制台)
IS_PRESENTATION = True

# 并行执行的进程数(_<=1即为单进程)
PROCESS_NUMBER = 7


########################起始地址池模块##########################

# 来自百度的起始地址数量
BAIDU_START_URLS_AMOUNT = 50

# 来自搜狗的起始地址数量
SOGOU_START_URLS_AMOUNT = 50

# 来自必应的起始地址数量(不稳定，不推荐使用)
BING_START_URLS_AMOUNT = 0

# 百度搜索URL模板
BAIDU_URL_TEMPLATE = "https://www.baidu.com/s?ie=UTF-8&wd={}"

# 搜狗搜索URL模板
SOGOU_URL_TEMPLATE = "https://www.sogou.com/web?query={}"

# 必应搜索URL模板(不稳定)
BING_URL_TEMPLATE = "https://cn.bing.com/search?q={}"

# 爬虫起始地址(url)池的文件路径
START_URLS_SAVE_PATH = 'start_urls.pck'

###############################################################


#########################数据管道模块###########################

# 输送网页数据的管道类型
PIPLINE_TYPE = 'MongoDB'

# MongoDB的主机ip
MONGODB_HOST = 'localhost'

# MongoDB的端口
MONGODB_PORT = 27017

# MongoDB中数据库的名称
MONGODB_DATABASE_NAME = 'blockchain_data'

# MongoDB中数据表的名称
MONGODB_COLLECTION_NAME = 'html_data'

###############################################################


#######################url共享队列模块##########################

# url共享队列的类型
URL_QUEUE_TYPE = 'redis'

# Redis的主机ip
REDIS_HOST = 'localhost'

# Redis中url共享队列的名称
URL_QUEUE_NAME = 'blockchain_urls'

###############################################################


#############################其他##############################

# 单次http请求超时时间(/s)
TIMEOUT = 3

# 爬虫日志的文件名
SPIDER_LOG_NAME = 'spider'

# 请求日志的文件名
REQUESTS_LOG_NAME = 'requests'

# 爬取过程中是否忽略一切异常
IGNORE_EXCEPTIONS = True

###############################################################