修改scrapytutorial目录settings.py文件
USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36’
这里以抓取博客园文章为例
在spiders目录添加blog_spider.py文件
1 | import scrapy |
修改scrapytutorial目录settings.py文件
USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36’
这里以抓取博客园文章为例
在spiders目录添加blog_spider.py文件
1 | import scrapy |
坚持原创技术分享,您的支持是我前进的动力!