keywords：python scrapy crawl mysql git 建材 爬虫
首先要分析需求，要那些数据，get/post分页分类获取，其次防止被ban，最后数据交付。
分析网站
分析网站，最常用的就是使用firefox或者chrome，F12查看网页源代码，然后F5刷新页面，查看有哪些网络(network)请求，请求的类型及内容。
最多使用的就是翻页数据的请求，一部分是通过get请求的url带上类似PageNo的参数，另外一个部分就是通过post json，json的数据含有PageNo类似的字段。
抓取网站
scrapy可深度优先，或者广度优先，且自带去重功能，自带过滤域名等等强大的功能。
start_urls = [] #scrapy的起始url
for id in xrange(1, 2000000):#todo
分析具体的页面
使用item["question_title"]="".join(select.css(".timu_text").xpath(".//h1/text()").extract()).strip()，其中item是scrapy中简单的容器，定义pipeline中的数据项。解析html使用Selector，解析html有很多种比如lxml或者BeautifulSoap等，但是scrapy使用自己的一条机制Selector简单高效。详细的语法可以参考scrapy文档。
最方便的工具是scrapy shell，可以在终端打开scrapy shell，然后在命令行，一个个字段来调试分析。不用每次都启动scrapy crawl来跑完程序验证抓取的字段是否正确。在shell中一个个调试select.css去的是否正确。(分析具体页面需要注意：1.页面可能存在特殊性，所以需要找多个页面先对比 2.需要处理没有字段的异常情况，对于空字段置为空即可)
多级请求
抓取网站具体内容，会遇到一个问题：一条完整的数据，需要多个网络请求get/post按照顺序一个个来收集。
这时scrapy中的request=Request(brandUrl,callback=self.brandJsonCallBack,priority=1234567)再yieldrequest，在callback中收集数据持久化数据，是再合适不过。样例请参考github中的tmall代码。
存储图片
scrapy存储图片比较简单，在setting.py配置 pipeline添加'scrapy.pipelines.images.ImagesPipeline': 1，同时配置IMAGES_STORE=r'./img'存储图片位置,然后在spider解析页面拿到要下载图片的url添加到item["image_urls"]，scrapy就下载图片，同时保存图片的id在item中，其它请参考scapy文档。
持久化数据
使用twisted和MysqlDb，在pipeline.py中将item插入数据库。其中数据库链接相关信息配置在settings.py
防止被ban
最有效的方式是设置下载延迟DOWNLOAD_DELAY=0.1，同时禁用cookie。
其它比如设置user-agent，比如使用TOR，或者使用IP池，都不怎么好使。想要防止被禁的其它方法请自行google。
数据清洗
抓取到数据后需要做一些处理，因为我们抓取的都是特定的内容，基本没有特别的处理。
Python基础安装使用
推荐使用Python 27，不推荐Python3
python 非root安装：./configure [--prefix=newpath](自己指定安装路径) && make && make install
setuptools 安装
pip install：pip是Python安装第三方包最方便的工具，会自动下载依赖
pip 安装包到指定目录: pip install --install-option="--prefix=$PREFIX_PATH" package_name