Python-玩转数据-爬虫框架pyspider 与 Scrapy 的区别

Python-玩转数据-爬虫框架pyspider 与 Scrapy 的区别
1、pyspider 提供了 WebUI，爬虫的编写、调试都是在 WebUI 中进行的 而 Scrapy 原生是不具备这个功能的，采用的是代码和命令行操作，但可以通过对接 Portia 实现可视化配置。
2、pyspider 调试非常方便，WebUI 操作便捷直观，在 Scrapy 中则是使用 parse 命令进行调试，论方便程度不及 pyspider。
3、pyspider 支持 PhantomJS 来进行 JavaScript 渲染页面的采集，在 Scrapy 中可以对接 ScrapySplash 组件，需要额外配置。
4、PySpide r 中内置了 PyQuery 作为选择器，在 Scrapy 中对接了 XPath、CSS 选择器和正则匹配。
5、pyspider 的可扩展程度不足，可配制化程度不高，在 Scrapy 中

Python-玩转数据-爬虫框架pyspider 与 Scrapy 的区别最先出现在Python成神之路。