×
简答题
7、Scrapy框架由哪7个组件构成,每个组件的有什么功能?
答案解析
正确答案：答案:
(1)Engine (引擎):负责处理系统的数据流、触发事务,是整个框架的核心。
(2)Scheduler (调度器):负贵处理所有的Request, 并按照一定的方式将其进行整理、排列和入队。
(3)Downloader (下载器):负责下载网页内容。
(4)Spider:负责解析所有的Response,提取Item所需的数据和新的URL。
(5) Item Plpeline (项目管道):负责处理Item, 常见的处理有清理、验证和存储数据等。
(6)Downloader Middleware(下载中间件):位于Engine和Downloader之间,可以自定义扩展下载功能。
(7)Spider Middleware(Spider中间件):位于Engine和Spider之间,可以自定义扩展Engine和Spider间通信的功能。
(1)Engine (引擎):负责处理系统的数据流、触发事务,是整个框架的核心。
(2)Scheduler (调度器):负贵处理所有的Request, 并按照一定的方式将其进行整理、排列和入队。
(3)Downloader (下载器):负责下载网页内容。
(4)Spider:负责解析所有的Response,提取Item所需的数据和新的URL。
(5) Item Plpeline (项目管道):负责处理Item, 常见的处理有清理、验证和存储数据等。
(6)Downloader Middleware(下载中间件):位于Engine和Downloader之间,可以自定义扩展下载功能。
(7)Spider Middleware(Spider中间件):位于Engine和Spider之间,可以自定义扩展Engine和Spider间通信的功能。
相关题目
单选题
17、使用selenium模块打开谷歌浏览器,以下选项中正确的是( )
单选题
16、Selenium中提供了多种元素定位方法,但不包括以下选项中的( )
单选题
15、以下选项中哪一个不是正则表达式的元字符( ).
单选题
14、下列Selenium库的方法中,不能通过节点属性进行多元素定位的是( )。
单选题
13、逆向分析请求页面和取动态加载数据时选择Network面板的哪个选项查看JavaScript加载的文件? ( )
单选题
12、下列关于json库中dumps()方法描述错误的是( )。
单选题
11、下列关于beutiflsoup4中Tag对象描述错误的是( ).
单选题
10、下列关于XPath描述错误的是( )。
单选题
9、beautifulsoup4 库中遍历整个HTML文件,按照条件返回所有匹配的节点元素的方法是( )
单选题
8、能够在字符串“aabaaabaaaab”中匹配“aab”,而不能匹配“aaab”和“aaaab”的正则表达式为( )。
