【DataMining week3】

Web Scraping 流程
HTTP requests -> check response（因为获取可能失败） -> parse response -> store
HTTP
HTTP 协议，hypertext transfer protocol 超文本传输协议 HTML 数据文件
URL
URL，想要获取的文件在服务器中的地址 例子： https://www.youtube.com/watch?v=asdsadad&key2=value2 protocal://subdomian.domain.extension/path?key1=value1&key2=value2
Response
Response_data User-agent Refer Accept
练手网站 httpbin.org
CURL
curl 利用命令行进行网络连接
TCP-IP

应用层 HTTP协议
传

【DataMining week3】最先出现在Python成神之路。