基于Python的网络爬虫技术研究
在大数据时代,越来越多的公司企业开始注意到数据的价值,开始从自有数据或者网络数据种提取数据,并进行数据变现,发掘数据的价值.网络爬虫技术在此时代得到了长足发展,但是也有大量恶意爬虫充斥网路,导致网络瘫痪、公司利益受损.为了了解确保高性能的同时又不给被爬取网站服务器带来巨大压力的网络爬虫的设计规范,本文研究了网络爬虫的工作流程,设计了一个基于Python的爬取豆瓣电影数据的网络爬虫.提出了现阶段网络爬虫面临的挑战和恶意爬虫的危害,同时网络爬虫应遵守我国相关的法律规范.
爬虫、Python、大数据
TP393.08;D922.291.91;F279.246
2020-07-02（万方平台首次上网日期，不代表论文的发表时间）
共1页
204
