Python_爬虫总结

学习爬虫和写爬虫文章

2017年3月我想锻炼数据分析相关技能,但是好像没有什么鲜活的数据,所以开始学习Python爬虫。

那时候还在学校里,忙着毕业论文的事情,断断续续地学了起来。百度贴吧是我实战的主要战场,从小贴吧(几千条数据)到大贴吧(200万条数据),从requests,beautifulsoup,re 到 进程池,代理池,selenium,手机抓包。不知不觉中,自己对爬虫有了些心得。

2017年4月1日开始写爬虫文章,起初是在简书上写,我的文章越写越长,越来越觉得简书对长文章支持不好,所以用github和coding的pages功能,做了一个自己的网站,也就是现在这个,把长文章都迁移到了这里。

Python就只用来做爬虫?

有时候网上会评论,写Python文章的十有八九是做爬虫的,哑然失笑。我学习Python,还真不是为了做爬虫,最先学习的三个库是numpy、matplotlib和pandas

话说回来,做爬虫怎么了?

博客爬虫文章

梳理一下爬虫文章的思路和总结一下文章的优缺点

可视化文章

下一步计划

重点放在数据分析上,爬虫文章不会新增了,只为维护更新,十分欢迎其他朋友的投稿

您的支持将鼓励我继续创作!