当前位置:主页 > SEO优化 >

爬虫自学之路

作者: 奕星SEO 分类: SEO优化 发布时间: 2019-08-15 16:30 内容来源:网络整理阅读量:

  从毕业时开始做爬虫到现在已经有 4 个月的时间了,这 4 个月时间里,我从最初负责编写爬虫插件的边缘业务做起,到如今负责公司爬虫主业务。4 个月时间里对爬虫的技术也有更进一步的掌握,对爬虫的行业也有了更深的认知。今天我就梳理下我学习爬虫的经历。

  首先你一定要想明白你为什么要做爬虫,你为什么要选择爬虫这个行业。我之所以会选择爬虫这个行业,主要是结合自身的情况做出的决定。首先大学读书期间我的学习成绩非常不好,虽然我专业是计算机,但对于编程的掌握程度可以说是一个学渣。大学里一共挂了 12 门的课,每学期都会挂科,每年都要提早去学校,直到大四下学期我才把课程全部修完,才得以顺利毕业。这样的学习状态导致了我自身对于编程的技术一直停留在入门的门槛上,你叫我用 java 写个最简单的登陆页面,对不起,我不会。你叫我写个快速排序的算法,对不起,我连冒泡排序都不理解。

  我大学的编程水平是非常烂的那种,但到了大三马上大四了,或多或少都会考虑以后要做什么。我也认真考虑过以后毕业的方向,那时候最火的方向是安卓,所以为了毕业不失业,我毅然的选择学安卓。但大四的时候安卓已经开始走下坡路了,即市场已经不再需要安卓初级人员。以前安卓火到什么程度?2014 到 2017 之间那时候做编程最火的方向就是移动编程,甚至在 2014 你只要会写个 hello world 的 app 就可以胜任安卓开发的工作,那时候培训机构也是铺天盖地的宣传安卓开发。

  但到了大四即 2018 年,你只要稍微关注下安卓方向的消息,都会看到各大博主都在谈论「移动开发寒冬将至」。本身自己技术已经比别人落后了,移动开发市场还需要初级人员,我毕业以后拿什么和别人竞争?继续选择安卓,结果只有一个失业。

  所以我必须做出选择,选择其他的技术方向,我才可能有其他出路。恰好那时候人工智能、大数据、机器学习开始初露锋芒,随之 python 这门语言水涨船高,逐渐开始被人们所关注。虽然那时候 python 逐渐火起来,但 python 的工作非常少,甚至有些 python 的工作只有一线城市才能找到,工作岗位非常少。但这说明市场竞争没有那么激烈,即很少有人会选择 python 做为职业发展道路。这就是我的机会。

  我技术渣,学历普通,起初的起点已经非常低。我想要进入互联网这个行业,我就必须放低自己的眼界,从市场最薄弱的点寻找突破。爬虫就是我的突破口。

  你说我如果技术能力强,或者说编程基础好,我会选择爬虫这个行业吗?肯定不会,我技术能力强,就单 python 方向来说,我大可选择机器学习、数据分析、人工智能等等方向,甚至编程领域最吃香的算法方向。但不好意思,我技术就是那么弱。所以只能选择未来有发展潜力,但又不热门的方向。

  工作 4 个月的时间里,认识了很多专业爬虫师,有的是工作了 2 年,有的像我一样也才毕业,这其中也包括崔庆才这样的技术大牛。无不认为爬虫没有前景,最多做 4 年就会触碰到天花板,无法再精进。但这已经足够了,爬虫只是我入门砖,我一定要找到一个方向,让我进入到互联网的行业,我才有可能继续发展,如果我连入场券都没有谈何理想和现实。

  所以在看这篇文章的你们,要好好想想你自身的情况,决定是否继续看下去。接下来的内容,就是细说如何学爬虫。大家可以在这停留 5 分钟,仔细想想自身的优势在哪。

  做爬虫的语言有很多比如 java、node、python 等等,但因为 python 有非常丰富的库,而被爬虫所青睐,利用 python 丰富的爬虫库,可以快速完成工作上爬虫的需求。一些复杂的爬虫任务,python 也能轻松胜任,所以职业做爬虫的首先语言都是 python。

  所以想要学好爬虫,第一步你应该把 python 相关的基础知识认真的过一遍,python 是你以后爬虫职业道路上的基础。关于 python 如何学习,之前的《如何自学 Python》已经说的很清楚了,大家可以在再回头参考下。

  爬虫初期你的首要任务就是把 python 基础知识学好,这个阶段我是跟着菜鸟教程网站文章学习下来的。如果你本身对于编程是零基础,那么你可以跟着视频学习。但到了后期我还是建议跟着文档或者技术文章学习,这样你的学习效率才能提高。

  学完 python 的技术之后,你就需要找些实际的大量项目来练习。大量具体是多少数量?十个?一百个?一千个?都不是。这里的大量是指能让你对任何编程事物都有种我都可以用代码写出来的感觉,我自己称之为编程感。

  举个例子:现在有个工作需求,要你写个翻译几百万行的英文单词程序,单词的文件是 json 格式。

  这个需求你的脑海里第一反应是什么?是:卧槽几百万的英文,我怎么做。还是:这个不难,我之前有做过类似的项目,应该不难。


本文链接地址:http://www.seohuizhou.com/seoyouhua/1384.html
上一篇:<<关于网站整站优化思路有那些?
下一篇:一二年级加减法中的巧算方法(仅供参考)>>