听说你想面对监狱编程，你，够格吗？

阐明一下，我的这篇文章没有太多的技能含量，最多只要一些的技能总结，剩下的是我这几个月算是本身经历吧，但是没跑题啊，仍是跟爬虫技能的先关的，不喜欢能够关了哈，来都来了就看看呗，没准能够协助你呢，哈哈谢谢你~

       你好啊，欢迎你点进来听我吹牛皮，哈哈哈哈开玩笑，我依旧是那个带你们走向更影响更惊险的杨旭华，从最终一次写博客到现在有三个多月了，是从2021-02-15 16:48:37最终一篇到现在重新写作，嗯立刻就三个月半了

       嗯我先废话一会，凑个字数，不想看的，能够直接传送车，下面有我总结的爬虫面试题，绝对的实在面试题，亲身经历哈哈哈哈 看见没点这飞曩昔

       或许会有很多人好奇为什么这么长时刻不更新，忙？ 没空？ ，其实都不是，我不忙也不是没空，也不是懒得不想写（咳~其实便是嘿嘿…）

       先说说我这几个月在干嘛吧，由于我是学生哈，从我最终一次写文章开始应该是年的大年初四，一直到初八初九吧，我其实在家，走亲属什么的，今日那个亲属来，明天这个亲属来，横竖便是待客嘛，也就放飞自我了，不想写文章

       然后到后面便是跟小兄弟哥们们一块玩玩玩，其实从元旦就开始玩哈哈哈哈，后面有几天我陪我女朋友玩了一星期（没想到吧我还有女朋友），害便是她上班，我玩我的，下了班一同吃饭玩啥的，由于她上班的早，就这样到了3月1号，我回家了

       从回家开始我就直接开始找作业了，我找的便是爬虫方向的作业，由于是实习生，并且爬虫作业又特别少(实习岗位)，加上疫情的原因，导致我找作业十分不顺利


       我真的是找了整整一个月半，给咱们看一下我的boss直聘截图，我怎样记住之前是快四百多交流了呢


       这个还只是我在这个软件上的记录，还有用到过的拉钩招聘、实习生、智联招聘、猎聘、前程无忧等等，但但凡我符合招聘要求的，我全部投了，真是海投，成果收到的回复没有几个，面试更是寥寥无几，真的是体会到社会的毒打了，我大约算了一下，这几个软件一共我交流加投简历差不多有快1000了吧，首要是boss和拉钩，有的便是读了你的音讯不回你，要么没看音讯也不回你，要么便是聊得好好的人没了，要么便是。。。。。哎横竖便是各种奇葩

       再后来便是找到几家家愿意让我去实习的公司，横竖要么便是我看不上，要么便是看不上我，我记住有家公司大厂大厂大厂 我面试经过了，然后让我等offer，最终又通知我面试一次，最终就跟我说没经过，醉了醉了，真是无奈，估量便是被别人顶了

重点啦：主张咱们，等一家公司的offer的时分不要傻傻的真的等，接着面，假如失约了，你就game over了

最终的最终，我到了我现在这家公司，首要做人工智能这方面，是在汽车上做项目，这个我觉得仍是国内少有的，它是一个小公司，人数寥寥无几，我在这里也不是做爬虫了，便是深度学习工程师，害首要便是找找数据集，然后训练model作业悠闲的很

正文Action
       好了废话说的也不少了接下来给就谈谈真的专业知识，爬虫，相信看过我的文章的人都知道，我写爬虫的时分，有时分会写这个东西，由于我怕有的人学了爬虫回去搞一些事情出来，在这里算是善意的提示吧



所以面对监狱编程，你真的符合吗？？

       干这一行的都知道这几年有很多个正正经经的案例，便是哪个哪个公司程序员写了爬虫代码，最终导致爬进了监狱，这些案例是实在存在的，虽然现已曩昔好久但只要是一提起来仍是觉得十分影响的

       那咱们来谈谈今日的主题，你真的能爬进监狱吗？我想这个问题，没有正常的答复，你能说你进不去吗，假如呢，你把人家服务器给爬崩了，嗯你便是技能这么好，他们的服务器装备便是这么低这么烂

但是你真的能进去吗？我相信你们是由于我文章的标题进来的，大多数或许出于好奇，甚至都不明白爬虫，心抱负：我编个程，怎样就进监狱了，有很多看博客的都是这个心里

那接下来咱们从技能分析一下，你至少要写成什么样的爬虫，才有或许爬进监狱

先从最根底的程序设计说起：

requests恳求
User-Agent假装
re/xpath解析数据
mysql/mongo存储
有了这些，恭喜你有了半只脚踏进了监狱，哈哈哈定心早着呢

进阶：

Selenium+Chrome/Firefox
多线程/多进程爬虫
Proxies署理
操控台抓包
js逆向/js分析改写
ajax恳求破解
分布式爬虫
进阶已完成，咱们更近了一步

高级进阶：

scrapy结构
周期性计划任务
机器视觉与tesseract
Fiddler抓包工具
移动端app数据抓取
高级进阶后，现已没什么能够阻挡你的脚步了，兄弟，Prison离你更近了哈哈哈

真的吗？
当然不或许，只会这点只能说你很厉害了，真正足以让你进到监狱的是Robots协议，还有一些不行操控的东西，就像是咱们上面说的，你把人家服务器搞崩了，网站也搞的运营不起来了，以及你把人家的私有的数据爬下来卖给了他人等等，这些假如你违反了，你必然会遭到惩罚，所以，不要不要不要去做死，假如你觉得你足够幸运，我祝你Bon voyage，Safe and sound

敲黑板划重点： 接下来给咱们总结了一下我今年面试的题：

1、Python中__init__ 和__new__的差异
2、整个爬虫的作业流程（怎么运作）
3、http的响应码（最好是记住200到500状态每个的前三个）
4、进程、线程、协程的差异
5、多线程和多进程介绍一下
6、怎么完成多进程和多线程
7、python并发和并行
8、redis数据库的业务
9、redis的五大数据类型
10、redis的有序集合
11、mysql 数据库的索引
12、mysql数据库中怎么给用户权限
13、Linux检查磁盘命令以及磁盘占用命令
14、Linux检查内容使用情况命令
15、命令行怎么完成对一个文件的去重
16、Python的内存管理机制
17、Python的可变数据类型和不行变数据类型
18、Python 中类办法、类实例办法、静态办法有何差异？
19、map 函数
20、解释一下什么是闭包?
21、函数装修器的了解
22、Python生成器的原理
23、Python 的魔法办法
24、正则里match 与search 的差异？
25、url 的方式？
26、varchar 与char 的差异？
27、常见的反爬虫和应对办法？
28、验证码的处理?
29、描绘下scrapy 结构运行的机制？
30、scrapy五大核心组件介绍一下，分别是做什么用
31、怎样完成栈
32、深复制，浅复制的差异？
33、Linux检查某个进程占用的端口号
34、有一个数组，取出第三大的数字，要求时刻复杂度为O(n),请问怎么完成

35、目标：对指定网站进行数据抓取
       要求：编撰爬虫战略调研报告
              1、列明遇到困难，处理问题办法、战略或主张
              2、时刻1小时。
内容：
       网址：https://www.zcygov.cn，该网站浙江省和重庆市商品信息（能够测验某类商品）。
       抓取信息如下：


36、这个是一家公司给我的爬虫任务，算是一个测验吧





下面的是一家公司的笔试题，但是我没做，由于我是实习生，肯定是做的话得费点力

37、输入一哥字符串，回来字符串倒序后的成果
38、写一个函数，该函数用来判别一个字符串是否为IP地址
39、HTTP协议的恳求报文共有哪几个组成部分
40、请列出常见的排序算法都有什么，以及它们的平均时刻复杂度都是多少
41、现有一个大文件demo.txt，至少超过10G，在内存有限的情况下（低于2G），判别目标字符串”csdn”在文件中出现的次数