网站三的反爬破解

1、请求url，查看数据情况

首先我们请求想要爬取的页面url，根据页面元素提取重要信息，发现请求返回的数据如下：

莘器规奉网医卫生录红霉素眼膏到院次设六柒莘器规奉网医卫生录红霉素眼膏到院到院机局聊城利筑药国集团元重六有dCc2TW6qweCe/4qu5++U7OyM68vQ6MvbrM6VgvOf/umNtruC8dGU9dCP4O2O+uyjyMgHX3fe5rSBz8qy0POnlfuL/f+wrNHU6+7Hx9vU0+aK4d6C/cDVsOeg39+52cqq48vSztOj9M+o5vq3q9uGjryi+oa64cCz+Z/Q1fd+SnNXBAFDVw==

仔细观察发现返回的内容和我们在浏览器中看到的不同，我们在浏览器中看到的内容为：

网站二处罚信息爬取破解

1、请求url，查看数据情况

首先根据网络请求的顺序，请求列表页看下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

url = 'http://credit.shaanxi.gov.cn/queryPermitPublishPage.jspx'
post_data = {"lb": "xzcf", "pageNo": "1", "pageSize": "10"}
_Request_Header = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',
    }
try:
    req = requests.post(url, data=post_data, headers=_Request_Header)
except Exception as e:
    print(e)
else:
    if req.status_code == 200:
        print(req.text)
        
<<< {"total":-1,"pageCount":1,"pageNo":1,"columns":{"zh":["决定文号","处罚类别","相对人名称","处罚机关","处罚决定日期"],"en":["xy020102","xy020103","xy010101","xy020101","xy020107"]},"pageSize":10,"list":"a75yXqmRStbuWNG6esIpxGRyYd2ZshrzvW9wFLKTwPNBP74nGyY13VrrI8c6mGe2c04/xNVS+GmL\nLB4QkA61163PC8E31UQcmpVzMtd8eyoSDffABXjNPnTwiBTDYjEB6/HrNytCSiIezl/qIUkCEFyP\nwC1+t9Qu5ozKZ3jkkQ3G*********************************************************************************\nbNnRldjsqiI="}
以上***省略了若干内容

请求列表页后，返回的的关键信息被加密了，乍一看上去像base64编码，使用base64解码后发现没有用，于是猜想肯定该网站使用了js加密，需要找出来该加密函数（或者说解密函数）。

2、寻找js加密函数

找加密函数一般有两种方式

• urlparse

  1 2 3 4 5 6 7 8 9

  from urllib.parse import urlparse, urlunparse result = urlparse('http://www.baidu.com/index.html;user?id=5#comment') print(result) ParseResult(scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment') # 其中schema是协议，netloc是域名服务器，path是相对路径，params是参数，query是查询条件，fragment锚点 # 相对应的将参数合并成完整url的方法为urlunparse(),共6个参数

网站一反爬破解

这个网站的反爬比较初级，页面上有一个滑动验证码，但是不存在js加密反爬之类的东西，所以只需要识别出来验证码图片的缺口位置，以Post参数的形式返回给服务端就可以请求到数据了。

本次流程有两种方式来实现，一种方式是使用requests.get()/post()的形式，另一种方式是使用session；前一种方式需要先请求获取cookie，然后每次携带cookie进行请求，后一种方式相对步骤简单些。

这里选择使用session的方式。

如果用前一种方式尝试，直接请求该网站主页返回的信息中没有cookie,直接请求获取验证码的url时既可以获取图片信息，也可以获取cookie。

• 第一步：请求验证码图片

  请求到验证码图片后，可以根据缺口位置的RGB颜色值范围，来找出缺口的位置，也可以先灰度化处理，再来判断缺口的位置，这里先灰度化。

百度人脸识别–人脸对比

主要是调用百度的接口，调用方法如下：

• HTTP方法：POST
• 请求URL ：https://aip.baidubce.com/rest/2.0/face/v3/match

• URL参数：access_token,通过API Key和Secret Key获取的access_token,参考“Access Token获取”

• Header：Content-Type：application/json

• 请求参数：
  • image：必选，string，图片信息，根据Image_type来判断；
  • image_type：必选，string，图片类型[BASE64, URL, FACE_TOKEN]，BASE64是对图片的二进制流的一个BASE64编码，URL是从互联网上进行下载的链接，FACE_TOKEN是人脸检测返回的标识。
  • face_type：非必选，详情看文档
  • quality_control：非必选，详情看文档
  • liveness_control：非必选，详情看文档

concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的进一步抽象，对编写线程池/进程池提供了直接的支持。

问题：有10万条url需要爬取，如何以比较简单的方式实现多进程/多线程爬取？

python的任务调度模块，apscheduler，它主要包含了四种组件triggers(触发器)、job stores(任务存储器)、executors(执行器)、schedulers(定时调度器)。

• 安装

  pip install apscheduler

• 定时器种类

  BlockingScheduler：当调度器是进程中唯一运行的程序时使用

  BackgroundScheduler：在不使用下面任何框架时使用，并希望调度器在应用程序的后台运行。

  AsyncIOScheduler：你使用的应用程序中必须有asyncio模块

  GeventScheduler：在你的应用程序中必须有gevent模块

  TornadoScheduler：你的应用程序是Tornado框架可以使用

  TwistedScheduler：你的应用程序是Twisted框架可以使用

  QtScheduler： 在QT框架中使用

• 触发器种类

  date：一次性任务，即只执行一次任务

  interval：循环任务，即按照时间间隔执行任务

  cron：定时任务，即在每个时间段执行任务

python字典

字典初始化的N种方法

• 直接赋值

  1	a = {"one": 1, "two": 2, "three": 3}

• 先新建字典对象，再动态赋值

  1 2 3 4

  b = dict() b["one"] = 1 b["two"] = 2 b["three"] = 3

• 新建字典对象时，通过参数赋值

  1	c = dict(one=1, two=2, three=3)

• 新建字典对象时，通过嵌套的元组和列表来赋值

  1	d = dict([("one", 1), ("two", 2), ("three", 3)])

MongoDB小技能

MongoDB导入导出

• 数据导出

  MongoDB中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。

  命令：

  mongoexport -d dbname -c collectionname -o file --type json/csv -f field

  参数说明：

​ -d ：数据库名

​ -c ：collection名

​ -o ：输出的文件名

​ –type ： 输出的格式，默认为json

​ -f ：输出的字段，如果-type为csv，则需要加上-f “字段名”

前段时间，对ELK做了一定的研习，中间踩了许多坑，全都是自己一个人一点点查阅资料解决的，在此做个记录，对logstash方面的记录比较多，其他关于elasticserarch或者kibana以后有了更深入的学习后，再来扩展。

Logstash

• logstash 如何安装详细参考官网。在centos系统上，一般logstash配置文件目录为：/etc/logstash，
  执行文件目录为：/usr/share/logstash，logstash运行的日志目录：/var/log/messages；

• logstash的运行依赖JVM，所以需要先安装jdk，安装好jdk后需要配置环境变量；

  在测试阶段，我们使用logstash命令启动程序，只要环境变量配置正确一般是没什么问题的，但是应用阶段我们一般是以服务形式来启动程序，如systemctl start logstash，这时可能会遇到报错的情况，找不到JAVA_HOME，使用以下命令可以解决：ln -s /usr/local/jdk1.8.0_181/bin/java /bin/java，意为：为/bin/java 建立一个软连接，需要的源文件在/usr/local/jdk1.8.0_181/bin/java 中，因为以服务方式启动logstash时，默认去/bin/java路径中寻找java源文件（JAVA_HOME供java命令使用，系统并不关心）。