數據提取之JSON與JsonPATH

2021-12-01T03:28:07+00:00

我們知道再爬蟲的過程中我們對於爬取到的網頁數據需要進行解析,因為大多數數據是不需要的,所以我們需要進行數據解析,常用的數據解析方式有正則表達式,xpath,bs4,這次我們來介紹一下另一個數據解析庫--jsonpath,在此之前我們需要先了解一下什麼是json。

背景介紹

我們知道再爬蟲的過程中我們對於爬取到的網頁數據需要進行解析,因為大多數數據是不需要的,所以我們需要進行數據解析,常用的數據解析方式有正則表達式,xpath,bs4,這次我們來介紹一下另一個數據解析庫--Jsonpath,在此之前我們需要先了解一下什麼是JSON。

一、初識Json

JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式,它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行數據交互的場景,比如網站前台與後台之間的數據交互。

Python 2.7及之後版本,自帶了JSON模塊,直接import json就可以使用了。

官方文檔:http://docs.Python.org/library/json.html

Json在線解析網站:http://www.json.cn/#

二、Json的基本使用

簡介

json簡單說就是javascript中的對象和數組,所以這兩種結構就是對象和數組兩種結構,通過這兩種結構可以表示各種複雜的結構;

  1. 對象:對象在js中表示為{ }括起來的內容,數據結構為{ key:value, key:value, ... }的鍵值對的結構,在面向對象的語言中,key為對象的屬性,value為對應的屬性值,所以很容易理解,取值方法為 對象.key 獲取屬性值,這個屬性值的類型可以是數字、字符串、數組、對象這幾種。

  2. 數組:數組在js中是中括號括起來的內容,數據結構為

    ["Python", "javascript", "C++", ...]
    ,取值方式和所有語言中一樣,使用索引獲取,欄位值的類型可以是 數字、字符串、數組、對象幾種。

使用

json模塊提供了四個功能:dumpsdumploadsload,用於字符串 和 python數據類型間進行轉換。

把Json格式字符串解碼轉換成Python對象 從json到python的類型轉化對照如下:

JSON Python
object dict
array list
string unicode
number(int) int,long
number(real) float
true(false) True(False)
None

1.json.loads

import json
strDict = '{"city": "廣州", "name": "小黑"}'
r = json.loads(strDict) # json數據自動按Unicode存儲
print(r)

結果如下:

{'city': '廣州', 'name': '小黑'}

2. json.load

讀取文件中json形式的字符串元素 轉化成python類型

import jsons = json.load(open('test.json','r',encoding='utf-8'))print(s,type(s))

結果如下:

{'city': '廣州', 'name': '小黑'} <class 'dict'>

3. json.dumps

實現python類型轉化為json字符串,返回一個str對象 把一個Python對象編碼轉換成Json字符串

import json
listStr = [1, 2, 3, 4]dictStr = {"city": "北京", "name": "大貓"}
s1 = json.dumps(listStr)s2 = json.dumps(dictStr,ensure_ascii=False)
print(s1,type(s1))print(s2)

結果如下:

[1, 2, 3, 4] <class 'str'>{"city": "北京", "name": "大貓"} <class 'str'>

注意:

  1. json.dumps 序列化時默認使用的ascii編碼

  2. 添加參數 ensure_ascii=False 禁用ascii編碼,按utf-8編碼

4. json.dump

將Python內置類型序列化為json對象後寫入文件

import json
json_info = "{'age': '12'}"file = open('ceshi.json','w',encoding='utf-8')json.dump(json_info,file)

結果如下:

ceshii,json(目錄文件產生)

三、JsonPath

JsonPath 是一種信息抽取類庫,是從JSON文檔中抽取指定信息的工具,提供多種語言實現版本,包括:Javascript, Python, PHP 和 Java。

JsonPath 對於 JSON 來說,相當於 XPATH 對於 XML。

https://pypi.python.org/pypi/jsonpath

安裝方法:點擊Download URL連結下載jsonpath,解壓之後執行python setup.py install

官方文檔:http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比

Json結構清晰,可讀性高,複雜度低,非常容易匹配,下表中對應了XPath的用法。

XPath JSONPath 描述
/ $ 根節點
. @ 現行節點
/ .or 取子節點
.. n/a 取父節點,Jsonpath未支持
// .. 就是不管位置,選擇所有符合條件的條件
* * 匹配所有元素節點
@ n/a 根據屬性訪問,Json不支持,因為Json是個Key-value遞歸結構,不需要。
疊代器表示(可以在裡邊做簡單的疊代操作,如數組下標,根據內容選值等)
| [,] 支持疊代器中做多選。
? 支持過濾操作.
n/a 支持表達式計算
n/a 分組,JsonPath不支持

四、案例測試

我們爬取淘票票官網的城市信息,保存為json文件,進行jsonpath語法測試,獲取所有城市名稱。

請求

import requestsimport time
url = 'https://dianying.taobao.com/cityAction.json?activityId&_ksTS=1632211792156_137&jsoncallback=jsonp138&action=cityAction&n_s=new&event_submit_doGetAllRegion=true'
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36',}
res = requests.get(url,headers=headers)
result = res.content.decode('utf-8')
print(result) # xxx省略

注意:

headers裡面的鍵值對最好都加上,還是有反爬的,該網站,這裡為了簡便省去了;

保存數據

content = result.split('(')[1].split(')')[0] # 由於文件首尾的字符不需要需要剔除掉做字符串切割
with open('tpp.json','w',encoding='utf-8')as fp: fp.write(content)

打開json文件如下所示:

解析數據

這裡我們獲取全部城市名稱

import jsonimport jsonpath
obj = json.load(open('tpp.json','r',encoding='utf-8')) # 注意,這裡是文件的形式,不能直接放一個文件名的字符串
city_list = jsonpath.jsonpath(obj,'$..regionName') # 文件對象 jsonpath語法
print(city_list)

結果如下:

五、總結

我們知道json是一種常見的數據傳輸形式,所以對於爬取數據的數據解析,json的相關操作是比較重要的,能夠加快我們的數據提取效率,本文簡單介紹了json和jsonpath的相關操作,對於測試網站(淘票票)的json做了簡單的數據解析,感興趣的小夥伴可以把其他數據解析一下。

關鍵字:

【女生心中最大的痛】就是妹咩的異味搔癢!

2021-06-25T08:39:29.871781+00:00

就算上班久坐整天,也不用再忍耐任何不適感~

【女生心中最大的痛】就是妹咩的異味搔癢!

甚至連“濕度”都被另一半發現節節退步

想要徹底改善,就要吃“私密液態膠囊”

好多女生都說,不只由內調理的效果非常棒

所有對女生超好的成分,也做成液態的形式,讓妳快速吸收有~

一兩個禮拜,我的“私密困擾”都不見了

就算上班久坐整天,也不用再忍耐任何不適感~

整個講話的口氣,甚至上廁所都發現!自己散發著淡淡玫瑰香

 

 

商品資訊

 

蜜嫩香_私密液態膠囊

 

https://www.cashin.tw/product/000000000035022