クローラーの解析方法 1: JOSN 解析

多くの言語でクロールできますが、python に基づくクローラーはより簡潔で便利です。クローラーも Python 言語の重要な部分になっています。クローラーがデータを解析する方法は数多くありますが、前回の記事ではクローラーが取得できるデータの種類と具体的な解析方法について紹介しました。 JSON 解析を行っています。 JSON

Json は JavaScript における単なるオブジェクトと配列であるため、これら 2 つの構造体はオブジェクトと配列です。これら 2 つの構造により、さまざまな複雑な構造を表現できます。

オブジェクト:

オブジェクトは、js では { } で囲まれた内容として表現され、データ構造は { key: value, key: value, ..キーと値のペアの構造 オブジェクト指向言語では、キーがオブジェクトの属性、値がそれに対応する属性値なので理解しやすいです 属性を取得するための値メソッドは object.key ですvalue. この属性値のタイプは、数値、文字列、配列、オブジェクトです。

配列:

js の配列は角括弧 [ ] で囲まれた内容で、データ構造は ["Python", "javascript", "C] ", ...]、値の取得方法はすべての言語と同じで、インデックスを使用して取得します。フィールド値の型は数値、文字列、配列、オブジェクトです。

JSON (JavaScript Object Notation) は、読み書きを容易にする軽量のデータ交換形式です。また、機械の分析と生成も容易になります。 Web サイトのフロントエンドとバックエンド間のデータ対話などのデータ対話シナリオに適しています。

import json
def resolveJson(path):
    file = open(path, "rb")
    fileJson = json.load(file)
    field = fileJson["field"]
    futures = fileJson["futures"]
    type = fileJson["type"]
    name = fileJson["name"]
    time = fileJson["time"]
    return (field, futures, type, name, time)
def output():
    result = resolveJson(path)
    print(result)
    for x in result:
        for y in x:
            print(y)
path = r"C:\Users\dell\Desktop\kt\test.json"
output()

関数が複数の値を返す場合はタプルを返すことに注意してください;

文字列に対して for ループを実行する場合、各文字が走査されます

Python JSON

この章では、Python 言語を使用して JSON オブジェクトをエンコードおよびデコードする方法を紹介します。

JSON (JavaScript Object Notation) は、人間が読み書きしやすい軽量のデータ交換形式です。

JSON 関数

JSON 関数を使用するには、json ライブラリをインポートする必要があります: import json。

関数Python オブジェクトにデコードされたエンコードされた JSON 文字列

json.dumps

##json.dumps Python オブジェクトを JSON 文字列にエンコードするために使用されます。

構文

json.dumps(obj、skipkeys=False、ensure_ascii=True、check_circular=True、allow_nan=True、cls=None、indent=None、区切り文字=None、encoding="utf-8"、default=None、sort_keys=False、**kw)
例

次の例では、配列を JSON にエンコードします。 format Data:

#!/usr/bin/python
import json
data = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ]
json = json.dumps(data)
print json

上記のコードの実行結果は次のとおりです:

[{"a": 1, "c": 3, "b": 2, "e": 5, "d": 4}]

パラメータを使用して出力用の JSON データをフォーマットします:

>>> import json
>>> print json.dumps({'a': 'Runoob', 'b': 7}, sort_keys=True, indent=4, separators=(',', ': '))
{
    "a": "Runoob",
    "b": 7
}

Python オリジナルの変換制御type から json type テーブル:

Python

#list, tuple array

str, unicodeロング、フロートfalse

None                                                 null

json.loads

json.loads 用于解码 JSON 数据。该函数返回 Python 字段的数据类型。

语法

json.loads(s[, encoding[, cls[, object_hook[, parse_float[, parse_int[, parse_constant[, object_pairs_hook[, **kw]]]]]]]])

实例

以下实例展示了Python 如何解码 JSON 对象：

<pre class="brush:php;toolbar:false">
#!/usr/bin/python
import json
jsonData = &#39;{"a":1,"b":2,"c":3,"d":4,"e":5}&#39;;
text = json.loads(jsonData)
print text

以上代码执行结果为：

{u'a': 1, u'c': 3, u'b': 2, u'e': 5, u'd': 4}

json 类型转换到 python 的类型对照表：

JSON                                 Python

object                                  dict

array                                     list

string                                unicode

number (int)                     int, long

number (real)                       float

true                                      True

false                                     False

null                                       None

使用第三方库：Demjson

Demjson 是 python 的第三方模块库，可用于编码和解码 JSON 数据，包含了 JSONLint 的格式化及校验功能。

Github 地址：https://github.com/dmeranda/demjson

官方地址：http://deron.meranda.us/python/demjson/

环境配置

在使用 Demjson 编码或解码 JSON 数据前，我们需要先安装 Demjson 模块。本教程我们会下载 Demjson 并安装：

$ tar -xvzf demjson-2.2.3.tar.gz
$ cd demjson-2.2.3
$ python setup.py install

JSON 函数

函数                                                    描述

encode                         将 Python 对象编码成 JSON 字符串

decode                         将已编码的 JSON 字符串解码为 Python 对象

encode

Python encode() 函数用于将 Python 对象编码成 JSON 字符串。

语法

demjson.encode(self, obj, nest_level=0)

实例

以下实例将数组编码为 JSON 格式数据：

<pre class="brush:php;toolbar:false">
#!/usr/bin/python
import demjson
data = [ { &#39;a&#39; : 1, &#39;b&#39; : 2, &#39;c&#39; : 3, &#39;d&#39; : 4, &#39;e&#39; : 5 } ]
json = demjson.encode(data)
print json

以上代码执行结果为：

[{"a":1,"b":2,"c":3,"d":4,"e":5}]

decode

Python 可以使用 demjson.decode() 函数解码 JSON 数据。该函数返回 Python 字段的数据类型。

语法

demjson.decode(self, txt)

实例

以下实例展示了Python 如何解码 JSON 对象：

<pre class="brush:php;toolbar:false">
#!/usr/bin/python
import demjson
json = &#39;{"a":1,"b":2,"c":3,"d":4,"e":5}&#39;;
text = demjson.decode(json)
print  text

以上代码执行结果为：

{u'a': 1, u'c': 3, u'b': 2, u'e': 5, u'd': 4}

以上がクローラーの解析方法 1: JOSN 解析の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。