搜尋

首頁 >後端開發 >Python教學 >Python讀寫Json涉及到中文的處理方法

Python讀寫Json涉及到中文的處理方法

高洛峰
高洛峰原創
2017-02-23 11:11:411268瀏覽

今天在幫前端準備資料的時候，需要把資料格式轉成json格式，說實話，涉及到中文有時候真的是很蛋疼，除非對Python的編碼規則比較了解，不然處理起來真的很蛋疼。

整個邏輯

我們需要處理的是把一些文章處理，產生多個html文件，然後用json來顯示文章的列表，圖片，摘要和標題。

想法

為了以後的資料擴展，那必須有一個資料庫，我的想法就是自己寫一個簡單的網頁做為提交輸入，然後post到後台以後錄入到資料庫中，再寫一個展示文章的頁面，展示效果正確後，寫一個requests動態的把所有的資料都爬下來產生一個一個的html文檔。最後的json資料我只要從資料庫把資料抽出來產生就行了。

前端

其實前端的東西很簡單，最近一直在寫網頁，所以前端的東西分分鐘就搞定了。程式碼如下：

urls.py

from django.conf.urls import url, include
from . import views


urlpatterns = {
  url(r'^$', views.index, name='index'),
  url(r'add_article/', views.add_article, name='add_article'),
  url(r&#39;^article/(?P<main_id>\S+)/$&#39;, views.article, name=&#39;article&#39;),
}
views.py

# coding=utf-8
from django.shortcuts import render
from .models import Tzxy

# Create your views here.


def index(request):
  return render(request, &#39;index.html&#39;)


def add_article(request):
  error = &#39;error&#39;
  if request.method == &#39;POST&#39;:
    # 获取前段request的内容
    main_id = request.POST[&#39;main_id&#39;]
    img_url = request.POST[&#39;img_url&#39;]
    title = request.POST[&#39;title&#39;]
    content = request.POST[&#39;content&#39;]
    abstract = content[:50]
    print main_id
    indb = Tzxy(
          main_id=main_id,
          img_url=img_url,
          title=title,
          content=content,
          abstract=abstract
          )
    indb.save()
    error = &#39;success&#39;
    return render(request, &#39;index.html&#39;, {&#39;error&#39;: error})
  return render(request, &#39;index.html&#39;)


def article(request, main_id):
  article_detial = Tzxy.objects.get(main_id=main_id)
  return render(request, &#39;views.html&#39;, {&#39;content&#39;: article_detial})

models.py

from __future__ import unicode_literals
from django.db import models
from django.contrib import admin


class Tzxy(models.Model):
  main_id = models.CharField(max_length=10)
  img_url = models.CharField(max_length=50, null=True)
  title = models.CharField(max_length=50)
  content = models.TextField()
  abstract = models.CharField(max_length=200)

admin.site.register(Tzxy)

範本我就隨便寫了一個簡單的表單

index.html

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>Title</title>
  <link href="http://libs.baidu.com/bootstrap/3.0.3/css/bootstrap.min.css" rel="stylesheet">
  <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script>
  <script src="http://libs.baidu.com/bootstrap/3.0.3/js/bootstrap.min.js"></script>
</head>
<body>
<form method="post" action="/tzxy/add_article/">
{% csrf_token %}
main_id: <input type="text" name="main_id"><br>
img_url: <input type="text" name="img_url"><br>
title: <input type="text" name="title"><br>
{% if error == &#39;success&#39; %}
  <p class="alert alert-success">{{ error }}</p>
{% endif %}
<textarea name="content" rows="25" style="width: 600px;"></textarea><br>
  <input type="submit" name="Submit">
</form>
</body>
</html>

#展示的頁面

##

{% load custom_markdown %}
<!DOCTYPE html>
<html lang="zh-cn">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="initial-scale=1.0,maximum-scale=1.0,minimum-scale=1.0,user-scalable=no" />
  <meta name="apple-touch-fullscreen" content="yes" />
  <meta name="apple-mobile-web-app-capable" content="yes" />
  <meta name="format-detection" content="telephone=no">
  <meta http-equiv="Cache-Control" content="no-store" />
  <meta http-equiv="Pragma" content="no-cache" />
  <meta http-equiv="Expires" content="0" />
  <title>{{ content.title }}</title>
  <link rel="stylesheet" href="../../css/cssreset.min.css">
  <link rel="stylesheet" href="../../css/fx_tzxy_content.min.css">
</head>
<body>

  <p class="page">
    <h1>{{ content.title }}</h1>
    <p class="content">
      {{ content.content | custom_markdown | linebreaksbr }}
    </p>
  </p>

</body>
</html>

當然，我裡面使用了markdown來處理了一些資料。有關markdown的集成，可以移步《Django開發博客（六）—添加markdown支援》

爬數據的小腳本如下，需要使用到requests模組

# coding=utf-8
import sys
import requests
reload(sys)
sys.setdefaultencoding(&#39;utf8&#39;)


def tohtml(file_name, startpos, endpos):
  """
  请求网页数据后把网页源码存储为html格式,启动脚本时要先启动Django的Server
  :param file_name:生成文件名的前缀,最后一位用传入的数字来代替
  :param startpos:开始的数字
  :param endpos:结束的数字
  :return:None
  """

  for x in range(startpos, endpos):
    r = requests.get(&#39;http://127.0.0.1:8000/tzxy/article/&#39; + file_name + str(x))
    with open(&#39;/Users/SvenWeng/Desktop/test/&#39; + file_name + str(x) + &#39;.html&#39;, &#39;w&#39;) as f:
      f.write(r.text)
  print &#39;success&#39;


if __name__ == &#39;__main__&#39;:
  tzhtl_name = &#39;tzxy_tzhtl_h_&#39;
  djjyy_name = &#39;tzxy_djjyy_h_&#39;
  tohtml(djjyy_name, 1, 39)

#裡面的一些命名自己可以根據需要去修改。

生成json

說實話，json的使用方式很簡單，Python對json的支持也很好，不過涉及到中文就有點蛋痛了，我的程式碼是這樣的：

# coding=utf-8
import sqlite3
import json
import sys
reload(sys)
sys.setdefaultencoding(&#39;utf8&#39;)

list_json = []

conn = sqlite3.connect(&#39;db.sqlite3&#39;)
c = conn.cursor()
sql = &#39;select * from Tzxy_tzxy&#39;
c.execute(sql)
all_thing = c.fetchall()

for x in all_thing:
  dic_member = {&#39;id&#39;: x[1].split(&#39;_&#39;)[3],
         &#39;img&#39;: x[2],
         &#39;title&#39;: x[3],
         &#39;abstract&#39;: &#39;&#39;}
  list_json.append(dic_member)
conn.close()

final_json = json.dumps(list_json, sort_keys=True, indent=4)
with open(&#39;test.json&#39;, &#39;w&#39;) as f:
  f.write(final_json)

#程式碼邏輯是：定義一個空列表，用來裝產生的字典訊息，然後從sqlite裡面把之前存的資料全部抓出來。把資料循環生成自己想要的格式的字典，一個一個的插到列表中。再用Python提供的json.dumps方法把資料轉成json格式，再寫入檔案就行了。

邏輯看起來是沒什麼問題，實作起來也很完美，但最後我打開json檔案檢查的時候發現所有的中文都變成Unicode了。這簡直是坑爹。

大致查了一下，好像網路上對這塊說的內容並不詳細，舉得例子也都是非常非常簡單的那種，直接給中文的，並不是我想要的，最後只能硬著頭皮去看官方的說明，最後找到了這麼一個東西

ensure_ascii=False，在Python轉Json的時候帶上這個方法，也就是

#

final_json = json.dumps(list_json, sort_keys=True, indent=4, ensure_ascii=False)

這樣處理之後，寫入檔案就是正常的中文了。

以上這篇Python讀寫Json涉及到中文的處理方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持PHP中文網。

更多Python讀寫Json涉及到中文的處理方法相關文章請關注PHP中文網！

陳述：
本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn
上一篇：python 讀寫、建立 檔案的方法下一篇：python 讀寫、建立 檔案的方法

相關文章

看更多