首頁 >後端開發 >Python教學 >【PYTHON教學】提取文章摘要

【PYTHON教學】提取文章摘要

黄舟
黄舟原創
2017-02-07 16:11:181765瀏覽

在部落格系統的文章清單中,為了更有效地呈現文章內容,從而讓讀者更有針對性地選擇閱讀,通常會同時提供文章的標題和摘要。

一篇文章的內容可以是純文字格式的,但在網路盛行的當今,更多是HTML格式的。無論是哪一種格式,摘要一般都是文章開頭部分的內容,可以依照指定的字數來擷取。

純文字摘要

首先我們對純文字摘要進行提取,純文字文件就是一個長字串,很容易實現對它的摘要提取:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""Get a summary of the TEXT-format document"""

def get_summary(text, count):
u"""Get the first `count` characters from `text`

>>> text = u'Welcome 这是一篇关于Python的文章'
>>> get_summary(text, 12) == u'Welcome 这是一篇'
True
"""
assert(isinstance(text, unicode))
return text[0:count]

if __name__ == '__main__':
import doctest
doctest.testmod()

HTML摘要

HTML文件中包含大量標記符(如

等等),這些字元都是標記指令,並且通常是成對出現的,簡單的文字截取會破壞HTML的文檔結構,進而導致摘要在瀏覽器中顯示不當。

在遵循HTML文檔結構的同時,又要對內容進行截取,就需要解析HTML文檔。在Python中,可以藉助標準函式庫HTMLParser來完成。

一個最簡單的摘要擷取功能,是忽略HTML標記符而只擷取標記內部的原生文字。以下就是類似此功能的Python實作:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""Get a raw summary of the HTML-format document"""

from HTMLParser import HTMLParser

class SummaryHTMLParser(HTMLParser):
"""Parse HTML text to get a summary

>>> text = u&#39;<p>Hi guys:</p><p>This is a example using SummaryHTMLParser.</p>&#39;
>>> parser = SummaryHTMLParser(10)
>>> parser.feed(text)
>>> parser.get_summary(u&#39;...&#39;)
u&#39;<p>Higuys:Thi...</p>&#39;
"""
def __init__(self, count):
HTMLParser.__init__(self)
self.count = count
self.summary = u&#39;&#39;

def feed(self, data):
"""Only accept unicode `data`"""
assert(isinstance(data, unicode))
HTMLParser.feed(self, data)

def handle_data(self, data):
more = self.count - len(self.summary)
if more > 0:
# Remove possible whitespaces in `data`
data_without_whitespace = u&#39;&#39;.join(data.split())

self.summary += data_without_whitespace[0:more]

def get_summary(self, suffix=u&#39;&#39;, wrapper=u&#39;p&#39;):
return u&#39;<{0}>{1}{2}</{0}>&#39;.format(wrapper, self.summary, suffix)

if __name__ == &#39;__main__&#39;:
import doctest
doctest.testmod()

以上就是【PYTHON教學】擷取文章摘要的內容,更多相關內容請關注PHP中文網(www.php.cn)!


陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn