Home > Article > Backend Development > 使用python提取html文件中的特定数据的实现代码

使用python提取html文件中的特定数据的实现代码

WBOYOriginal: 2016-06-06 11:27:581460browse

例如具有如下结构的html文件

代码如下:

感兴趣内容1

感兴趣内容2

……

感兴趣内容n

内容1

内容2

……

内容n

我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于

代码如下:

这里的内容

还有这里

……

以及这里的内容

思路如下

遇到
设置标记flag = True
遇到

后设置标记flag = False

当flag 为True时遇到

设置标记getdata = True

遇到且getdata = True,设置getdata = False

python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。

可用的处理函数如下：

开始标记 (Start tag)

是一个开始一个块的 HTML 标记，象，，或

 等，或是一个独一的标记，象 <br> 或 <img  alt="使用python提取html文件中的特定数据的实现代码" > 等。当它找到一个开始标记 tagname，SGMLParser 将查找名为 <em><strong>start_tagname</strong></em> 或 <strong><em>do_tagname</em></strong> 的方法。例如，当它找到一个 <pre class="brush:php;toolbar:false"> 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用 <strong><em>unknown_starttag</em></strong> 方法。

结束标记 (End tag)

是结束一个块的 HTML 标记，象，，或等。当找到一个结束标记时，SGMLParser 将查找名为 end_tagname 的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用 unknown_endtag 。

字符引用 (Character reference)

用字符的十进制或等同的十六进制来表示的转义字符，象。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用 handle_charref 。

实体引用 (Entity reference)

HTML 实体，象 ©。当找到，SGMLParser 使用 HTML 实体的名字来调用 handle_entityref 。

注释 (Comment)

HTML 注释, 包括在之间。当找到，SGMLParser 用注释内容来调用 handle_comment。

处理指令 (Processing instruction)

HTML 处理指令，包括在 ... > 之间。当找到，SGMLParser 用处理指令内容来调用 handle_pi。

声明 (Declaration)

HTML 声明，如 DOCTYPE，包括在之间。当找到，SGMLParser 用声明内容来调用 handle_decl。

文本数据 (Text data)

文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用 handle_data。

综上，的到如下代码

代码如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        SGMLParser.reset(self)

    def start_div(self, attrs):
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了

self.flag = True
return

def end_div(self):#遇到

self.flag = False

    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True

代码如下:

def end_p(self):#遇到

if self.getdata:
self.getdata = False

    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)

代码如下:

    def printID(self):
        for i in self.IDlist:
            print i

上面的思路存在一个bug
遇到后设置标记flag = False
如果遇到div嵌套怎么办？

代码如下:

我是来捣乱的

感兴趣

在遇到第一个之后标记flag = False，导致无法的到‘感兴趣内容'。
怎么办呢？如何判断遇到的是和

匹配的哪个呢？
很简单，

和

是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div verbatim减1.这样就可以判断是否是同一层了。

修改后如下

代码如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)

    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #进入子层div了，层数加1
            return
        for k,v in attrs:#遍历div的所有属性以及其值
            if k == 'class' and v == 'entry-content':#确定进入了

self.flag = True
return

def end_div(self):#遇到

        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了，层数减1
            self.verbatim -=1

    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True

    def end_p(self):#遇到

if self.getdata:
self.getdata = False

    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)

    def printID(self):
        for i in self.IDlist:
            print i

最后建立了我们自己的类GetIdList后如何使用呢？
简单建立实例 t = GetIdList()
the_page为字符串，内容为html
t.feed(the_page)#对html解析

t.printID()打印出结果

全部测试代码为

代码如下:

self.flag = True
return

def end_div(self):#遇到

        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子层div了，层数减1
            self.verbatim -=1

    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True

    def end_p(self):#遇到

if self.getdata:
self.getdata = False

    def handle_data(self, text):#处理文本
        if self.getdata:
            self.IDlist.append(text)

    def printID(self):
        for i in self.IDlist:
            print i

##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通过网络获取网页
##response = urllib2.urlopen(req)
##the_page = response.read()

the_page ='''

test

title

我是来捣乱的

感兴趣内容1

感兴趣内容2

……

感兴趣内容n

我是来捣乱的2

我是来捣乱的3

内容1

内容2

……

内容n

'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()

执行后输出为

代码如下:

感兴趣内容1
感兴趣内容2
感兴趣内容n

参考文献

[1] 深入 Python:Dive Into Python 中文版

Statement：

The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn

Previous article：Python 随机生成中文验证码的实例代码Next article：python 字符串格式化代码

See more

使用python提取html文件中的特定数据的实现代码

title

Related articles