巴扎黑2017-04-18 09:36:28
首先你這個需求完全沒有必要用csv
这个模块来做, csv
默认以半角逗号分隔不同的列, 但是如果单列内容有半角逗号的话, excel
读取就有点尴尬. 我建议用TAB
来做分隔符(定界符), 然后直接用with open(...) as fh
這種方式寫入
除此之外, 你的程式碼還有兩點小問題:
函數get_data
其實只需要調用一次就好了, 沒必要調兩次
url裡面多了個斜槓/
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
URL = 'http://finance.qq.com'
def get_data(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
soup = soup.find('p', {'id': 'listZone'}).findAll('a')
return soup
def main():
with open("hello.tsv", "w") as fh:
fh.write("url\ttitile\n")
for item in get_data(URL + "/gdyw.htm"):
fh.write("{}\t{}\n".format(URL + item.get("href"), item.get_text()))
if __name__ == "__main__":
main()
結果:
ringa_lee2017-04-18 09:36:28
因為你先寫入了csvrow1,然後才寫入csvrow2,才導致了這個結果,應該同時遍歷csvrow1和2,可以這樣:
for i in zip(csvrow1, csvrow2):
csvfile.write(i[0] + ',' + i[1] + '\n')