首頁 > 問答 > 主體
目前在学习Python的数据抓取(爬虫),突发奇想,如果在豆瓣抓取到电影名称后,如何通过获取的电影名称抓取对应的视频URL呢?
本人的流程如下:1、去豆瓣抓取部分电影名称2、保存到数据库3、通过数据库保存的名称去优酷等网站搜索相关电影4、获取相关电影的视频链接地址5、把链接地址保存到对应的数据表中。
不知大神有何建议?为感。
大家讲道理2017-04-18 10:23:10
要考慮,爬取下來的URL是否是你想要的影片啊
怪我咯2017-04-18 10:23:10
每個影片網站的影片位址取得方式都不一樣,都需要對應的寫一套抓取方法。而且像優酷的話大點的影片通常都是分段的,就是可能有幾個url,這種也需要考慮。
伊谢尔伦2017-04-18 10:23:10
可以直接在各大視訊站取得啊,為啥要在豆瓣取得名稱?評分? 一般情況下是可以的,但是要控制獲取的個數,例如你搜一個電影,可能出來的結果有很多個。
天蓬老师2017-04-18 10:23:10
如果爬取的是豆瓣電影,一般都有播放來源的, 可以直接抓取URL的