>  기사  >  웹 프론트엔드  >  怎么爬取twitter某个用户的所有tweets?

怎么爬取twitter某个用户的所有tweets?

WBOY
WBOY원래의
2016-06-07 08:44:295210검색

目前有两个方法:
1. 直接调用twitter的API,读取一个特定用户的tweets,但是API的参数只有关于返回条数的限制,并没有偏移量参数。也就意味着,总是只能返回“最近的”n条tweets,而不能爬取所有的tweets。
2. 用HTTP请求模拟用户在浏览器上访问的行为,可以读取最近20条的tweets,但不知道该怎样发送HTTP请求才能模拟用户下拉这个操作来加载更早的tweets。

回复内容:

dev.twitter.com/docs/ap

有大路不走你偏要挖地道。


至于说API没什么参数啥的,麻烦仔细看文档。 实际在浏览器中操作一下下拉加载,用抓包软件抓包分析HTTP请求的参数 追踪对方网站的上拉ajax事件请求,然后根据ajax请求规律试试,或者模拟上拉动作,用jq的trigger
성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.