Heim >Backend-Entwicklung >PHP-Tutorial >聽說內地神人很多,求解curl 抓網頁數據問題~

聽說內地神人很多,求解curl 抓網頁數據問題~

WBOY
WBOYOriginal
2016-07-25 09:12:09912Durchsuche
                                 
                                 
                              
不管是另存新档的网页或是curl抓出来的结果为
                       
  • CurrentSituation
  •                        HittingCharts
                           PitchingCharts
                      
                      
                           
                               
    因工作需求,需要抓取别人网站的数据,使用php+ curl 但是遇到问题无解
    听说内地的神人很多,请各位神人帮帮小弟,来自台湾的小弟已经爬文爬文三天了。
    网址如下:
    先进入:
    http://www.cbssports.com/mlb/scoreboard
    然后,选择下方正在比赛中的赛事,点选GAMETRACKER 就可以看到直播
    问题来了
    以这个网址为例:(当各位大大看到时,也许赛事已经结束了)
    ttp://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR

    小弟写的程序如下:
    $game=array();
    $ch = curl_init();
    $search1=$_GET['searcharg'];
    $url="http://www.cbssports.com/mlb/gametracker/live/MLB_20140527_TB@TOR";
    $cookie_jar =dirname(__FILE__)."/pic.cookie";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_USERAGENT,"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko)Chrome/20.0.1132.57 Safari/536.11");
    $data = curl_exec($ch);
    curl_close($ch);
    preg_match_all('/(.*?)/is',$data,$teamCity);
    ….(进行字符串解析)
    目前已知问题:
    不管是 「另存新檔」save as ,还是 检视原始档  ,一些该出现的html都没有出现,例如:
    原网站为:
    聽說內地神人很多,求解curl 抓網頁數據問題~ http://sports.cbsimg.net/images/baseball/mlb/players/60x80/1961062.jpg"border="0"> Pitcher:M. Mariot |  # 48 RP
                                          
                                          GameStats
                                          
    0.1IP
                                          
    0-0, 5.73 ERA, 11.0 IP,9 K's, 6 BB
                                     
                                  
                                     
                                     
    聽說內地神人很多,求解curl 抓網頁數據問題~ "http://sports.cbsimg.net/images/baseball/mlb/players/60x80/no-photo-available.jpg"border="0"> Pitcher:   
                                          
                                          GameStats
                                          
    上面蓝色代表没有显示出来的,
    目前我试过的方式,送cookie!模拟浏览器 ,还是没效,
    不知道各位内地的神人有没有解?请给小弟一个方向吧(跪求)



    Stellungnahme:
    Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
    Vorheriger Artikel:【雨林木风】诚聘php高级开发工程师 Nächster Artikel:php返回数组中指定的一列(php5.5.0默认函数array_column()在php<5.5.0的应用)

    In Verbindung stehende Artikel

    Mehr sehen