搜尋
首頁後端開發php教程有没有什么工具可以给某url批量发post请求?

有个几十万行的文本文件,里面逐行有一些信息
有没有什么工具可以给某个url批量按照文本文件一行行发post请求呢?
求具体说明

回复内容:

有个几十万行的文本文件,里面逐行有一些信息
有没有什么工具可以给某个url批量按照文本文件一行行发post请求呢?
求具体说明

一个写的比一个短你们这是逼我啊 ... 要比拼 Hello World 么 ..?

awk '{ system( "curl -d \"data=" $0 "\" http://url" ) }' file.txt

awk 单行搞定 ...

有轮子的时候用轮子 ... 没有轮子的时候就自己造一个轮子好了 ...

好吧其实我就是突然有一点点闲时间可以帮你写写代码这样 ...

<?php /* put your text file location here ... */
define( 'TEXT_SRC', '/path/to/your.text.file.txt' );

/* put the url which you wanna post data to here ... */
define( 'DATA_URL', 'http://the.url.data/goes.to' );

/* put post field name here ... */
define( 'POST_PFX', 'data' );

/* read million data from source ... */
$text_src = file( 
    TEXT_SRC, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES 
    );

/* hey here comes cURL ... */
$curl = curl_init();

/* prepare cURL and make a very fashion UA header ... */
curl_setopt_array( $curl, [
    CURLOPT_URL             =>  DATA_URL, 
    CURLOPT_USERAGENT       =>  
        'Mozilla/1.22 (compatible; MSIE 2.0; Windows 3.1)',
    CURLOPT_RETURNTRANSFER  =>  1, 
    CURLOPT_POST            =>  1, 
    ] );

/* something to handle cURL result ... */
$callback = function( $result ) {
    return;
};

/* time for our BIG LOOOOOOOP ! */
foreach( $text_src as $data ) {

    /* fill data ... */
    curl_setopt( $curl, CURLOPT_POSTFIELDS, POST_PFX . '=' . $data );

    /* and send them out ! */
    $callback( curl_exec( $curl ) );

}

/* you have had a long flight ... time for rest ... */
curl_close( $curl );  

运行的话需要 php 5.4.0 以上的版本和 cURL 扩展 ... 前三行是配置区需要自行修改 ...

另外程序是以牺牲内存为代价提升效率的 ... 因为我觉得说只有几十万行的话应该文件不会太大 ...

程序会把那个文本文档一股脑读进内存 ... 所以如果要处理更多数据的话还要修改 ...

恩 ... 就是这样 ... 看看是不是你想要的效果呢 ..?

这种事情太适合用PYTHON来实现了。简单的代码如下:

text = open("__init__.py")
import urllib
while True:
    line = text.readline()
    if not line:
        break
    params = urllib.urlencode({'arg': line})
    f = urllib.urlopen("http://UrUrl", params)
    print f.read()
text.close()

如果需要的话还可以加入连接超时然后重新发起请求,还可以使用多线程来减少整个的时间。

不太清楚你说的是一次 HTTP 请求还是多次请求。如果需要一次请求发送几十万行的文本数据,中间非常容易断掉。如果是多次请求,每次请求发送一行文本数据,可以试试看 curl 。不同的编程语言都有不同的实现方法,具体请查阅对应语言的官方文档。

nodejs:

lineArray = []
request = require 'request'
lineArray.forEach (line)->
    request.post line

试试apache的ab,或者类似的siege, http_load

js: for(var i=0;i

import requests

file = open("text.txt")
for text in file.readlines():
    data = {"data":text}
    resp = requests.get(url=url, data=data)
    print resp.text
file.close()

你们为什么一定要比短....

wget -b -q -O /dev/null --post-data="" -i urls_file

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
详细讲解Python之Seaborn(数据可视化)详细讲解Python之Seaborn(数据可视化)Apr 21, 2022 pm 06:08 PM

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于Seaborn的相关问题,包括了数据可视化处理的散点图、折线图、条形图等等内容,下面一起来看一下,希望对大家有帮助。

详细了解Python进程池与进程锁详细了解Python进程池与进程锁May 10, 2022 pm 06:11 PM

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于进程池与进程锁的相关问题,包括进程池的创建模块,进程池函数等等内容,下面一起来看一下,希望对大家有帮助。

Python自动化实践之筛选简历Python自动化实践之筛选简历Jun 07, 2022 pm 06:59 PM

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于简历筛选的相关问题,包括了定义 ReadDoc 类用以读取 word 文件以及定义 search_word 函数用以筛选的相关内容,下面一起来看一下,希望对大家有帮助。

归纳总结Python标准库归纳总结Python标准库May 03, 2022 am 09:00 AM

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于标准库总结的相关问题,下面一起来看一下,希望对大家有帮助。

分享10款高效的VSCode插件,总有一款能够惊艳到你!!分享10款高效的VSCode插件,总有一款能够惊艳到你!!Mar 09, 2021 am 10:15 AM

VS Code的确是一款非常热门、有强大用户基础的一款开发工具。本文给大家介绍一下10款高效、好用的插件,能够让原本单薄的VS Code如虎添翼,开发效率顿时提升到一个新的阶段。

python中文是什么意思python中文是什么意思Jun 24, 2019 pm 02:22 PM

pythn的中文意思是巨蟒、蟒蛇。1989年圣诞节期间,Guido van Rossum在家闲的没事干,为了跟朋友庆祝圣诞节,决定发明一种全新的脚本语言。他很喜欢一个肥皂剧叫Monty Python,所以便把这门语言叫做python。

Python数据类型详解之字符串、数字Python数据类型详解之字符串、数字Apr 27, 2022 pm 07:27 PM

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于数据类型之字符串、数字的相关问题,下面一起来看一下,希望对大家有帮助。

详细介绍python的numpy模块详细介绍python的numpy模块May 19, 2022 am 11:43 AM

本篇文章给大家带来了关于Python的相关知识,其中主要介绍了关于numpy模块的相关问题,Numpy是Numerical Python extensions的缩写,字面意思是Python数值计算扩展,下面一起来看一下,希望对大家有帮助。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。