如何限制并发 Go 例程以实现高效 URL 处理？

管理并发 Go 例程

限制并发执行的 Go 例程数量对于维护系统稳定性和资源优化至关重要。在本文中，我们将探索一种使用通道来控制并行操作数量的有效解决方案。

问题陈述：
设计一个处理 URL 列表的系统，对同时执行的 goroutine（并发函数）的最大数量的限制。例如，给定 30 个 URL，将 Goroutine 的数量限制为 10。

建议的解决方案：
我们建议的解决方案涉及两个关键技术：创建固定数量的工作线程并利用缓冲通道来控制流向这些工作人员的数据流。

代码说明：

1. 工作池：建议的代码不是为每个 URL 创建一个 goroutine，而是创建由“-parallel”标志定义的固定数量的工作线程。这些工作人员将在 URL 可用时持续处理它们。
2. URL 通道： 建立一个名为“urls”的缓冲通道，作为主函数和工作人员之间的通信媒介。 URL 被推入此通道，工作人员获取它们进行处理。
3. 工作人员功能： 每个工作人员不断从“urls”通道中提取 URL，并使用单独的 goroutine 处理它们。这样可以确保只有指定数量的 Worker 可以同时运行。
4. 结果通道：名为“结果”的通道用于收集和打印处理结果。

5. 主要功能：

   • Main 确保所有URL 被添加到“urls”通道。
   • 它使用sync.WaitGroup 等待所有工作人员完成其任务。
   • main 函数打印“results”的结果

优点：
缓冲通道有效限制了并发工作人员的数量。当通道已满（达到缓冲区大小）时，尝试添加 URL 的其他 goroutine 将阻塞，直到空间可用。相反，如果没有可用的 URL，worker 将阻塞，直到新的 URL 添加到通道中为止。

结论：
此修改后的代码通过以下方式有效管理并发 go 例程的数量使用工作池和缓冲通道。它提供了灵活高效的机制来确保处理任务以受控的方式执行。

以上是如何限制并发 Go 例程以实现高效 URL 处理？的详细内容。更多信息请关注PHP中文网其他相关文章！