>백엔드 개발 >파이썬 튜토리얼 >NewsDataHub API를 사용한 페이지 매김 이해

NewsDataHub API를 사용한 페이지 매김 이해

Patricia Arquette
Patricia Arquette원래의
2024-12-18 20:18:20752검색

Understanding Pagination with NewsDataHub API

이 가이드에서는 NewsDataHub API를 사용할 때 결과를 페이지로 나누는 방법을 설명합니다.

NewsDataHub API는 RESTful API 인터페이스를 통해 뉴스 데이터를 제공하는 서비스입니다. 대규모 데이터 세트를 효율적으로 처리하기 위해 커서 기반 페이지 매김을 구현하므로 개발자는 관리 가능한 배치로 뉴스 기사를 검색할 수 있습니다. 각 응답에는 제목, 설명, 출판 날짜, 출처, 콘텐츠, 키워드, 주제 및 감정 분석과 같은 세부 정보가 포함된 기사 세트가 포함되어 있습니다. API는 결과를 통한 원활한 탐색을 위해 커서 매개변수를 사용하고 검색 매개변수 및 필터링 옵션과 같은 고급 기능에 대한 포괄적인 문서를 제공합니다.

문서를 보려면 https://newsdatahub.com/docs를 방문하세요

단일 요청으로 모든 결과를 반환하는 것은 일반적으로 비실용적이므로 API는 일반적으로 응답으로 제한된 양의 데이터를 반환합니다. 대신 데이터를 별도의 페이지나 배치로 분할하는 기술인 페이지 매김을 사용합니다. 이를 통해 클라이언트는 한 번에 한 페이지씩 검색하여 관리 가능한 결과 하위 집합에 액세스할 수 있습니다.

/news 엔드포인트에 초기 요청을 하고 첫 번째 배치 결과를 받을 때 응답 형태는 다음과 같습니다.

{
    "next_cursor": "VW93MzoqpzM0MzgzMQpqwDAwMDQ5LjA6MzA0NTM0Mjk1T0xHag==",
        "total_results": 910310,
        "per_page": 10,
        "data": [
            {
                "id": "4927167e-93f3-45d2-9c53-f1b8cdf2888f",
                "title": "Jail time for wage theft: New laws start January",
                "source_title": "Dynamic Business",
                "source_link": "https://dynamicbusiness.com",
                "article_link": "https://dynamicbusiness.com/topics/news/jail-time-for-wage-theft-new-laws-start-january.html",
                "keywords": [
                    "wage theft",
                    "criminalisation of wage theft",
                    "Australian businesses",
                    "payroll errors",
                    "underpayment laws"
                ],
                "topics": [
                    "law",
                    "employment",
                    "economy"
                ],
                "description": "Starting January 2025, deliberate wage theft will come with serious consequences for employers in Australia.",
                "pub_date": "2024-12-17T07:15:00",
                "creator": null,
                "content": "The criminalisation of wage theft from January 2025 will be a wake-up call for all Australian businesses. While deliberate underpayment has rightly drawn scrutiny, our research reveals that accidental payroll errors are alarmingly common, affecting nearly 60% of companies in the past two years. Matt Loop, VP and Head of Asia at Rippling Starting January 1, 2025, Australias workplace compliance landscape will change dramatically. Employers who deliberately underpay employees could face fines as high as AU. 25 million or up to 10 years in prison under new amendments to the Fair Work Act 2009 likely. Employers must act decisively to ensure compliance, as ignorance or unintentional errors wont shield them from civil or criminal consequences. Matt Loop, VP and Head of Asia at Rippling, says: The criminalisation of wage theft from January 2025 will be a wake-up call for all Australian businesses. While deliberate underpayment has rightly drawn scrutiny, our research reveals that accidental payroll errors are alarmingly common, affecting nearly 60% of companies in the past two years. Adding to the challenge, many SMEs still rely on fragmented, siloed systems to manage payroll. This not only complicates operations but significantly increases the risk of errors heightening the potential for non-compliance under the new laws. The urgency for businesses to modernise their approach cannot be overstated. Technology offers a practical solution, helping to streamline and automate processes, reduce human error, and ensure compliance. But this is about more than just avoiding penalties. Accurate and timely pay builds trust with employees, strengthens workplace morale, and fosters accountability. The message is clear: wage theft isnt just a financial risk anymoreits a criminal offense. Now is the time to ensure your business complies with Australias new workplace laws. Keep up to date with our stories on LinkedIn, Twitter, Facebook and Instagram.",
                "media_url": "https://backend.dynamicbusiness.com/wp-content/uploads/2024/12/db-3-4.jpg",
                "media_type": "image/jpeg",
                "media_description": null,
                "media_credit": null,
                "media_thumbnail": null,
                "language": "en",
                "sentiment": {
                    "pos": 0.083,
                    "neg": 0.12,
                    "neu": 0.796
                }
            },
        // more article objects
      ]
  }

JSON 응답의 첫 번째 속성인 next_cursor에 주목하세요. next_cursor의 값은 다음 결과 페이지의 시작을 가리킵니다. 다음 요청을 할 때 다음과 같이 커서 쿼리 매개변수를 지정합니다.

https://api.newsdatahub.com/v1/news?cursor=VW93MzoqpzM0MzgzMQpqwDAwMDQ5LjA6MzA0NTM0Mjk1T0xHag==

결과 페이지 매기기를 시도하는 가장 쉬운 방법은 Postman 또는 유사한 도구를 사용하는 것입니다. 다음은 Postman에서 커서 값을 사용하여 결과를 페이지로 나누는 방법을 보여주는 짧은 비디오입니다.

https://youtu.be/G7kkTwCPtCE

next_cursor 값이 null이면 선택한 기준에 대해 사용 가능한 결과의 끝에 도달했음을 나타냅니다.

Python을 사용하여 결과 페이지 매기기

Python을 사용하여 NewsDataHub API 결과를 통해 기본 페이지 매김을 설정하는 방법은 다음과 같습니다.

import requests

# Make sure to keep your API keys secure
# Use environment variables instead of hardcoding
API_KEY = 'your_api_key'
BASE_URL = 'https://api.newsdatahub.com/v1/news'

headers = {
    'X-Api-Key': API_KEY,
    'Accept': 'application/json',
    'User-Agent': 'Mozilla/5.0 Chrome/83.0.4103.97 Safari/537.36'
}

params = {}
cursor = None

# Limit to 5 pages to avoid rate limiting while demonstrating pagination

for _ in range(5):
    params['cursor'] = cursor

    try:
        response = requests.get(BASE_URL, headers=headers, params=params)
        response.raise_for_status()
        data = response.json()
    except (requests.HTTPError, ValueError) as e:
        print(f"There was an error when making the request: {e}")
        continue

    cursor = data.get('next_cursor')

    for article in data.get('data', []):
        print(article['title'])

    if cursor is None:
        print("No more results")
        break

인덱스 기반 페이지 매김

일부 API는 인덱스 기반 페이지 매김을 사용하여 결과를 개별 청크로 분할합니다. 이 접근 방식을 사용하면 API는 각 페이지 번호가 특정 섹션을 가리키는 책의 목차와 유사한 특정 데이터 페이지를 반환합니다.

인덱스 기반 페이지 매김은 구현하기가 더 간단하지만 몇 가지 단점이 있습니다. 실시간 업데이트에 어려움을 겪고, 일관되지 않은 결과가 생성될 수 있으며, 각각의 새 페이지를 검색하려면 이전 기록을 순차적으로 검색해야 하기 때문에 데이터베이스에 더 많은 부담을 줍니다.

NewsDataHub API에서 커서 기반 페이지 매김의 기본 사항을 다루었습니다. 검색 매개변수 및 필터링 옵션과 같은 고급 기능에 대해서는 https://newsdatahub.com/docs에서 전체 API 문서를 참조하세요.

위 내용은 NewsDataHub API를 사용한 페이지 매김 이해의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.