Super einfacher Python-Crawler zum Herunterladen von NetEase Cloud Music

Der Inhalt dieses Artikels handelt vom Herunterladen von NetEase Cloud Music mit einem supereinfachen Python-Crawler. Ich hoffe, dass er für Sie hilfreich ist.

Ziel

Durch Zufall hörte ich „Clouds and Smoke Turn into Rain“ von Landlady's Cat. Ich war sofort fasziniert von der trägen Stimme und dem studentischen Text und hörte mir dann weiter zu sie auf Wiederholung. Dann habe ich mir den Anime „I am Jiang Xiaobai“ angeschaut und freue mich schon sehr auf die zweite Staffel...

Ich möchte dich wiedersehen, auch wenn ich nach nur einem kurzen Blick wieder gehen muss.. .

Okay, kein Unsinn . Das Ziel dieses Mal besteht darin, die Texte und Audiodaten der populären Musik des Sängers basierend auf der Sänger-ID in NetEase Cloud herunterzuladen und in einem lokalen Ordner zu speichern.

Grundlagen der Konfiguration

• Python

• Selenium (siehe Konfigurationsmethode: Selenium-Konfiguration)

• Chrome-Browser (andere sind ebenfalls verfügbar und müssen entsprechend geändert werden)

Analyse

Wenn Freunde, die die Website von NetEase Cloud gecrawlt haben, sollten Sie dies tun Beachten Sie, dass NetEase Cloud über einen Anti-Crawling-Mechanismus verfügt. Beim POSTing müssen Sie die Verschlüsselungsfunktion einiger Informationsparameter simulieren. Aber der Einfachheit halber können es auch Anfänger verstehen. Selenium wird direkt verwendet, um die Anmeldung zu simulieren, und dann wird die Schnittstelle verwendet, um Musik und Liedtexte direkt herunterzuladen.

Experimentelle Schritte:

1. Erhalten Sie die Liste der beliebtesten Songs, Songnamen und Links des Sängers basierend auf der Sänger-ID und speichern Sie sie in einer CSV-Datei Datei;

2. Lesen Sie die CSV-Datei, extrahieren Sie die Song-ID gemäß dem Song-Link und verwenden Sie dann die entsprechende Schnittstelle, um die Musik und die Texte herunterzuladen; >

   Legen Sie die Musik ein und speichern Sie die Texte lokal.

Python-Implementierung

In diesem Teil werden mehrere Schlüsselfunktionen vorgestellt...

Sängerinformationen abrufen

Mit Selenium müssen wir die Anfrage für die Webseite nicht lesen, wir können die entsprechenden Informationen direkt aus dem Quellcode der Webseite extrahieren. Wenn wir uns den Quellcode der Sängerseite ansehen, können wir feststellen, dass sich die von uns benötigten Informationen im Iframe-Frame befinden. Daher müssen wir zuerst zum Iframe wechseln:

browser.switch_to.frame('contentFrame')

Lesen Sie weiter und stellen Sie fest, dass der Songname und Der Link, den wir benötigen, befindet sich im

-Tag, und jede Zeile entspricht einem

-Tag. Holen Sie sich also zuerst alle

-Inhalte und iterieren Sie dann über einen einzelnen id="hotsong-list". tr

data = browser.find_element_by_id("hotsong-list").find_elements_by_tag_name("tr")

trHinweis: Ersteres ist tr, letzteres ist und letzteres gibt eine Liste zurück.

find_elementDer nächste Schritt besteht darin, den Inhalt eines einzelnen find_elements-Tags zu analysieren und den Songnamen und den Link zu erhalten. Sie können feststellen, dass sich beide im

-Tag befinden und der Link der

ist Attribut und der Name ist das tr-Attribut. Es kann direkt über die Funktion class="txt" abgerufen werden. hreftitleget_attribute()

for i in range(len(data)):
    content = data[i].find_element_by_class_name("txt")
    href = content.find_element_by_tag_name("a").get_attribute("href")
    title = content.find_element_by_tag_name("b").get_attribute("title")
    song_info.append((title, href))

Liedtexte herunterladen

NetEase Cloud verfügt über eine Schnittstelle zum Abrufen von Liedtexten, der Link lautet: http://music.163 .com/api/song...

Die Nummer im Link ist die Song-ID. Nachdem wir die Song-ID haben, können wir den Liedtext direkt über den Link herunterladen 🎜>-Format, daher müssen wir das To

-Paket verwenden.

jsonjson

Darüber hinaus verfügt jede Zeile in den direkt erhaltenen Texten über eine Zeitleiste, die mithilfe regulärer Ausdrücke eliminiert werden muss. Der vollständige Code lautet wie folgt :

def get_lyric(self):
    url = 'http://music.163.com/api/song/lyric?' + 'id=' + str(self.song_id) + '&lv=1&kv=1&tv=-1'
    r = requests.get(url)
    json_obj = r.text
    j = json.loads(json_obj)
    lyric = j['lrc']['lyric']
    # 利用正则表达式去除时间轴
    regex = re.compile(r'\[.*\]')
    final_lyric = re.sub(regex, '', lyric)
    return final_lyric

Audio herunterladen

NetEase Cloud bietet auch eine Schnittstelle für Audiodateien, der Link lautet: http://music.163.com/song/med...

Im Link ist die Nummer die ID des Songs, und die Audiodatei kann basierend auf der ID des Songs direkt heruntergeladen werden. Der vollständige Code lautet wie folgt:

def get_mp3(self):
    url = 'http://music.163.com/song/media/outer/url?id=' + str(self.song_id)+'.mp3'
    try:
        print("正在下载：{0}".format(self.song_name))
        urllib.request.urlretrieve(url, '{0}/{1}.mp3'.format(self.path, self.song_name))
        print("Finish...")
    except:
        print("Fail...")

Verwandte Empfehlungen:

So verwenden Sie Python, um beliebte Kommentare zu NetEase Cloud Music zu crawlen

Python-Crawl Beispiel für den Prozess zum Abrufen von QQ-Musik

Das obige ist der detaillierte Inhalt vonSuper einfacher Python-Crawler zum Herunterladen von NetEase Cloud Music. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!