Python获取网站JS文件内容

本文将详细介绍使用Python获取网站JS文件内容的方法。首先，我们会解答这个问题，然后从多个方面进行阐述。

一、使用urllib库获取JS文件内容

1、使用urllib库的urlopen函数可以打开一个URL，然后我们可以读取该URL返回的内容。

import urllib.request

url = "http://example.com/script.js"
response = urllib.request.urlopen(url)
content = response.read().decode('utf-8')
print(content)

2、使用urllib库的urlretrieve函数可以直接将JS文件保存到本地。

import urllib.request

url = "http://example.com/script.js"
urllib.request.urlretrieve(url, "script.js")

二、使用requests库获取JS文件内容

1、使用requests库的get函数可以发送HTTP GET请求，并获取响应内容。

import requests

url = "http://example.com/script.js"
response = requests.get(url)
content = response.text
print(content)

2、可以通过设置headers参数来伪装成浏览器发送请求。

import requests

url = "http://example.com/script.js"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
content = response.text
print(content)

三、使用selenium库获取JS文件内容

1、使用selenium库可以模拟浏览器行为获取JS文件内容。

from selenium import webdriver

url = "http://example.com"
driver = webdriver.Firefox()
driver.get(url)
content = driver.execute_script("return document.documentElement.outerHTML")
print(content)
driver.quit()

2、可以通过设置PhantomJS无头浏览器来获取JS文件内容。

from selenium import webdriver

url = "http://example.com"
driver = webdriver.PhantomJS()
driver.get(url)
content = driver.execute_script("return document.documentElement.outerHTML")
print(content)
driver.quit()

四、使用BeautifulSoup提取JS文件内容

1、使用BeautifulSoup库可以方便地从HTML内容中提取JS代码。

from bs4 import BeautifulSoup
import requests

url = "http://example.com"
response = requests.get(url)
content = response.text
soup = BeautifulSoup(content, 'html.parser')
js_content = soup.find("script").string
print(js_content)

2、可以使用正则表达式来提取JS代码。

import re
import requests

url = "http://example.com"
response = requests.get(url)
content = response.text
js_content = re.findall("(.*?)", content, re.S)
print(js_content)

通过以上方法，我们可以轻松地使用Python获取网站JS文件内容。无论是使用urllib库、requests库、selenium库还是BeautifulSoup库，都可以根据实际需求选择合适的方法。