Python实现百度搜索词统计

百度搜索词统计是指对百度搜索引擎中用户的搜索关键词进行统计分析的过程，通过对用户搜索关键词的分析，可以了解用户的兴趣爱好、需求状况等信息，对于优化网站内容、推广营销等方面具有重要意义。本文将介绍如何使用Python来实现百度搜索词统计。

一、获取搜索结果

要进行搜索词统计，首先需要获取到百度搜索结果页面的HTML源码。可以使用Python的requests库发送HTTP请求，然后通过解析HTML源码来获取搜索结果。

import requests
from bs4 import BeautifulSoup

def get_search_results(keyword):
    url = 'https://www.baidu.com/s'
    params = {'wd': keyword}
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, params=params, headers=headers)
    response.encoding = response.apparent_encoding
    soup = BeautifulSoup(response.text, 'html.parser')
    return soup

上述代码定义了一个名为get_search_results的函数，该函数接收一个关键词作为参数，然后发送HTTP请求获取搜索结果页面的HTML源码，最后使用BeautifulSoup库解析HTML源码，返回一个BeautifulSoup对象，方便后续处理。

二、解析搜索结果

获取到搜索结果页面的HTML源码后，接下来需要对HTML进行解析，提取出搜索结果中的关键词。

def extract_keywords(soup):
    keywords = []
    results = soup.find_all('div', class_='c-container')
    for result in results:
        title = result.h3.a.get_text()
        keywords.append(title)
    return keywords

上述代码定义了一个名为extract_keywords的函数，该函数接收一个BeautifulSoup对象作为参数，通过查找HTML中具有特定class属性的元素，提取出搜索结果中的关键词，并将其存储到一个列表中，最后返回该列表。

三、统计关键词

获取到搜索结果中的关键词后，可以使用Python中的collections库来进行关键词的统计分析。

from collections import Counter

def count_keywords(keywords):
    counter = Counter(keywords)
    return counter

上述代码定义了一个名为count_keywords的函数，该函数接收一个关键词列表作为参数，使用Counter类来统计关键词的频率，并返回一个Counter对象，该对象中包含了每个关键词及其出现的次数。

四、应用示例

search_keyword = 'Python编程'
soup = get_search_results(search_keyword)
all_keywords = extract_keywords(soup)
keyword_counter = count_keywords(all_keywords)

print('搜索关键词统计结果：')
for keyword, count in keyword_counter.most_common():
    print(f'{keyword}: {count}次')

上述代码示例中，我们指定了一个搜索关键词”Python编程”，然后先调用get_search_results函数获取搜索结果页面的HTML源码，再调用extract_keywords函数提取出关键词列表，最后调用count_keywords函数对关键词进行统计，将结果输出到控制台。

五、总结

本文介绍了如何使用Python来实现百度搜索词统计的过程。首先使用requests库发送HTTP请求获取搜索结果页面的HTML源码，然后使用BeautifulSoup库解析HTML源码提取出关键词，最后使用collections库中的Counter类进行关键词的统计分析。通过对百度搜索结果的关键词进行统计，我们可以了解用户的搜索偏好和需求情况，对于网站优化和推广营销具有重要意义。