Hot Search API – Gin框架热搜聚合接口,31个平台热搜实时抓取

Hot Search API 是一个基于 Gin 框架的热搜聚合 API 服务,用一套统一的 REST 接口输出百度、微博、抖音、知乎、GitHub 等 31 个平台的实时热搜数据。它用 Go 编写,编译产物是单个二进制文件,放到服务器上直接运行即可,不需要安装运行时或第三方服务。

这个项目同时是作者另一个项目 hot_searches_for_apps 的数据接口,两者组合起来可以覆盖「实时查询 + 历史归档」两种用法。

在这之前,用户遇到什么问题

想在自己的应用里做热点榜单、舆情监控或热搜聚合的开发者,大概都走过这几条弯路:

1. 逐个平台写爬虫。 百度、微博、抖音每个平台的接口格式、反爬策略、编码习惯都不一样,30 个平台就是 30 套解析逻辑,写完还要持续跟平台改版,维护成本极高。

2. 格式无法统一。 就算爬下来了,各家的标题、链接、热度值结构五花八门,每次接入新平台都要在前端重新适配一遍。

3. 部署环境拖泥带水。 Python 爬虫项目往往带着一长串依赖清单,换台服务器就要重新配环境;而热搜这类高频查询场景对服务的响应速度也有要求。

Hot Search API把这三件事一并解决:31 个数据源各写一个端点,聚合接口并发抓取,响应格式全平台统一,最终交付一个二进制文件。

核心功能

1. 31 个数据源,一套接口

每个平台对应一个独立路径:/baidu/weibo/douyin/zhihu/bilibili/github/toutiao/csdn/v2ex/douban/hupu/ithome/qqnews/pengpai/cctv/renmin/wangyinews/acfun/dongqiudi/tieba/36kr/lishipin/shaoshupai/souhu/quark/xinjingbao/nanfang/guojiadili/history/360search 等,覆盖搜索引擎、社交平台、资讯媒体、垂直社区和 GitHub Trending。还有固定栏目「历史上的今天」可供日更类应用使用。

2. 高并发聚合接口

/all 端点用 goroutine 并发抓取全部数据源,设置 8 秒超时,一次请求拿到所有平台的热搜,避免客户端循环调用 31 次接口的延迟。/health 端点提供健康检查,方便接入负载均衡和监控告警。

3. 统一响应格式

无论哪个平台,返回的 JSON 结构完全一致:codemessage(平台名)、icon(平台图标)和 obj 列表,每条热搜包含 index(排名)、title(标题)、url(链接)和 hotValue(热度值)。前端只需要写一次解析逻辑。

4. 统一工具库

共享 HTTP 客户端、JSON 解析和响应构建函数,30 余个数据源实现复用同一套工具;HTTP 客户端默认强制使用 IPv 4,规避部分平台 API 对 IPv 6 的兼容问题。这也是一次大规模重构的成果——作者在 README 中说明,代码重构与优化由 OpenClaw AI 助手完成,旧代码保留在 old 分支可对照查看。

5. 单二进制部署

go build 产出单个可执行文件,零外部依赖。行为由三个环境变量控制:

环境变量默认值说明
PORT1111监听端口
RELEASEfalseGin Release 模式
ENVdevelopment环境标识

安装与使用

前置条件:安装 Go 环境(项目为 Go 模块结构,go.modgo.sum 齐全)。

服务默认监听 http://localhost:1111

场景请求说明
查询单个平台GET /weibo返回微博热搜榜单
一次拿全部平台GET /all并发聚合,8 秒超时
修改端口设置 PORT=8080无需改代码
生产环境部署设置 RELEASE=true关闭 Gin 调试输出
服务监控GET /health健康检查端点
历史数据归档配合 hot_searches_for_apps每小时定时拉取存档

我的使用感受

这个项目的价值在于把「热搜聚合」这件人人想做、但很少有人愿意长期维护的事情工程化了:统一格式解决了接入成本,goroutine 聚合解决了延迟,单二进制解决了部署。从提交记录看,作者在持续跟进平台改版——搜狗切换到官方 JSON API、GitHub Trending 适配新版页面结构、360 doc 闭站后及时移除端点,这类「跟上平台变化」的脏活恰恰是抓取类项目最核心的竞争力。

需要留意的是,抓取类 API 的可用性始终取决于第三方平台,平台改版或接口调整可能导致个别端点临时失效;仓库未声明许可证,商用前需与作者确认授权。

官方网站

https://github.com/iiecho1/api-for-hot-search-golang

在线版体验:https://hotsearch-web.vercel.app/

下载地址

https://pan.quark.cn/s/957fa6c665c1

相关推荐

Avatar photo

JameCling

我是 格律诗的软件世界 的作者,一名专注于软件工具、AI 技术和数字效率领域的独立研究者。
多年来,我持续关注互联网工具的发展趋势,体验不同平台的软件产品,并研究它们如何帮助用户提升效率。
我的工作不仅是整理软件信息,而是通过实际测试、功能分析和使用场景研究,帮助用户判断一个工具是否真正值得使用。
格律诗的软件世界 的每一篇文章都希望提供真实、有价值的信息,包括工具特点、使用方法、优缺点分析以及适合的人群。
我相信,好的工具能够改变工作方式,而准确的信息能够帮助用户做出更好的选择。