MediaCrawler是一款专注于从多个主流社交平台获取数据的强大爬虫工具。它支持抓取包括小红书、抖音、快手、哔哩哔哩和微博在内的多个平台,能够高效地提取视频、图片、评论、点赞和转发等各类信息。
工具的核心技术基于Playwright框架,通过保留登录成功后的浏览器上下文环境,并执行JavaScript表达式来获取必要的加密参数。这种方式有效避免了直接逆向解析复杂的核心加密代码,大幅降低了技术实现的难度,同时提升了数据采集的稳定性和效率。
MediaCrawler适用于多种实际场景,例如数据分析、内容研究和市场调研等。无论是个人用户还是企业开发者,都可以借助此工具方便地获取并分析社交平台上的公开内容。
分享地址
https://github.com/NanmiCoder/MediaCrawler