简要介绍
- 化名为hashfunction的开发者在开源AI仓库Hugging Face上发布了约56亿条公开TikTok视频的元数据，时间跨度从2014年7月到2026年10月，以非商业许可免费开放。
- TikTok的服务条款禁止未经书面批准进行自动化爬取，而该开发者自己的说明文章称，数据是通过TikTok的私有移动API获取的，且无需登录。
- 该数据集卡将商业用途、创作者资料和每日更新引导至datasocial.ai，其爬虫源代码单独以1,699美元出售。
化名为hashfunction的开发者在开源AI仓库Hugging Face上发布了约56亿条公开TikTok视频的元数据，可供免费下载。该数据集由datasocial账号发布，时间跨度从2014年7月延伸至2026年10月。
这是元数据而非视频片段。每一行包含标题、标签、音效ID、屏幕文字、TikTok Shop商品和卖家ID，以及观看次数、点赞数、评论数、分享数、收藏数和下载量的统计数据。整个数据集为460 GB的Parquet文件，按月份分开存储。
部分字段为TikTok自身的标签：视频是否被标记为AI生成，以及TikTok是否将其排除在“为你推荐”页面之外。AI标记对于较早的视频经常为空，这些视频来自存档。
该数据集无需门槛即可获取，因此任何人都可以下载。Hugging Face的计数器显示目前已下载1,181次。它也可在https://datasocial.ai/在线访问。
为什么有人关心？因为AI开发者需要这类数据，而TikTok让获取这些数据变得困难。数十亿个帖子的标题、标签、音效ID和互动数据，是用于预测什么会在TikTok上爆火或什么会在TikTok Shop上畅销的模型、语言模型学习短视频写作方式的原始材料。
TikTok官方获取数据的途径要狭窄得多。其研究工具向美国、欧洲经济区、英国、加拿大和瑞士等地区符合条件的学术界研究人员，以及欧盟内一些非营利机构开放，并需要申请和审批。
该平台不允许广泛的数据爬取。TikTok美国服务条款第3.4节规定，除非获得TikTok书面批准，否则禁止使用自动软件从平台提取数据。
DataSocial的说明文章描述了通过生成的设备身份（伪装成安卓手机）、逆向工程请求签名以及伪造的TLS握手来访问TikTok的私有移动API。文章称，该系统在三周内收集了32.3亿个创作者资料、59.4亿个视频和28亿条评论。根据说明，整个过程不涉及任何登录或账户。
免费层级也充当了商店的角色。许可协议为CC BY-NC 4.0，数据集卡称其用于研究和 Personal use 免费。商业用途、创作者资料和每日更新被引导至datasocial.ai，爬虫源代码则单独出售。
爬取争议已进入法庭。2025年10月，Reddit起诉Perplexity及三家数据爬取公司，指控其进行“工业规模”的方案以 harvesting（收集）内容用于AI训练。据Law360报道，今年7月，一名联邦法官大部分驳回了被告方要求驳回案件的动议。
幸存的索赔包括DMCA（数字千年版权法）指控，称SerpApi规避了Google的反机器人保护。TikTok并非当事人，且该案涉及通过Google搜索结果进行爬取，而非通过私有移动API。
至于数据本身，各行包含标题、使用的音乐以及各种复选框选项。没有创作者用户名栏，但展示了大量数据和信息，包括标题、标签、视频中提及的人等。不过，用户ID实际上在Datasocial中是可用的。
这批数据已有“同行”。一份包含45亿条视频的类似数据集，同样被描述为从TikTok移动API收集，也已出现在Hugging Face上。
数据免费供非商业使用。收集该数据所需的代码售价为1,699美元。
来源：https://decrypt.co/380229/someone-scraped-5-billion-tiktok-videos-posted-data-hugging-face