MIND新闻推荐数据集small版本：51282条新闻、50000用户与156965条行为记录的丰富训练资源

## 引言与背景

在信息爆炸的时代，新闻推荐系统已经成为连接用户与海量信息的重要桥梁。如何构建精准、高效的推荐算法，是学术界和工业界共同关注的核心问题。微软新闻推荐数据集（Microsoft News Recommendation Dataset，MIND）正是为满足这一需求而诞生的大规模公开数据集，为新闻推荐领域的研究提供了宝贵的实验平台。

MIND数据集由微软亚洲研究院发布，包含50,000真实用户的新闻浏览行为数据，涵盖新闻内容、用户点击历史、实体标注等多个维度。该数据集的核心价值在于其真实场景下的大规模用户行为数据（156,965条曝光记录、510万+曝光次数、23万+点击次数、4.63%点击率），能够有效支撑推荐算法的训练与评估。数据集中不仅包含新闻的元数据信息（标题、摘要、类别等），还提供了基于维基百科的实体和关系标注，以及预训练的实体和关系向量表示，为深度学习推荐模型提供了丰富的语义信息。

完整的MIND数据集包含四个核心文件：news.tsv记录新闻的详细信息，behaviors.tsv记录用户的浏览和点击行为，entity_embedding.vec和relation_embedding.vec提供预训练的知识图谱向量表示。这种多模态的数据结构使得该数据集不仅适用于传统的协同过滤推荐，也为基于内容的推荐、知识增强的推荐等新兴方向提供了坚实的数据基础。

## 数据基本信息

### 字段说明

#### news.tsv 字段说明

| 字段名称 | 字段类型 | 字段含义 | 数据示例 | 完整性 |
|---------|---------|---------|---------|--------|
| news_id | string | 新闻唯一标识 | N55528 | 完整（100%） |
| category | string | 新闻一级类别 | lifestyle | 完整（100%） |
| subcategory | string | 新闻二级类别 | lifestyleroyals | 完整（100%） |
| title | string | 新闻标题 | The Brands Queen Elizabeth, Prince Charles, and Prince Philip Swear By | 完整（100%） |
| abstract | string | 新闻摘要 | Shop the notebooks, jackets, and more that the royals can't live without. | 完整（100%） |
| url | string | 新闻链接 | https://assets.msn.com/labs/mind/AAGH0ET.html | 完整（100%） |
| entities | json | 实体标注列表 | [{"Label":"Prince Philip, Duke of Edinburgh","Type":"P","WikidataId":"Q80976"}] | 73%有标注 |
| relations | json | 关系标注列表 | [{"Label":"Ukraine","Type":"G","WikidataId":"Q212"}] | 73.03%有标注 |

#### behaviors.tsv 字段说明

| 字段名称 | 字段类型 | 字段含义 | 数据示例 | 完整性 |
|---------|---------|---------|---------|--------|
| impression_id | string | 曝光记录唯一标识 | 1 | 完整（100%） |
| user_id | string | 用户唯一标识 | U13740 | 完整（100%） |
| time | string | 曝光时间 | 11/11/2019 9:05:58 AM | 完整（100%） |
| impressions | string | 曝光新闻列表（空格分隔） | N55189 N42782 N34694 | 完整（100%） |
| clicks | string | 点击新闻列表（新闻ID-点击标记） | N55689-1 N35729-0 | 完整（100%） |

#### entity_embedding.vec 字段说明

| 字段名称 | 字段类型 | 字段含义 | 数据示例 | 完整性 |
|---------|---------|---------|---------|--------|
| entity_id | string | 实体唯一标识（Wikidata ID） | Q41 | 完整（100%） |
| embedding | float[100] | 100维实体向量表示 | -0.063388 -0.181451 ... | 完整（100%） |

#### relation_embedding.vec 字段说明

| 字段名称 | 字段类型 | 字段含义 | 数据示例 | 完整性 |
|---------|---------|---------|---------|--------|
| relation_id | string | 关系唯一标识（Wikidata ID） | P31 | 完整（100%） |
| embedding | float[100] | 100维关系向量表示 | -0.073467 -0.132227 ... | 完整（100%） |

### 数据分布

#### 新闻类别分布

| 一级类别 | 新闻数量 | 占比 |
|---------|---------|------|
| news | 15,774 | 30.76% |
| sports | 14,510 | 28.29% |
| finance | 3,107 | 6.06% |
| foodanddrink | 2,551 | 4.97% |
| lifestyle | 2,479 | 4.83% |
| travel | 2,350 | 4.58% |
| video | 2,068 | 4.03% |
| weather | 2,048 | 3.99% |
| health | 1,885 | 3.68% |
| autos | 1,639 | 3.20% |
| tv | 889 | 1.73% |
| music | 769 | 1.50% |
| movies | 606 | 1.18% |
| entertainment | 587 | 1.14% |
| kids | 17 | 0.03% |
| middleeast | 2 | 0.00% |
| northamerica | 1 | 0.00% |

#### 时间分布

| 日期 | 行为记录数量 | 占比 | 累计占比 |
|------|------------|------|---------|
| 11/9/2019 | 13,570 | 8.65% | 8.65% |
| 11/10/2019 | 15,048 | 9.59% | 18.24% |
| 11/11/2019 | 32,799 | 20.90% | 39.14% |
| 11/12/2019 | 33,654 | 21.44% | 60.58% |
| 11/13/2019 | 31,624 | 20.15% | 80.73% |
| 11/14/2019 | 30,270 | 19.27% | 100.00% |

#### 实体类型分布

根据数据集中的实体标注，实体类型涵盖人物（P）、地点（G）、组织（O）、概念（C）、作品（W）、产品（V）、设施（F）、学科（J）、事件（N）等多种类型，能够全面描述新闻内容中的核心实体。

#### 数据规模概览

| 数据类型 | 数量 |
|---------|------|
| 新闻总数 | 51,282条 |
| 用户总数 | 50,000个 |
| 用户行为记录 | 156,965条 |
| 总曝光次数 | 5,107,639次 |
| 总点击次数 | 236,344次 |
| 点击率 | 4.63% |
| 实体数量 | 26,904个 |
| 关系数量 | 1,091个 |
| 一级类别 | 17个 |
| 二级类别 | 264个 |
| 有实体标注的新闻 | 37,437条（73%） |
| 有关系标注的新闻 | 37,453条（73.03%） |

## 数据优势

| 优势特征 | 具体表现 | 应用价值 |
|---------|---------|---------|
| 大规模真实用户行为 | 156,965条曝光记录，50,000真实用户，510万+曝光次数，23万+点击次数 | 可用于训练和评估推荐算法的真实效果，模拟实际推荐场景 |
| 丰富的新闻内容信息 | 51,282条新闻，包含标题、摘要、类别、URL等完整元数据 | 支持基于内容的推荐、文本分析、主题建模等多种任务 |
| 高质量知识图谱标注 | 73%的新闻包含实体标注，实体类型多样（人物、地点、组织等） | 支持知识增强的推荐模型，提升推荐的可解释性和准确性 |
| 预训练向量表示 | 26,904个实体向量和1,091个关系向量，均为100维 | 可直接用于深度学习模型，无需重新训练，节省计算资源 |
| 多模态数据结构 | 同时包含结构化数据（类别、实体）和非结构化数据（文本） | 支持多模态融合的推荐算法研究 |
| 时间序列信息完整 | 用户行为包含精确的时间戳，覆盖6天（11/9-11/14/2019） | 可用于研究用户兴趣的时间变化规律，构建时序推荐模型 |
| 标准化数据格式 | TSV格式存储，结构清晰，易于解析和处理 | 降低数据预处理成本，便于快速上手实验 |
| 公开可获取 | 免费公开下载，支持学术研究和商业应用 | 促进推荐算法的公平比较和行业进步 |

## 数据样例

### news.tsv 样例

#### 综合类新闻

N61837	news	newsworld	The Cost of Trump's Aid Freeze in the Trenches of Ukraine's War	Lt. Ivan Molchanets peeked over a parapet of sand bags at the front line of the war in Ukraine. Next to him was an empty helmet propped up to trick snipers, already perforated with multiple holes.	https://assets.msn.com/labs/mind/AAJgNsz.html	[]	[{"Label": "Ukraine", "Type": "G", "WikidataId": "Q212", "Confidence": 0.946}]

#### 体育类新闻

N2073	sports	football_nfl	Should NFL be able to fine players for criticizing officiating?	Several fines came down against NFL players for criticizing officiating this week. It's a very bad look for the league.	https://assets.msn.com/labs/mind/AAJ4lap.html	[{"Label": "National Football League", "Type": "O", "WikidataId": "Q1215884", "Confidence": 1.0}]	[{"Label": "National Football League", "Type": "O", "WikidataId": "Q1215884", "Confidence": 1.0}]

#### 健康类新闻

N19639	health	weightloss	50 Worst Habits For Belly Fat	These seemingly harmless habits are holding you back and keeping you from shedding that unwanted belly fat for good.	https://assets.msn.com/labs/mind/AAB19MK.html	[{"Label": "Adipose tissue", "Type": "C", "WikidataId": "Q193583", "Confidence": 1.0}]	[{"Label": "Adipose tissue", "Type": "C", "WikidataId": "Q193583", "Confidence": 1.0}]

#### 生活方式类新闻

N55528	lifestyle	lifestyleroyals	The Brands Queen Elizabeth, Prince Charles, and Prince Philip Swear By	Shop the notebooks, jackets, and more that the royals can't live without.	https://assets.msn.com/labs/mind/AAGH0ET.html	[{"Label": "Prince Philip, Duke of Edinburgh", "Type": "P"}, {"Label": "Charles, Prince of Wales", "Type": "P"}, {"Label": "Elizabeth II", "Type": "P"}]	[]

#### 科技类新闻

N57356	news	newsscienceandtechnology	New iPad Pro 2019 release date, price, news and leaks	Apple is likely gearing up to release a new series of iPad Pro tablets, so this is what we know and what we want to see.	https://assets.msn.com/labs/mind/AAGZjoR.html	[{"Label": "IPad Pro", "Type": "U", "WikidataId": "Q20962060", "Confidence": 1.0}]	[{"Label": "Apple Inc.", "Type": "O"}, {"Label": "IPad Pro", "Type": "U"}]

#### 财经类新闻

N42474	news	newsbusiness	Trump's Trustbusters Bring Microsoft Lessons to Big Tech Fight	DOJ's Makan Delrahim and the FTC's Joe Simons have agreed to divide Google, Facebook, Amazon, and Apple between them.	https://assets.msn.com/labs/mind/AACI1SK.html	[{"Label": "Big Four tech companies", "Type": "U"}, {"Label": "Donald Trump", "Type": "P"}]	[{"Label": "Google", "Type": "O"}, {"Label": "Facebook", "Type": "O"}, {"Label": "Amazon (company)", "Type": "O"}, {"Label": "Apple Inc.", "Type": "O"}]

#### 汽车类新闻

N60905	autos	autosenthusiasts	Trying to Make a Ram 3500 as Quick as a Viper Requires Some Disassembly	The 2019 Ram 3500's new Cummins diesel has 1000 lb-ft of torque. We put it to work on the drag strip.	https://assets.msn.com/labs/mind/AADKhPQ.html	[{"Label": "Ram Pickup", "Type": "V", "WikidataId": "Q1211586", "Confidence": 1.0}]	[{"Label": "Ram Pickup", "Type": "V"}, {"Label": "Cummins", "Type": "O"}]

#### 旅行类新闻

N22850	travel	travelarticle	Newark Liberty Airport's Terminal One a $2.7 billion 'transformative' project	The project, which is the bi-state agency's single-largest investment in the state, is projected to be completed in 2022.	https://assets.msn.com/labs/mind/AAJfTqo.html	[{"Label": "Newark Liberty International Airport", "Type": "F", "WikidataId": "Q466786", "Confidence": 1.0}]	[]

#### 天气类新闻

N49186	weather	weathertopstories	It's been Orlando's hottest October ever so far, but cooler temperatures on the way	There won't be a chill down to your bones this Halloween in Orlando, unless you count the sweat dripping from your armpits.	https://assets.msn.com/labs/mind/AAJwoxD.html	[{"Label": "Orlando, Florida", "Type": "G", "WikidataId": "Q49233", "Confidence": 0.962}]	[{"Label": "Orlando, Florida", "Type": "G", "WikidataId": "Q49233", "Confidence": 0.962}]

#### 美食类新闻

N63665	foodanddrink	recipes	25 Last-Minute Ideas That Will Absolutely Save Your Holiday Dinner	These last-minute ideas will make you excited for the (sometimes-stressful) holiday.	https://assets.msn.com/labs/mind/AAHYMgP.html	[]	[{"Label": "Christmas and holiday season", "Type": "C"}, {"Label": "Taste of Home", "Type": "M"}]

### behaviors.tsv 样例

#### 样例1：单次曝光多条新闻，部分点击

1	U13740	11/11/2019 9:05:58 AM	N55189 N42782 N34694 N45794 N18445 N63302 N10414 N19347 N31801	N55689-1 N35729-0

#### 样例2：大量曝光新闻，少量点击

2	U91836	11/12/2019 6:11:30 PM	N31739 N6072 N63045 N23979 N35656 N43353 N8129 N1569 N17686 N13008 N21623 N6233 N14340 N48031...	N20678-0 N39317-0 N58114-0 N20495-0 N42977-0 N22407-0 N14592-0 N17059-1 N33677-0 N7821-0 N6890-0

### 实体与关系向量样例

#### 实体向量样例（Q41代表"英格兰"）

Q41	-0.063388	-0.181451	0.057501	-0.091254	-0.076217	-0.052525	0.050500	-0.224871	...

#### 关系向量样例（P31代表"instance of"关系）

P31	-0.073467	-0.132227	0.034173	-0.032769	0.008289	-0.107088	-0.031712	-0.039581	...

## 应用场景

### 场景一：新闻推荐算法训练与评估

MIND数据集最核心的应用场景是新闻推荐算法的训练与评估。通过分析156,965条用户行为记录，研究人员可以构建各种推荐模型，包括基于协同过滤的传统方法、基于深度学习的神经网络模型，以及结合知识图谱的新型推荐算法。数据集中的曝光-点击标签为模型评估提供了标准的离线评估基准，能够客观衡量推荐算法的准确性。此外，数据集包含的时间信息支持时序推荐研究，可以分析用户兴趣随时间的变化规律，构建动态推荐系统。50,000用户和510万+曝光次数的规模足以支撑大规模模型训练，4.63%的点击率符合真实新闻推荐场景的典型特征，使得训练出的模型更具实际应用价值。

### 场景二：知识增强推荐系统研究

数据集中73%的新闻包含实体标注，结合26,904个预训练实体向量和1,091个关系向量，为知识增强推荐提供了理想的数据基础。研究人员可以利用知识图谱信息丰富用户和新闻的表示，提升推荐的可解释性和准确性。例如，可以通过实体链接将新闻内容与外部知识图谱关联，利用实体之间的语义关系挖掘用户的深层兴趣。预训练的实体和关系向量可以直接作为模型的输入特征，无需额外训练，显著降低了实验门槛。这些知识图谱信息还可以用于构建基于知识的推荐解释，向用户展示推荐的原因，增强用户对推荐系统的信任度。

### 场景三：用户行为分析与兴趣建模

通过分析50,000用户的浏览和点击行为，可以深入理解用户的新闻消费模式和兴趣偏好。研究人员可以利用聚类算法将用户分为不同的兴趣群体，分析不同群体的新闻消费特征；也可以构建用户兴趣演化模型，追踪用户兴趣随时间的变化轨迹。时间分布数据（6天的数据覆盖）使得这种分析更加精准，可以观察用户在工作日和周末的行为差异，以及短期兴趣变化趋势。这些分析结果不仅可以优化推荐系统，还可以为新闻内容生产和个性化推送提供决策支持。

### 场景四：内容理解与主题建模

数据集中51,282条新闻包含丰富的文本内容（标题和摘要）和分类标签，适合用于内容理解和主题建模研究。研究人员可以利用这些数据训练文本分类模型，自动识别新闻的类别和主题；也可以通过主题模型（如LDA）挖掘新闻内容中的潜在主题结构，理解新闻内容的语义分布。17个一级类别和264个二级类别的标签体系为模型评估提供了标准的分类基准。这些技术可以应用于新闻内容的自动标签生成、内容推荐、内容过滤等实际场景，帮助新闻平台更好地组织和推荐内容。

### 场景五：可解释推荐研究

在推荐系统中，可解释性越来越受到重视。MIND数据集中的实体标注为可解释推荐研究提供了独特的优势。研究人员可以利用实体信息解释推荐结果，例如向用户展示"因为您关注了关于Apple的新闻，所以推荐这篇关于iPad的文章"。这种基于知识的解释方式不仅可以提升用户对推荐系统的信任度，还可以帮助用户发现新的兴趣点。同时，实体和关系的向量表示为构建可解释的推荐模型提供了数学基础，可以通过注意力机制等方法可视化模型的决策过程。这对于构建透明、可信的推荐系统具有重要意义。

## 结尾

MIND新闻推荐数据集是一个规模庞大、内容丰富的公开数据集，包含51,282条新闻、50,000用户、156,965条行为记录、510万+曝光次数、23万+点击次数、26,904个实体向量和1,091个关系向量。其核心优势在于真实的用户行为数据、丰富的知识图谱标注以及预训练的向量表示，为新闻推荐领域的研究提供了全面的数据支持。

该数据集适用于多种研究方向，包括传统推荐算法、深度学习推荐模型、知识增强推荐、用户行为分析、内容理解等。无论是学术研究还是工业应用，MIND数据集都能提供高质量的数据基础，帮助研究人员和工程师快速开展实验和开发工作。4.63%的点击率反映了真实新闻推荐场景的特征，使得基于该数据集训练的模型更具实际应用价值。

如果需要获取完整的数据集或了解更多细节，可通过官方渠道获取。数据集的公开性和标准化格式使得它成为新闻推荐领域的重要基准数据集，推动着推荐算法的不断创新和发展。

## 标签

MIND数据集、新闻推荐、推荐系统、推荐算法、深度学习、知识图谱、实体标注、关系标注、预训练向量、用户行为分析、内容理解、主题建模、可解释推荐、协同过滤、知识增强推荐、时序推荐、数据集、数据挖掘、机器学习、人工智能