kaggle-competition-best-practices

Kaggle竞赛最佳实践与知识库管理

Problem

Kaggle竞赛涉及大量领域知识、获胜技巧和策略。每次竞赛都重新学习效率低下。需要:

• 系统化的竞赛工作流程
• 可复制的获胜方案
• 竞赛知识的快速查询
• 为每个竞赛建立RAG知识库

Context / Trigger Conditions

使用此技能当:

• 开始新的Kaggle竞赛项目 - 建立完整工作计划
• 查询竞赛策略 - 提问: "这个竞赛的最佳实践是什么?"
• 分析获胜方案 - 需要理解top方案的思路
• 特征工程困惑 - 需要有效的特征灵感
• 提交策略 - Stage1/Stage2规则和策略
• 创建竞赛知识库 - 为新竞赛整理资料

Solution

Phase 1: 竞赛规划与知识库建立

1.1 创建竞赛NotebookLM知识库

为每个竞赛创建独立的NotebookLM notebook用于RAG查询:

# 创建新notebook
notebooklm create "{竞赛名称} 竞赛资料"

# 记录notebook ID
notebooklm list | grep "{竞赛名称}"

1.2 收集和上传资料

爬取并整理以下内容上传:

必须上传的资料:

• 官方规则和数据说明
• 论坛置顶讨论
• TOP20高赞Notebooks摘要
• 获奖方案解析

资料整理模板:

# {竞赛名称} - 论坛讨论

## 置顶/官方讨论
- 竞赛规则更新
- 数据发布通知
- 重要时间节点

## 热门讨论
- 按投票排序的TOP20

## 技术讨论
- 数据质量问题
- 特征工程技巧
- 模型架构

---

# {竞赛名称} - Notebooks分析

## TOP30 Notebooks
## 技术栈统计
## 获奖方案深度解析

---

# {竞赛名称} - 竞赛指南

## 任务理解
## 数据结构
## 评估指标
## 提交规则(Stage1/Stage2)
## 关键时间节点
## 最佳实践

上传命令:

notebooklm source add 论坛.md -n {notebook_id} --title "论坛讨论"
notebooklm source add notebooks.md -n {notebook_id} --title "Notebooks"
notebooklm source add guide.md -n {notebook_id} --title "竞赛指南"

1.3 获取Notebooks列表（推荐方法）

首选方法: Kaggle CLI ✅

# 安装kaggle CLI（如果未安装）
pip install kaggle

# 配置API密钥
# 从 https://www.kaggle.com/settings 下载kaggle.json
# 放置在 ~/.kaggle/kaggle.json

# 获取竞赛notebooks列表（按投票排序）
kaggle kernels list --competition {competition-slug} --sort-by voteCount --page-size 50

# 示例
kaggle kernels list --competition march-machine-learning-mania-2026 --sort-by voteCount --page-size 50
kaggle kernels list --competition vesuvius-challenge-surface-detection --sort-by voteCount --page-size 50

优势:

• ✅ 无需登录
• ✅ 数据结构化（包含投票数、作者、更新时间）
• ✅ 100%可靠
• ✅ 可排序和分页

备用方法: Playwright爬虫 ⚠️

• 仅当kaggle CLI不可用时使用
• 可能需要登录
• 参见 discover-undocumented-web-apis skill

1.4 批量下载和上传Notebooks（完整工作流）

问题: 直接上传Kaggle notebooks到NotebookLM会失败

• .ipynb 和 .Rmd 文件返回 400 Bad Request
• NotebookLM只支持: .md, .txt, .pdf, .docx, .xlsx 等格式