自托管 Reddit：238 亿帖子离线镜像，永久可用

Hacker News · github.com#开源#数据

Editor brief · 编辑速览

开源项目实现 Reddit 大规模数据自托管和离线使用。数据价值显著，但技术实现亮点不明显，主要是工程规模展示。

# Static: export once, host anywhere reddarc.py /data --subreddit privacy ... --output /var/www/html/ # Hybrid (current default): static pages + search server docker compose up -d # Dynamic: no export step, Flask renders pages from PostgreSQL reddarc.py --import-only /data --subreddit privacy ... REDDARCHIVER_SERVE_MODE=dynamic python search_server.py

# One month reddarc.py --update RS_2026-01.zst --comments-file RC_2026-01.zst # Or point at a downloaded monthly torrent (comments/ + submissions/ layout # is auto-discovered) and apply every unprocessed month in order: reddarc.py --update-all /data/monthly/reddit/ reddarc.py --update-status # audit what has been applied

{ "mcpServers": { "reddarchiver": { "command": "uv", "args": ["--directory", "/path/to/mcp_server", "run", "python", "server.py"], "env": { "REDDARCHIVER_API_URL": "http://localhost:5000" } } } }

git clone https://github.com/19-84/redd-archiver.git cd redd-archiver # Create required directories mkdir -p data output/.postgres-data logs tor-public # Configure environment (IMPORTANT: change passwords!) cp .env.example .env nano .env # Edit POSTGRES_PASSWORD and DATABASE_URL # Start services docker compose up -d # Generate archive (after downloading .zst files to data/) docker compose exec reddarchiver-builder python reddarc.py /data \ --subreddit privacy \ --comments-file /data/privacy_comments.zst \ --submissions-file /data/privacy_submissions.zst \ --output /output/

# Docker（规范方式）：在 builder 容器内生成归档 docker compose up -d docker compose exec reddarchiver-builder python reddarc.py /data \ --subreddit privacy \ --comments-file /data/privacy_comments.zst \ --submissions-file /data/privacy_submissions.zst \ --output /output/ # 访问 http://localhost # 本地开发（uv）：使用相同的参数，但路径为宿主机路径 export DATABASE_URL="postgresql://user:pass@localhost:5432/reddarchiver" uv run python reddarc.py data/ --subreddit privacy \ --comments-file data/privacy_comments.zst \ --submissions-file data/privacy_submissions.zst --output output/

# 必需 DATABASE_URL=postgresql://user:pass@host:5432/reddarchiver # 服务（搜索服务器） REDDARCHIVER_SERVE_MODE=dynamic # hybrid（默认）| dynamic REDDARCHIVER_THEME=nord # 11 种配色：default|sepia|high-contrast|nord|solarized|dracula|gruvbox|cyberpunk|midnight|old-reddit|phosphor REDDARCHIVER_ACCENT_COLOR="#8b6914" # 强调色覆盖（十六进制），适用于两种模式 REDDARCHIVER_HTTP_CACHE_MAX_AGE=300 # GET 响应的 Cache-Control/ETag（设为 0 则禁用） REDDARCHIVER_LISTING_CACHE_TTL=300 # 列表计数/统计缓存（dynamic 模式） GUNICORN_WORKERS=8 # 覆盖根据 CPU 自动调整的 worker 数量（Docker） # 可选性能调优（未设置时自动检测） REDDARCHIVER_MAX_DB_CONNECTIONS=8 # 连接池大小 REDDARCHIVER_MAX_PARALLEL_WORKERS=4 # 并行处理 worker 数量 REDDARCHIVER_USER_BATCH_SIZE=2000 # 用户页面批次大小 REDDARCHIVER_QUEUE_MAX_BATCHES=10 # 队列背压控制 REDDARCHIVER_CHECKPOINT_INTERVAL=10 # 进度保存频率 REDDARCHIVER_USER_PAGE_WORKERS=4 # 用户页面生成 worker 数量

完整中文译文