页面身份信息、抓取指令与嵌入权限应如何分层治理？

# 核心结论

页面身份、搜索抓取和嵌入安全应分层治理：文档元数据描述页面身份与展示意图；规范链接、站点地图和索引指令帮助搜索系统理解内容；robots.txt 主要表达站点级抓取规则；认证与授权保护真实数据；响应头负责浏览器安全策略；iframe 的 sandbox 和权限策略限制嵌入内容的能力。禁止抓取、不建立索引、声明规范地址和禁止访问是四种不同概念，任何搜索指令都不能替代访问控制。

# 底层机制

每个页面应提供准确、独特且与可见内容一致的 title 和描述信息，并设置正确的字符集、视口与文档 lang。标题不仅影响搜索结果理解，也用于浏览器标签和辅助技术导航。描述元数据可能被搜索系统用于摘要