? ? ? ?

今日頭條搜索站長平臺上線

今日頭條早在今年 8 月份就陸續(xù)傳出涉足搜索業(yè)務，前段時間在站長工具還看到了頭條權重，對于站長平臺也早有傳聞在內測中，昨天才發(fā)現(xiàn)頭條搜索的站長平臺已經正式開放了，今天就跟簡單介紹一下，建議大家前往添加網(wǎng)站的 sitemap 文件，畢竟剛出來的平臺要求相對較低。

頭條搜索站長平臺介紹

頭條搜索站長平臺入口地址：https://om.toutiao.com/

頭條搜索站長資源平臺是今日頭條搜索與站點站長溝通交流平臺，為站長提供有助于搜索引擎收錄的工具、站點數(shù)據(jù)查詢、資源開放等服務。在使用頭條搜索站長資源平臺過程中遇到任何問題，需要我們協(xié)助解決，或者有好的建議反饋，您可以通過以下方式聯(lián)系我們。

反饋郵箱地址：zhanzhang@bytedance.com

目前頭條搜索站長平臺首頁關于網(wǎng)站支持只有三個方面的介紹，分別是：

數(shù)據(jù)引入：數(shù)據(jù)的提交抓取，優(yōu)化收錄流程

流量展現(xiàn)：頭條搜索導流數(shù)據(jù)，監(jiān)控網(wǎng)站流量動態(tài)

抓取頻次：監(jiān)控抓取頻次動態(tài)，優(yōu)化抓取限制

頭條搜索UA介紹

頭條搜索的爬蟲UA為“Bytespider”首寫字母為大寫。

例如：

例如：Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 
(KHTML,like Gecko)Chrome/41.0.6633.1032 Mobile Safari/537.36;Bytespider;
https://zhanzhang.toutiao.com

頭條搜索ip字段介紹

頭條搜索的ip字段總共涉及6個，具體字段如下：

110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24

基本流程

1.抓取網(wǎng)頁。每個獨立的搜索引擎都有自己的網(wǎng)頁抓取程序爬蟲（Spider）。爬蟲順著網(wǎng)頁中的超鏈接，從這個網(wǎng)站爬到另一個網(wǎng)站，通過超鏈接分析連續(xù)訪問抓取更多網(wǎng)頁。被抓取的網(wǎng)頁被稱之為網(wǎng)頁快照。由于互聯(lián)網(wǎng)中超鏈接的應用很普遍，理論上，從一定范圍的網(wǎng)頁出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁。

2.處理網(wǎng)頁。搜索引擎抓到網(wǎng)頁后，還要做大量的預處理工作，才能提供檢索服務。其中，最重要的就是提取關鍵詞，建立索引庫和索引。其他還包括去除重復網(wǎng)頁、分詞（中文）、判斷網(wǎng)頁類型、分析超鏈接、計算網(wǎng)頁的重要度/豐富度等。

3.提供檢索服務。用戶輸入關鍵詞進行檢索，搜索引擎從索引數(shù)據(jù)庫中找到匹配該關鍵詞的網(wǎng)頁；為了用戶便于判斷，除了網(wǎng)頁標題和URL外，還會提供一段來自網(wǎng)頁的摘要以及其他信息。

問題反饋

1.如果您的網(wǎng)站發(fā)現(xiàn)有頭條spider的UA“Bytespider”抓取存在抓取量過大，導致您的網(wǎng)站出現(xiàn)緩慢、掛掉等問題，您可以通過“抓取頻次”功能，對網(wǎng)站進行設置抓取要求，我們會在1天內時間內生效。

2.關于spider有其他問題，可以向zhanzhang@bytedance.com提交反饋，我們會在及時處理。