文：一介布衣
你還記得你第一次上網是什麼時候，是做什麼的嗎？
相信很多人都已經忘記了，也許有人會說是打遊戲、聊天、找資料。
沒有經歷過電話線撥號上網無法想像在那個時代上網是個什麼樣的體驗。
2000年以前，我們要找資料什麼的只能靠記住網址去對應的網站查找。2000年以後百度出現改變一切。
1999年，身在美國的李彥宏親眼目睹雅虎作為一個搜索引起起家的公司市值超過千億美金，而當時國內的網際網路搜尋引擎還是一片空白，當時李彥宏看到了中國網際網路及中文搜尋引擎服務的巨大發展潛力，所以他毅然辭掉矽谷的高薪工作，當時回國籌備自己的項目，並於 2000年1月1日在北京中關村正式成立了百度公司。
至此，「百度一下-你就知道了」 可以說影響了中國的PC網際網路時代。百度搜索查找內容資料成為了當時大部分的使用習慣，甚至到至今，當我們遇到什麼問題需要檢索的時候還是習慣打開百度一下看看有沒有相關信息。
但是網際網路沒有真正的「自由」，2008年，已經壯大的淘寶突然通過robots協議屏蔽了百度搜尋引擎的爬蟲訪問，第一次網際網路「隔離」開始誕生。
隨著移動網際網路時代的到來，這種屏蔽隔離開始變本加厲。所謂的網際網路自由變成了劃地為牢，各大網際網路公司都建起了圍牆各自經營。別說通過搜索找到對方信息，連知道網址打開對方網址都不允許。最終造成了就是我們現在手機安裝的軟體越來越多。
但隨著工信部要求各大網際網路公司開放搜索壁壘——即允許用戶在本平台上搜索並訪問其他平台的內容。這消息一出，引起了人們的關注，也可能讓APP各自為營走到終點。
這其中一條就是，工信部希望可以通過百度等搜尋引擎，讓用戶直接可以獲取到微信上的文章與抖音的短視頻。如果政策實施，在任何一家網際網路企業的平台，都可以直接搜索、查看其它平台的信息、視頻等內容數據。這將是網際網路反壟斷的又一巨大舉措。
當然，這個措施還是討論當中，相關部門「正在與相應的網際網路科技企業徵求反饋意見」，能不能落實現在還為時已早。
其實在移動網際網路時代，孤島似乎是常態的發展模式，各自都掌控著自己的用戶和內容。突然要對搜尋引擎開放內容，這個對目前網際網路企業來說是一個難以接受的選擇。
在這個派系林立的移動網際網路時代，開放內容給搜尋引擎，無疑是要了他們的「命」。
畢竟內部搜索和外部搜索是兩種不同的概念，而作為搜尋引擎起家的百度在這個方面有著天然的技術優勢。當所有網站都向搜尋引擎開放的時候，百度將迎來機遇，將成為大贏家。
表面看似這樣，但實際情況遠比想像中複雜得多。
無可否認，如果抖音、微信等內容都向搜尋引擎開放，百度無疑是受益者。這一開放無疑補充了百度現有搜索內容的缺乏。
但這樣的開放反而讓百度會更加「內卷」，百度本身也存在與其他網際網路公司高度重合的項目，而所謂的開放背後將會讓百度更加注重自己項目的優先權。雖然百度內容在抓取其他平台以後有了充足的補充，但這些內容的展示不會因為多而優先展現出現，畢竟百度不想百自己的用戶導向了其他平台，反而會通過人工干預更加優先展現自己平台下的內容。
同理，其他的各大網際網路平台也是同樣的操作，看似充足的內容載量，但給用戶展示出來的是更加「內卷」，誰也不想再自己平台的用戶流向第三方，只會更加通過技術手段留下用戶。
現在我們再說說神奇 robots協議
robots協議是在還沒有谷歌、百度以前就已經有的一個協定。它不是法律，但是它一份行業規範。它的出現就是為了防止搜尋引擎抓取敏感信息而設置，而且世界上所有的搜尋引擎都嚴格遵守這份協議，它甚至變成了網際網路最後隱私安全底線。
所以目前各大網站通過robots協議屏蔽搜尋引擎爬出抓取只是一種遵守行業規則的正常行為。所以要人為地去「破壞」這份規則，那麼可能會引起整個網際網路隱私安全的災難。
搜尋引擎本身不會去突破這個協議，所以在淘寶屏蔽百度爬蟲抓取淘寶內容以後，百度停止對淘寶內容的抓取。同樣，京東、蘇寧、當當網等也屏蔽了阿里旗下一淘搜索的爬蟲也一樣如此。
當然也不是沒有搜尋引擎違反robots協議去抓取內容，不管是國內還是國外，都有相關案例，但他們都被告上法庭，最終以敗訴告終。
所以哪怕是強制要求他們開放給搜尋引擎抓取內容，他們同樣也可以通過robots協議選擇選哪個給搜尋引擎提供「垃圾內容」。他們也可以用隱私安全做藉口選擇性屏蔽數據。因為不可能要求企業無底線去「完全開放他們的數據」。
就目前來看，開放連結訪問已經是一項重大的進步，但開放搜索，只能說理想很豐滿，現實很殘酷。