網頁設計,程式設計,網繹-如何使網站不被搜尋引擎搜尋到

網頁設計,網頁設計公司,網頁程式設計,網站程式設計,台北網頁設計,無障礙網頁設計,3d互動網頁設計, 720度環場,網站建置,主機代管,電子商務,政府機關網頁設計,公家機關網頁設計,網站製作公司

網頁設計∣程式設計∣網站規劃∣虛擬主機與主機代管∣關於網繹∣我們的服務∣我們的客戶∣無障礙網頁設計∣網站優化SEO∣聯絡我們

::: ∣回首頁∣網站地圖∣ENGLISH∣日本語∣簡體中文∣

∣

:::

透過網繹將您的網站輕鬆的通過無障礙網頁檢測標準，達到轉換網頁無障礙，擴充單元無障礙，新增內容無障礙的功能。

> 新莊市公所開新視窗

:::	回首頁 >> 資訊與知識庫

標題	如何使網站不被搜尋引擎搜尋到
主題分類	SEO
原文章出處	網繹 Denise

我們經常在找尋資料的時候，常常會看到一些很奇怪的網頁資料。
例如有些頁面是預先設計製作，尚未完成或著是尚未到達公佈的時間，但已預先放置在網站下。這種情況都有可能被搜尋引擎找到。

該如何做才能讓搜尋引擎不要檢索這些不應該出現的頁面呢？
其實方法很簡單，只要寫個簡單的文字檔(robots.txt)，放在網站的根目錄即可。
當這些搜尋引擎crawler到達web伺服器的時候，會先去根目錄尋找是否有robots.txt這個檔案。robots.txt裡面的內容就是告訴搜尋引擎哪些資料夾或者是哪些網頁不要檢索。當spider或者crawler看過這個檔案之後，就會依循robots.txt內容的指示，略過這些資料夾或者網頁，而檢索其他網頁。

以Yahoo來說，Yahoo!的crawler名稱叫做Slurp，因此如果不想讓Yahoo檢索你的網頁，在robots.txt裡面就應該這麼寫：

User-Agent:Slurp
Disallow:/test/

然後儲存成為robots.txt就可以了。User-Agent是用來告訴搜尋引擎crawler的名字，而Disallow則是告知搜尋引擎不可以做哪些事情。因此如果你不希望所有的搜尋引擎檢索test資料夾，可以使用萬用字元(*)代表所有的搜尋引擎。寫法就變成：
User-Agent:*
Disallow:/test/

可以加上更多的Disallow陳述，說明不要檢索哪些資料夾。

如果你只希望某個搜尋引擎檢索這個資料夾，但不許其他搜尋引擎檢索的話，那麼寫法就會變成：

User-Agent:* (所有的搜尋引擎)
Disallow:/test/
User-Agent:Slurp (Yahoo搜尋引擎)
Allow:/test/

如果只是想設定某張網頁不要被檢索，那麼就更簡單了。只要在網頁的meta裡面加上以下這一段程式碼即可：
＜meta name="robots" content="noindex,nofollow"＞

一個網站只需要有一個robots.txt檔案，放置在網站根目錄底下即可實行

文章整理：	網繹數位科技 Denise
關鍵字：	搜尋引擎,seo,網頁設計,網站設計

網繹數位科技網頁設計公司　地址：台北市復興南路一段321號3樓　Tel： (02)2704-1758(代表號) 　Fax： (02)2704-0372　Email：e-service@eki.com.tw

(a) 跨國企業為Sony 新力、Du Pont 台灣杜邦、Syngenta 台灣先正達、Xerox 全錄、TUV 德國萊因、Imation 美商怡敏信、DHL 洋基通運、日商丸紅等跨國企業、國際大型公司網站設計、程式設計、網頁設計、資料庫規劃及系統整合之設計廠商。 (b) 知名企業為流行風尚精品之公司網站設計、程式設計、網頁設計、諸如居禮名店、長榮桂冠酒店、三井日本料理、天仁集團、菲夢絲、歌林公司、八王子集團、牡丹園餐廳、華固建設、等製作高質感之精緻網站。 (c) 金融機構為金融單位或公司網站設計、程式設計、網頁設計、如兆豐金控、新光產物保險、中央再保、第一期貨、慶豐銀行、KGI中信期貨、台灣銀行等諸銀行，南山人壽、金融聯合徵信中心等金融公司及單位之網站建置及資料庫設計協力廠商。 (d) 政府機關及民間機構為政府機構及民間團體網站設計、程式設計、網頁設計、如台北世界貿易中心、台北國際會議中心、中研院、十三行博物館、黃金博物園區、鶯歌陶瓷博物館、臺北縣政府文化局、石門水庫、北區水資源局等政府機關以及法鼓山、中華電信工會、國科會、靈鷲山佛教基金會、財團法人保險事業發展中心等民間團體建置氣勢磅礡、兼具人文、藝術、歷史的網站或電子報。