�ٶ�֩��Baiduspider����

�� �ٶ�վ������ ����ʱ�䣺2013-10-24 | ���壺�� �� С��

[����]1. ʲô��BaiduspiderBaiduspider�ǰٶ�����������һ���Զ����������������Ƿ��ʻ������ϵ���ҳ�������������ݿ⣬ʹ�û����ڰٶ���������������������վ�ϵ���ҳ��2. Baiduspider��user-agent��ʲô���ٶȸ�����Ʒʹ...

1. ʲô��Baiduspider

Baiduspider�ǰٶ�����������һ���Զ����������������Ƿ��ʻ������ϵ���ҳ�������������ݿ⣬ʹ�û����ڰٶ���������������������վ�ϵ���ҳ��

2. Baiduspider��user-agent��ʲô��

�ٶȸ�����Ʒʹ�ò�ͬ��user-agent��

3. Baiduspider��һ����վ���������ɵķ���ѹ�����Σ�

Ϊ�˴ﵽ��Ŀ����Դ�Ϻõļ���Ч����Baiduspider��Ҫ��������վ����һ������ץȡ�����Ǿ���������վ�����������ĸ������������ݷ������� ����������վ��������վ���µ��ۺ����������е���������������baiduspider�ķ�����Ϊ���κβ������������������Է���������������

4. ΪʲôBaiduspider��ͣ��ץȡ�ҵ���վ��

��������վ���²����Ļ��߳������µ�ҳ�棬Baiduspider������ץȡ�����⣬��Ҳ���Լ�����վ������־��Baiduspider�ķ����Ƿ��������Է�ֹ���˶���ð��Baiduspider��Ƶ��ץȡ������վ�� ����������Baiduspider������ץȡ������վ����ͨ�������������������ǣ����뾡������Baiduspider�Թ�վ�ķ�����־���Ա������Ǹ��ٴ�����

5. �����ж��Ƿ�ð��Baiduspider��ץȡ��

������ʹ��DNS���鷽ʽ��ȷ��ץȡ��Դ��ip�Ƿ����ڰٶȣ�����ƽ̨��ͬ��֤������ͬ����linux/windows/os����ƽ̨�µ���֤�����ֱ����£�

5.1 ��linuxƽ̨�£�������ʹ��host ip�����ip���ж��Ƿ�����Baiduspider��ץȡ��Baiduspider��hostname�� *.baidu.com �� *.baidu.jp �ĸ�ʽ�������� *.baidu.com �� *.baidu.jp ��Ϊð�䡣
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.

5.2 ��windowsƽ̨����IBM OS/2ƽ̨�£�������ʹ��nslookup ip�����ip�� �ж��Ƿ�����Baiduspider��ץȡ������������� ����nslookup xxx.xxx.xxx.xxx��IP�� ַ�����ܽ���ip�� ���ж��Ƿ�����Baiduspider��ץȡ��Baiduspider��hostname�� *.baidu.com �� *.baidu.jp �ĸ�ʽ�������� *.baidu.com �� *.baidu.jp ��Ϊð�䡣

5.3 ��mac osƽ̨�£�������ʹ��dig �����ip�� �ж��Ƿ�����Baiduspider��ץȡ������������� ����dig xxx.xxx.xxx.xxx��IP�� ַ�����ܽ���ip�����ж��Ƿ�����Baiduspider��ץȡ��Baiduspider��hostname�� *.baidu.com �� *.baidu.jp �ĸ�ʽ�������� *.baidu.com �� *.baidu.jp ��Ϊð�䡣

6. �Ҳ����ҵ���վ��Baiduspider���ʣ��Ҹ���ô����

Baiduspider���ػ�����robotsЭ�顣����������robots.txt�ļ���ȫ��ֹBaiduspider����������վ�����߽�ֹ Baiduspider��������վ�ϵIJ����ļ��� ע�⣺��ֹBaiduspider����������վ����ʹ������վ�ϵ���ҳ���ڰٶ����������Լ����аٶ��ṩ�������������������������޷��������������� robots.txt��д�����������ο����ǵĽ��ܣ�robots.txtд������

�����Ը��ݸ���Ʒ��ͬ��user-agent���ò�ͬ��ץȡ����������������ȫ��ֹ�ٶ����еIJ�Ʒ��¼������ֱ�Ӷ�Baiduspider���ý�ֹץȡ��

����robotsʵ�ֽ�ֹ�������԰ٶȵ�ץȡ��
User-agent: Baiduspider
Disallow: /


����robotsʵ�ֽ�ֹ�������԰ٶȵ�ץȡ������ͼƬ����ץȡ/image/Ŀ¼��
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-image
Allow: /image/

��ע�⣺Baiduspider-cproץȡ����ҳ�����Ὠ��������ֻ��ִ�����ͻ�Լ���IJ��������Բ�����robotsЭ�飬����Baiduspider-cpro�������������ţ�����ϵ[email protected]��

Baiduspider-adsץȡ����ҳ�����Ὠ��������ֻ��ִ�����ͻ�Լ���IJ��������Բ�����robotsЭ�飬����Baiduspider-ads�������������ţ�����ϵ���Ŀͻ�����רԱ��

7. Ϊʲô�ҵ���վ�Ѿ�����robots.txt�������ڰٶ�����������

��Ϊ���������������ݿ��ĸ�����Ҫʱ�䡣��ȻBaiduspider�Ѿ�ֹͣ��������վ�ϵ���ҳ�����ٶ������������ݿ����Ѿ���������ҳ������Ϣ��������Ҫ����ʱ���Ż�����������Ҳ����������robots�����Ƿ���ȷ��
�������ľܾ�����¼�����dz����ȣ�Ҳ����ͨ������������������������

8. ��ϣ���ҵ���վ���ݱ��ٶ������������������գ��Ҹ���ô����

Baiduspider���ػ�����meta robotsЭ�顣������������ҳmeta�����ã�ʹ�ٶ���ʾֻ�Ը���ҳ����������������������������ʾ����ҳ�Ŀ��ա�
��robots�ĸ���һ������Ϊ���������������ݿ��ĸ�����Ҫʱ�䣬������Ȼ���Ѿ�����ҳ��ͨ��meta��ֹ�˰ٶ���������������ʾ����ҳ�Ŀ��գ����ٶ������������ݿ��������Ѿ���������ҳ������Ϣ��������Ҫ�������ܲŻ���������Ч��

9. Baiduspiderץȡ���ɵĴ���������

Baiduspider������ץȡ��������������վ�Ĵ������������ɴ�������������������ð��Baiduspider����ץȡ����������������ΪBaiduspider��agentץȡ�������ɴ����������뾡����������ϵ�������Խ���Ϣ���������������������ܹ��ṩ����վ��ʱ�εķ�����־���������������ǵķ�����

ԭ�ģ�http://zhanzhang.baidu.com/wiki/161

• ת����ע����Դ��ITѧϰ�� ��ַ��http://www.t086.com/ �����������Ƽ�������
• �ر������� ��վ�������ر�������ֹת�ص�ר�������������¿�������ת�أ���������ע��������ԭʼ���ߡ����°�Ȩ������ԭʼ�������С����ڱ���վת�����µĸ��˺���վ�����DZ�ʾ������л�⡣������վת�ص������а�Ȩ��������ϵ���ǣ����ǻᾡ�����Ը�����

• ��һƪ����վ���ں�վ�㰲ȫ
• ��һƪ����������ץȡϵͳ����(һ)
• �鿴2013��10�µ����¹鵵