it-swarm-eu.dev

Kde najdu seznam uživatelských agentů prolézacích modulů vyhledávacích strojů a jejich doménových jmen?

Snažím se dodržovat přístup stackoverflow pomocí bílý seznam pro soubor Sitemap . Snažil jsem se najít rozsáhlý seznam prohledávačů vyhledávacích strojů (a dalších prohledávačů), které bych použil v mém bílém seznamu, ale to, co jsem doposud našel, jsou zastaralé informace (nebyly roky aktualizovány). Existuje nějaké místo na internetu, kde mohu najít pravidelně aktualizovaný seznam, který obsahuje uživatelský agent každého prolézacího modulu vyhledávače spolu s názvem domény (pro reverzní DNS)?

Dík

3
Dev
1
John Conde

Otázka, na kterou jste odkazovali, naznačuje, že záznamník whitelistuje samotné uživatelské agenty, nikoli domény nebo IP adresy spojené s konkrétními pavouky.

Zdá se, že ser-agents.org obsahuje vyčerpávající seznam, pokud plánujete práci s řetězcem user-agent.

1
danlefree

Možná lepším přístupem než pokusem o udělení seznamu povolených pro všechny vyhledávače je jít za velkými třemi (Google, Yahoo, Bing) a případně Ask (které také podporují soubory Sitemap).

Whitelisting všechny z nich se zdá být dlouhý, těžký a nakonec marný úkol. Stále můžete protokolovat, kdo bouchá na dveře, a na základě toho můžete svůj seznam rozšířit.

0
jmb