게시판 본문 ASP, ASP.NET, IIS & Script - Read Only

re: 정상적인 URL 체크
작성자: 송원석
작성일시: 2009-08-04 09:28,  조회수: 3,489
안녕하세요? 송원석입니다. ^_^

공교롭게도 올려주신 소스에는 p_name 변수에 값을 할당하는 코드가 없네요. 아무튼 위의 코드만으로는 모든 사례를 포괄하실 수 없을 것 같습니다. 일반적인, 즉 정상적인 웹 프라우저 말고도 로봇이나 크라울러들이 무수하게 많아서 몇 가지 패턴 만으로 정리가 불가능한 것으로 알고 있습니다. 위의 코드는 Agent 값이 대략 다음과 같은 형태일 것을 전제로 동작하지만,

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; InfoPath.2)

실제로는...

Baiduspider+(+http://www.baidu.com/search/spider.htm)
EMPAS.ROBOT (compatible; MSIE 5.01; Windows NT 5.0)
li_viewer larbin2.6.3@unspecified.mail
Mediapartners-Google
Mozilla/4.0
msnbot/1.1 (+http://search.msn.com/msnbot.htm)

등과 같은 수많은 보편적이지 않은 Agent 문자열들이 존재합니다. 익숙한 이름들이 보이실 텐데, 이 밖에도 네이버나 다음 등의 로봇도 아직 많습니다. 거기다가 개인이 만든 로봇 등을 포함하고 외국의 것들도 포함하면 그 수가 장난이 아니죠.

따라서, 범위를 미리 확정하시고, 정규표현식으로 특정 패턴을 벗어나는 Agent 들은 로봇이나 크라울러로 간주하여 기타 범주로 관리하시는 것이 좋을 것 같습니다.

감사합니다.

IP 주소: 220.230.6.42
전체 2,095 건의 게시물, 84 페이지로 구성된 ASP, ASP.NET, IIS & Script 게시판의 9 페이지입니다.
게시물
1,997

re: IIS7 문의

송원석

2009-10-08 7,482
1,995

sqlclient 에서 아웃풋 받는 방법 문의합니다. ^^ [2]

장윤태

2009-09-16 3,860
1,994

IIS7 에서 웹사이트별로 기본문서를 지정하는 방법 [1]

문성원

2009-09-10 3,703
1,993

확장형 한글에 대해

김종식

2009-08-12 565
1,992

re: 확장형 한글에 대해

송원석

2009-08-12 4,201
1,991

세션 무효화에 대해서요.. [1]

김종식

2009-08-04 642
1,990

re: 세션 무효화에 대해서요..

김종식

2009-08-04 656
1,989

re: 세션 무효화에 대해서요..

송원석

2009-08-04 3,612
1,988

정상적인 URL 체크

김종식

2009-08-03 615

re: 정상적인 URL 체크

송원석

2009-08-04 3,489
1,986

특수문자에요..

김종식

2009-07-31 554
1,985

re: 특수문자에요..

송원석

2009-08-02 3,888
1,984

asp.net 에서 바이너리데이터를 유니코드로 변환할려면요 어떻게 하죠?

광폭타이어드

2009-07-26 3,689
1,983

re: asp.net 에서 바이너리데이터를 유니코드로 변환할려면요 어떻게 하죠?

송원석

2009-07-26 3,370
1,982

.net 2.0에서 마스터 페이지로 구성

장윤태

2009-07-23 3,468
1,981

re: .net 2.0에서 마스터 페이지로 구성 [4]

송원석

2009-07-24 3,780
1,980

IIS 7.0 관련 문의

김진환

2009-07-16 3,412
1,979

re: IIS 7.0 관련 문의

송원석

2009-07-16 3,305
1,978

감사합니다. ^^

지나가는이

2009-07-06 3,359
1,977

re: 감사합니다. ^^

송원석

2009-07-08 3,282
1,976

안녕하세요 첫방문에 첫 질문을 드립니다..

개발자

2009-07-02 760
1,975

re: 안녕하세요 첫방문에 첫 질문을 드립니다..

송원석

2009-07-02 3,370
1,974

asp 질문 있습니다.

후니

2009-06-22 745
1,973

re: asp 질문 있습니다. [1]

송원석

2009-06-23 3,422
1,972

파일큐브 최상위폴더 설정

TAZ2315

2009-06-17 3,778