봇은 내 블로그를 어떻게 읽을까?

이 블로그를 옮기기 전, 예전 서버의 한 달 치 접속 로그를 뒤졌다. 방문자 대부분은 사람이 아니었다. 검색 크롤러, 피드 리더, AI 스크레이퍼, 그리고 정체를 알 수 없는 몇몇. 각자 무엇을 요청하고 무엇을 무시했는지, 그리고 페이지가 발견되는 방식에 대해 배운 것.