Bytespider 봇에 대해서

bytespider봇은 중국 기업인 바이트댄스의(틱톡이 대표적인 서비스로 알려짐) 크롤링 봇으로 여러 알려진 사이트들을 방문하면서 사용자들에게 필요한 정보 제공 및 AI 관련 목적으로 데이터를 수집합니다. 

 

대부분의 봇들은 robots.txt로 자신의 사이트에 방문을 하지 말아줄 것을 요청할 수 있지만, 바이트댄스의 bytespider는 이러한 요구를 아예 무시하며 대규모로 크롤링을 하면서 데이터를 수집합니다. 일반적인 봇들은 서버에 과도한 부하를 주지 않도록 속도를 조절하면서 데이터를 수집하지만, 이 봇은 짧은 시간에 많은 트래픽을 일으켜 다른 봇에 비해 많은 부하를 주게 됩니다.

 

이 봇은 주로 싱가포르에 있는 서버에서 크롤링을 시도하고 있는 것으로 보여집니다.

47.128.x.x 대역에서 주로 접속해왔으나 최근에는 저희 미러 서버 방화벽에서 110.249.202.139으로 접근을 시도한 것을 확인하였습니다. 아마도 이번에 새롭게 생긴 게 아닐까 추측합니다. 다행히도 저희 미러 서버는 사전에 해당 UA(유저에이전트)에 대해서 차단을 해놓은 상태라 접근은 하지 못했습니다만 이 아이피에 대해서 다뤄지고 있는 글들은 아직 없는 것 같습니다.

 

https://ipinfo.io/110.249.202.139

110.249.202.139 IP Address Details - IPinfo.io

만약 자신의 서버에 중국쪽에서 갑작스럽게 트래픽이 증가하였는데, 유저에이전트가 bytespider라면

110.240.0.0/12 대역을 통째로 방화벽에 추가하여 차단하시면 될 것 같습니다 (국가 차단이나 ASN 차단이 가능한 경우 통째로 차단해버리는 것도 방법이 될 수 있습니다)

 

bytespider 봇은 사실상 악성 봇이나 다름 없기 때문에 가급적이면 차단해놓는 것을 추천드립니다.