웹데이터 수집

데이터 수집시 유의사항

수집해도 되는 페이지

로봇 배제 표준 robots.txt 저작권 무리한 네트워크 요청

크롤링 분쟁

국내

영업침해 행위, 저작권 위반이 될 수도 있음

너무 무리하게 크롤링할 경우도 영업침해 행위임

웹 스크래핑하기 전에 꼭 알아둘 것

• 서버에 부담이 생길 수 있다
• 데이터 베이스권에 대한 침해행위

저작권 확인하기

저작권

네이버에 올라온 게시물과 내용은 네이버에 저작권이 있는 것이 아님

컨텐츠 제공업체가 따로 더 있음

Open API를 사용해서 데이터를 수집할 수 있게 할까?

1. 허락된 사람에게만 정보를 제공하고 누가 수집해갔는지 알기 위해
2. 유료로 데이터를 판매하고 있는 사이트는 데이터 용량 등에 따라 과금하기도 한다