Kong돌이의 코딩이야기

크롤링을 진행하다가 계속해서 비정상적인 접근 시 접속이 차단되는 경우가 있다. 필자는 아직 이러한 경험이 없지만 미리 대응을 해놨는데 나중에 확인해봐야겠다.. // 1. 수집 대상 URL String url = "크롤링할 페이지URL"; // 2. Connection 생성 및 userAgent 추가 Connection conn = Jsoup.connect(url) .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"); // HTML 파싱 html = conn.get(); // conn.post(); fileblocks = html.ge..