자바 웹 크롤러 예제

자바를 활용한 웹 크롤러 예제 입니다.

 

준비물 : commons-logging

httpclient

httpcore

jsoup

.jar파일들이 필요합니다~~

 

1)위에 준비물들은 apache에서 다운받습니다.

 

2)이클립스에서 본인이 작성할 프로젝트 위에서 Build Path -> Add External JARs -> 다운 받은 파일 선택 후 -> Apply

 

3) 후에 다음과 같은 소스를 작성해 넣습니다.

 

클래스파일 , 이름 = CrawlerExample

 

 

import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.nio.charset.Charset; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.client.ClientProtocolException; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpPost; import org.apache.http.entity.ContentType; import org.apache.http.impl.client.HttpClientBuilder; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; public class CrawlerExample { public static void main(String[] args) throws ClientProtocolException, IOException { HttpPost http = new HttpPost("http://www.bible.ac.kr/university/software.aspx"); HttpClient httpClient = HttpClientBuilder.create().build(); HttpResponse response = httpClient.execute(http); HttpEntity entity = response.getEntity(); ContentType contentType = ContentType.getOrDefault(entity); Charset charset = contentType.getCharset(); BufferedReader br = new BufferedReader(new InputStreamReader(entity.getContent(), charset)); StringBuffer sb = new StringBuffer(); String line = ""; while ((line = br.readLine()) != null) { sb.append(line + "\n"); } System.out.println(sb.toString()); Document doc = Jsoup.parse(sb.toString()); Document doc2 = Jsoup.connect("http://www.bible.ac.kr/university/software.aspx").get(); } }

 

실행결과 확인해보세요!!