|
|
第一：创建HttpURLConnection
第二：打开URL，创建一个InputStream
第三：逐行（逐字节）读取，如果需要，转换编码，放入字符串。
好，一下就开始代码吧：
复制代码 代码如下:
public String getUrlContent(String path){
String rtn = "";
int c;
try{
Java.NET.URL l_url = new Java.NET.URL(path);
Java.NET.HttpURLConnection l_connection = (Java.NET.HttpURLConnection) l_url.openConnection();
l_connection.setRequestProperty("User-agent","Mozilla/4.0");
l_connection.connect();
InputStream l_urlStream = l_connection.getInputStream();
while (( ( c= l_urlStream.read() )!=-1)){
int all=l_urlStream.available();
byte[] b =new byte[all];
l_urlStream.read(b);
rtn+= new String(b, "UTF-8");
}
//Thread.sleep(2000);
l_urlStream.close();
}catch(Exception e){
e.printStackTrace();
}
return rtn;
}
其中
l_connection.setRequestProperty("User-agent","Mozilla/4.0");
这句是必须的，很多服务器对于没有User-agent头的请求直接403了就。
然后采用InputStream.available()来一次性读取，返回此输入流方法的下一个调用方可以不受阻塞地从此输入流读取（或跳过）的字节数，如果需要的话，可以在后面稍微Sleep一下线程：
Thread.sleep(2000);
其中的
复制代码 代码如下:
while (( ( c= l_urlStream.read() )!=-1)){
int all=l_urlStream.available();
byte[] b =new byte[all];
l_urlStream.read(b);
rtn+= new String(b, "UTF-8");
}
是个很重要的读取过程，c表示读取流的标注，当结束的时候是-1，然后all是本次循环可用的最大字节数目，然后读取全部可用字节到byte[] b中，然后转换成UTF-8类型的字符串，注意，这里可以自己写方式，如果读取GB2312，就要写GB2312，至于有没有万能的，可以获取Meta，匹配下。自己想办法吧。
jsp技术：Java 获取URL的内容，转载需保留来源！
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
