butterfly

IBM的两个开源工具包：UIMA和IODT

butterfly — Mon, 05 Feb 2007 16:37:00 +0800

作者: butterfly 链接：http://butterfly.javaeye.com/blog/52316 发表时间: 2007年02月05日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

今天看了IBM公司开发的两个开源工具包，名称分别是UIMA和IODT。

        UIMA是Unstructured Information Management Architecture，我译作“非结构化信息的管理架构”。可以在这里找到它的相关介绍和下载：http: //www.alphaworks.ibm.com/tech/uima。从它的名字上我们可以对它的功能猜出个一二来了，即通过对文本、视频、音频、图片等非结构化的信息内容进行分析，从而发现、组织和传送有用的知识给客户。在分析非结构化的信息的过程中，应用的算法有统计的方法、基于规则的自然语言处理（NLP）、信息修复（IR）、机器学习（Machine Learning）和本体论（Ontologies）等。IBM的UIMA 就是一种Framework，该Frmaework便于开发者实现、描述、组合、布署UIMA的组件和应用。

         IODT是Integrated Ontology Development Tookit，我译作“本体驱动集成开发工具包”。在这里可以找到它的相关介绍和下载：http: //www.alphaworks.ibm.com/tech/semanticstk。IBM给的功能定义是：An ontology toolkit for storage, manipulation, query, and inference of ontologies and corresponding instances。很明显这是本体驱动的开发方式，呵呵，我觉得这是一个很新鲜的角度，可能是我第一次听闻可以基于本体来开发的吧。何谓本体呢？关于本体的一些介绍可以在下面这个网站上得到：http://wiki.w3china.org/wiki/index.php/%E6%9C%AC%E4% BD%93%E7%9A%84%E6%8F%8F%E8%BF%B0%E5%92%8C%E5%BA%94%E7%94%A8。IBM的IODT包括以下的组件：
         1）EODM。它是一个运行库，允许应用程序读取和序列化一个以RDF/XML格式存储的RDFS/OWL本体，通过Java的对象机制来操作本体，调用一个推理引擎和获取推理结果，提供在本体与其他模型之间的转换。
         2）EODM workbench。它是一个基于Eclipse，集成的工作环境。该环境提供本体的建造、管理、可视化等服务。
         3）OWL Ontology Repository，也叫Minerva。它是一个用于存储OWL本体，并提供本体查询、推理的高效系统，该系统是基于关系数据库的。它支持描述性逻辑程序（DLP）。
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

第一阶段的工作总结

butterfly — Mon, 29 Jan 2007 13:22:00 +0800

作者: butterfly 链接：http://butterfly.javaeye.com/blog/50986 发表时间: 2007年01月29日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

昨天终于把抽取网页信息的和与数据库连接的两部分代码写完并测试了，基本上还是可以运行滴，只是还是有些小bug，这都是源于编程时想的不够仔细。在这过程中碰到了几个困难：

1。网页的源代码采用的字符编码问题。因为网页的源代码里是夹杂着中文字符的，所以我先以字节流的形式将整个源代码文件的内容读入一个字节数组里(byte[])，然后通过String类的构造函数String(byte[], String charset)构造一个新的字符串，其中charset是网页的源代码所选定的字符编码方式，这样得到的新的字符串就是用java里默认的Unicode编码表示的了。其实String(byte[], String charset)就是将用charset编码的字符串转换成用Unicode编码表示的字符串。因为我一开始没有注意到这个编码问题，所以弄了很久，呵呵。

2。对于一些防止别人采集信息的网站，如何去取得该网站的网页源代码文件。譬如我们要取得的信息就来源于一个采取了防止别人采集信息的网站。我们试过用HttpClient等工具，但结果还是不理想，这部分工作仍需努力。

3。测试。我们现在测试只是沿用刚开始学编程时候的方法，就是一步一步的debug，现在开始要学习如何进行单元测试了。学JUnit吧。

本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

关于如何获取网页代码的问题

butterfly — Sun, 21 Jan 2007 17:35:50 +0800

作者: butterfly 链接：http://butterfly.javaeye.com/blog/48918 发表时间: 2007年01月21日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

我正在做一个数据挖掘的项目，第一步要把某个网站上的网页的代码下载下来，下面是我写的获取网页代码的程序的源代码：
/**
* Download the file specified by an URL.
*/
package fetchInformation;

import java.io.*;
import java.net.*;

/**
* @author caojinghua
*
*/
public class DownloadFiles {

public static void LoadFiles(String spec, File save)
{
try{
URL url=new URL(spec);
BufferedReader in=new BufferedReader(new InputStreamReader(url.openStream()));
//output to a file
BufferedWriter out=new BufferedWriter(new FileWriter(save));
String line=null;
while((line=in.readLine())!=null)
{
out.write(line);
}
if(in!=null)
in.close();
if(out!=null)
out.close();
}catch(MalformedURLException e)
{
System.out.println(e);
}catch(IOException ioe)
{
System.out.println(ioe);
}
}
/**
* @param args
*/
public static void main(String[] args) {
String savepath="a.txt";
String url="http://www.dianping.com/";
try{
File savefile=new File(savepath);
LoadFiles(url, savefile);
}catch(NullPointerException e){
System.out.println(e);
}
}
}

奇怪的是，存储获取到的代码的文件a.txt的内容只有一行：http://www.dianping.com。而若改成获取其他的网站，譬如：url="http://www.google.cn"，获取到的内容跟用浏览器查看网页源文件里的内容是一样的，我试过很多网站都没问题，但上面这个网站就不行，不知道是不是该网站要登陆的原因，但用浏览器浏览该网站时是不用登陆的。
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

Things to do before the journey to hometown

butterfly — Sat, 20 Jan 2007 10:44:14 +0800

作者: butterfly 链接：http://butterfly.javaeye.com/blog/48727 发表时间: 2007年01月20日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

    Time flies.
    In my plan, the date of my journey to hometown is 2007.2.10, so I still have about 20 days to finish the work I am doing. Oh, God, I prey I can do it.
    Things include:
    1.Data mining. I have to write a program to fetch the information on the website: http://www.dianping.com/, such information like customers' review to a restaurant, points given by customers of a restaurant.(this work must be finished)
    2.Homework. A computer network game named Titanick which is writen in Java.(this work is also must be finished)

    Ah ha, it seems not quite hard to do, right?
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐