用xpdf和pdfbox来处理中文PDF文档及其比较

用xpdf和pdfbox来处理中文PDF文档及其比较我在以前的项目中使用的是pdfbox，在读取中文文档时可以读出大部分的文字，但是在数字、分页等地方还是不可避免的出现乱码。于是我在网上搜索，看有没有什么解决方法，看到有说法：“PDFBox看起来非常的方便，它的API功能强大。甚至能和Lucene进行无缝的结合。但是它有一个致命的弱点，就是它不支持中文。要提取中文的文本，可以采用另一个非常出色的工具xpdf。”于是我决定自己比较一下这两种方法处理中文pdf文档时在时间性能、读取效果等各个方面的效果。一、关于XPDF和PDFBOX1.xpdfxpdf只是一个软件，通过java采用命令行调用，并获取输出结果，如此来说使用简单，但是相当受限，如：无法跨平台，无法处理特定格式（格等），无法处理图片和其他附件。这种调用必定限制了它的灵活性。2.pdfboxpdfbox（一个BSD许可下的源码开放项目）是一个为开发人员读取和创建PDF文档而准备的纯Java类库。二、XPDF的配置1.工具包下载点这里下载我下载的是：xpdf-3.02pl4-win32.zip另外还需要一个语言包：xpdf-chinese-simplified.tar.gz2.工作路径设置参考资料点这里在本文中以c:\xpdftest\xpdf作为xpdf的工作路径。将xpdf-3.02p14-win32.zip解压到c:\xpdftest\xpdf下。将xpdf-chinese-simplified.tar.gz解压到c:\xpdftest\xpdf\xpdf-chinese-simplified下。解压后的结构如图1所示：3.修改配置文件为了启用中文简体语言包，必须将xpdf-chinese-simplified目录下的sample-xpdfrc文件进行如下配置，并将其另存为xpdfrc文件。注意：此文件为配置文件，而且名称必须是xpdfrc。如果是别的名字，即使调用pdftotext.exe时，传入”-cfgxpdfrc2”来告诉xpdf配置文件的名字，好像pdftotext.exe也并没有使用这个配置文件。所以为了减少误解，请您将配置文件直接命名为xpdfrc。修改sample-xpdfrc文件之一在文件后面加上一段话：Txt代码#-----beginChineseSimplifiedsupportpackage(2004-jul-27)cidToUnicodeAdobe-GB1C:/xpdftest/xpdf/xpdf-chinese-simplified/Adobe-GB1.cidToUnicodeunicodeMapISO-2022-CNC:/xpdftest/xpdf/xpdf-chinese-simplified/ISO-2022-CN.unicodeMapunicodeMapEUC-CNC:/xpdftest/xpdf/xpdf-chinese-simplified/EUC-CN.unicodeMapunicodeMapGBKC:/xpdftest/xpdf/xpdf-chinese-simplified/GBK.unicodeMapcMapDirAdobe-GB1C:/xpdftest/xpdf/xpdf-chinese-simplified/CMaptoUnicodeDirC:/xpdf/chinese-simplified/CMap#displayCIDFontTTAdobe-GB1/usr/..../gkai00mp.ttf#-----endChineseSimplifiedsupportpackage注意：路径要跟自己配置的一样。修改sample-xpdfrc文件之二另外，配置文件中原先没有加上一个“textPageBreaks”控制。为了避免这个分页符号，我们需要在sample-xpdfrc文件“textoutputcontrol”下面加上一段话：Txt代码#Ifsetto"yes",textextractionwillinsertpage#breaks(formfeedcharacters)betweenpages.This#defaultsto"yes".textPageBreaksno设置textPageBreaks为no的意思是：在PDF文档的两页之间不加入分页符号。之所以这样，是因为这个符号有时候会引起SAX解析XML上的困难。修改sample-xpdfrc文件之三配置文件中原先把textEncoding注释了。这样默认的字符集是Latin1。我们必须打开它，并且就是指定textEncoding为UTF-8，而不是GB2312。即修改这句话：Txt代码textEncodingUTF-8三、PDFBOX的配置请点这里查看PDFBOX的配置。四、调用示范在自己的常用工作环境下新建一个工程PdfTest，并在此工程下新建一个包pdfToText。此包包括三个类：TestPdfToText.java包括Main函数，调用并测试xpdf和pdfbox对PDF文档的处理效果。PdfboxToText.java用pdfbox来处理PDF文档。XpdfToText.java用xpdf来处理PDF文档。目录结构如图2所示：在C盘根目录下有061231.pdf，在工程中相应设置路径进行测试，以下是源代码：TestPdfToText.javaJava代码packagepdfToText;/***功能描述：测试用XPDF和PDFBOX来读取中文PDF文件生成TXT文件的效果*@authorEmily*@Create2010-03-07*/publicclassTestPdfToText{/***@paramargs*/publicstaticvoidmain(String[]args){StringrootPath="c:\\061231";//pdf文件路径Stringpdffile=rootPath+".pdf";//用xpdf生成的txt文件路径StringxpdfToTxtfile=rootPath+"_xpdf.txt";//用pdfbox生成的txt文件路径StringpdfboxToTxtfile=rootPath+"_pdfbox.txt";//XPDFtry{longbegin=System.currentTimeMillis();XpdfToTextxpToTxt=newXpdfToText(pdffile);xpToTxt.toTextFile(xpdfToTxtfile);longend=System.currentTimeMillis();System.out.println("xpdf\tcost:\t"+(end-begin)+"ms");}catch(Exceptione){e.printStackTrace();}//PDFBOXtry{longbegin=System.currentTimeMillis();PdfboxToTextpbToTxt=newPdfboxToText(pdffile);pbToTxt.toTextFile(pdfboxToTxtfile);longend=System.currentTimeMillis();System.out.println("pdfbox\tcost:\t"+(end-begin)+"ms");}catch(Exceptione){e.printStackTrace();}}}PdfboxToText.javaJava代码packagepdfToText;importjava.io.BufferedWriter;importjava.io.File;importjava.io.FileInputStream;importjava.io.FileNotFoundException;importjava.io.FileWriter;importjava.io.IOException;importorg.pdfbox.pdfparser.PDFParser;importorg.pdfbox.pdmodel.PDDocument;importorg.pdfbox.util.PDFTextStripper;publicclassPdfboxToText{privateStringfilePath;publicPdfboxToText(StringfilePath){this.filePath=filePath;}publicStringgetTextFromPdf(){Stringresult=null;FileInputStreamis=null;PDDocumentdocument=null;try{is=newFileInputStream(filePath);PDFParserparser=newPDFParser(is);parser.parse();document=parser.getPDDocument();PDFTextStripperstripper=newPDFTextStripper();result=stripper.getText(document);}catch(FileNotFoundExceptione){e.printStackTrace();}catch(IOExceptione){e.printStackTrace();}finally{if(is!=null){try{is.close();}catch(IOExceptione){e.printStackTrace();}}if(document!=null){try{document.close();}catch(IOExceptione){e.printStackTrace();}}}returnresult;}publicvoidtoTextFile(StringfilePath){StringpdfContent=getTextFromPdf();try{Filef=newFile(filePath);if(!f.exists()){System.out.println("notexist");f.createNewFile();}BufferedWriteroutput=newBufferedWriter(newFileWriter(f));output.write(pdfContent);output.close();}catch(Exceptione){e.printStackTrace();}}}XpdfToText.javaJava代码packagepdfToText;importjava.io.File;importjava.io.IOException;publicclassXpdfToText{//PDF文件名privateFilepdffile;//转换器的存放位置，默认在c:\xpdftest\xpdf下面privateStringCONVERTOR_STORED_PATH="c:\\xpdftest\\xpdf\\";//转换器的名称，默认为pdftotextprivateStringCONVERTOR_NAME="pdftotext";//构造函数，参数为pdf文件的路径publicXpdfToText(Stringpdffile)throwsIOException{this.pdffile=newFile(pdffile);}//将pdf转为文本文档，参数为目标文件的路径publicvoidtoTextFile(Stringtargetfile)throwsIOException{toTextFile(targetfile,true);}//将pdf转为文本文档，参数1为目标文件的路径，//参数2为true则表示使用PDF文件中的布局publicvoidtoTextFile(Stringtargetfile,booleanisLayout)throwsIOException{String[]cmd=getCmd(newFile(targetfile),isLayout);Runtime.getRuntime().exec(cmd);}//获取PDF转换器的路径publicStringgetCONVERTOR_STORED_PATH(){returnCONVERTOR_STORED_PATH;}//设置PDF转换器的路径publicvoidsetCONVERTOR_STORED_PATH(Stringpath){if(!path.trim().endsWith("\\"))path=path.trim()+"\\";this.CONVERTOR_STORED_PATH=path;}//解析命令行参数privateString[]getCmd(Filetargetfile,booleanisLayout){//命令字符Stringcommand=CONVERTOR_STORED_PATH+CONVERTOR_NAME;//PDF文件的绝对路径Stringsource_absolutePath=pdffile.getAbsolutePath();//输出文本文件的绝对路径Stringtarget_absolutePath=targetfile.getAbsolutePath();//保持原来的layoutStringlayout="-layout";//设置编码方式Stringencoding="-enc";Stringcharacter="GBK";//设置不打印任何消息和错误Stringmistake="-q";//页面之间不加入分页Stringnopagebrk="-nopgbrk";//如果isLayout为false，则设置不保持原来的layoutif(!isLayout)layout="";returnnewString[]{command,layout,encoding,character,mistake,nopagebrk,source_absolutePath,target_absolutePath};}}五、测试结果和1.txt文件大小一个大小为74KB的PDF文档经处理为txt文档后，大小明显减小。经xpdf处理后生成了10KB的txt文件。经pdfbox处理后生成了12KB的txt文件。2.时间性能从运行结果来看，xpdf处理的速度明显大大快于pdfbox的处理速度，几乎是1/10。如图3所示。3.读取效果在设置了保持原PDF文档的布局的情况下，xpdf读取的效果如图4所示若不保持原PDF文的的布局，xpdf读取的效果如图5所示经pdfbox读取的效果如图6和图7所示。4.分析总结从以上调用结果可以发现，在时间性能和空间性能上，xpdf都明显优于pdfbox。在最关键的读取效果上，pdfbox会自动在某些读取文字中加入一些格式，比如回车、空格等，造成了更不好的效果。至于在某些PDF文档的格式会读出乱码的情况上，两种方法读出的乱码都是比较一致的，这应该是由于这两个方法的缺陷造成的。综上所示，如果不要求很高的移植性的话，采用xpdf应该是比较好的方法。（完）create@2010-03-08