基于Python的Wiki百科网页分析

【摘要】维基百科作为世界的百科全书，在信息的传递与获取方面提供了良好的基础平台，世界各地所有的人都可以在上面交流思想。Wiki百科还包含大量的数学公式，这些公式基本上使用latex的语法。要解析数学公式，就要解析latex语法。而本文用python的解析工具pyparsing对Wiki百科网页进行解析。主要任务是设计网页上的数学公式的上下文无关文法，利用pyparsing建立针对这个文法的解析器。我们设计的解析程序可从网页中提取出数学公式及其结构。

【关键词】上下文无关文法，pyparsing语法，Wiki百科网页分析，latex语法

Python-based web analytics Wiki Encyclopedia

【Abstract】Wikipedia as the encyclopedia of the world, provides a good fundamental platform for transmission and accession of information, where all the people around the world can exchange their ideas. Wiki encyclopedia also contains a large number of mathematical formulas that are basically written in latex syntax. To parse mathematical formula, it is necessary to parse latex syntax. In this paper, pyparsing the parsing tool of python is used to parse the wiki webpage. The main task is to design the context-free grammar of mathematical expression in wiki, then build the parser against the grammar with pyparsing. The parsing program designed by the author can extract the mathematical formulas and the structure from wiki.

【Key Words】context-free grammar，pyparsing syntax，Wiki web parsing，latex syntax