#PennToPCFG
从 Penn Treebank 风格的语料库（例如华尔街日报）中学习未词法化的 PCFG。
需要 NLTK2 来读取树库和处理树。
＃＃用法
usage: PennToPCFG.py [-h] [-p PENN] [-g GRAMMAR] [-pe PENNEVAL] [-s SENTENCES]
[-t TREES] [-l LENGTH] [-b DEBINARIZE DEBINARIZE]
Learns an unlexicalised PCFG from a Penn Treebank file
optional arguments:
-h, --help show this help message and exit
-p PENN, --penn PENN The Penn
2022-10-01 18:45:22
4KB
1
使用java编程实现简单的词法分析器，该词法分析器要求如下
（一）、该个词法分析器要求至少能够识别以下几类单词：
a． 关键字：else if int return void while共6个，所有的关键字都是保留字，并且必须是小写；
b． 标识符：识别与C语言词法规定相一致的标识符，通过下列正则表达式定义：ID = letter (letter | digit)*；
c． 常数：NUM = digit digit*(.digit digit* |ε)(e(+ | - |ε) digit digit* |ε)，letter = a|..|z|A|..|Z|，digit = 0|..|9，包括整数，如123等；小数，如123.45等；科学计数法表示的常数，如1.23e3，2.3e-9等；
d． 专用符号：+ - * / < <= > >= == != = ; , ( ) [ ] { } /* */；
（二）、分析器的输入为由上述几类单词构成的程序，输出为该段程序的机内表示形式，即关键字、运算符、界限符变为其对应的机内符，常数使用二进制形式，标识符使用相应的标识符表指针表示。
（三）、词法分析器应当能够指出源程序中的词法错误，如不可识别的符号、错误的词法等。
2022-09-26 22:35:24
9KB
1
一. 实验内容
功能：
1.C++源代码扫描程序识别C++记号。C++语言包含了几种类型的记号：标识符，关键字，数（包括整数、浮点数），字符串、注释、特殊符号（分界符）和运算符号等。
2.打开一个C++源文件，打印出所有以上的记号。
3.* 选作部分：为了提高C++源程序的可读性，C++程序在书写过程中加入了空行、空格、缩进、注释等。假设你想牺牲可读性，以节省磁盘空间，那么你可以存贮一个删除了所有不必要空格和注释的C++源程序的压缩文本。因此，程序中还应该有这样的压缩功能。
4.* 选作部分：进一步思考或实现——如何进一步实现减小源文件大小的压缩功能。
5.应该书写完善的软件文档。
2022-09-22 14:36:44
1017KB
1
词法分析器，用于输入表达式后输出单个独立的数据项-lexical analyzer for the importation of expression output of a single independent data item
2022-07-09 09:08:51
10KB
识别标识符的状态转换图：
0
1
字母
其他
字母或数字
start
识别“AB12”的过程：
0
1
A
其他
1
B
1
1
1
2
若从初态出发，逐步读入字符串中的字符能够到达终态，则称字符串是可识别的。
*
2
2
*
2
2
*
2022-06-30 15:51:23
12.99MB
1
udpipe-基于UDPipe的用于标记化，标记，合法化和依赖性解析的R包
该存储库包含的R包是绕UDPipe C ++库的RCPP包装物（ ， ）。
UDPipe提供了与语言无关的标记，标记，词条化以及原始文本的依赖项解析，这是自然语言处理中必不可少的部分。
所使用的技术在论文中进行了详细说明：“使用UDPipe进行令牌化，POS标记，解密和解析UD 2.0”，可从以下网址获得： //ufal.mff.cuni.cz/~straka/papers/2017-conll_udpipe.pdf 。 在该论文中，您还将发现不同语言和流程速度的精确度（以每秒字数为单位）。
一般
在围绕UD
2022-06-29 13:12:39
4.69MB
1