java - 伪编程语言的正则表达式

Question

我的任务是创建一个词法分析器，将语言翻译成一系列标记。我正在使用 java.util.regex 通过一个字符串来查找不同的标记，并将它们放入一个数组中，我将通过该数组并使用它为它们分配各自的标记。这是我的程序的一部分:

public static void main(String args[]) throws FileNotFoundException, IOException{

        String[] symbols = {"+","-","*","/","<","<=",">",">=","==","!=","=",";",",",".","(",")","[","]","{","}","/*","*/","//"};
        String[] input;
        FileInputStream fstream = new FileInputStream("src\\testCode.txt");
        BufferedReader br = new BufferedReader(new InputStreamReader(fstream));
        StringBuilder sb = new StringBuilder();
        String s;
        String ret = "";
        while((s = br.readLine()) != null){
            sb.append(s);
        }

        ret = sb.toString();

        input = regexChecker("regex goes here",ret);

        for (int i = 0; i < input.length; i++) {
            System.out.println(input[i]);

        }
        System.out.println(input.length);
        in.close();       
    }  

public static String[] regexChecker(String theRegex, String str2Check){
         List<String> allMatches = new ArrayList<String>();
        Pattern checkRegex = Pattern.compile(theRegex);
        Matcher regexMatcher = checkRegex.matcher(str2Check);

        while(regexMatcher.find()){
            //regexInput = new String[regexMatcher.group().length()];
            allMatches.add(regexMatcher.group());
        }
        String[] regexInput = allMatches.toArray(new String[allMatches.size()]);

        return regexInput;
    }

我的问题是:是否有一个正则表达式可以分隔这种语言？或者我是否因为只尝试使用一个正则表达式而把我的作业弄错了？一些词汇约定是:标识符以大写或小写字母或下划线开头，后跟任何单词字符。允许使用注释行和 block 。 numbers 是无符号整数或十进制实数。还有int、double、if等关键字和*、/、+等特殊符号。

我可以为每个单独的约定制作正则表达式，但我不确定如何按照我的程序要求将它们组合成 1。

我还使用 (?://.*)|(/\\*(?:.|[\\n\\r])*?\\*/) 作为我的评论正则表达式，但它似乎不适用于评论行，仅适用于评论 block 。将文件读入一行字符串的方式可能是造成这种情况的原因吗？

Answer 1

我推荐下载TinyPG .它是一个 Tiny Parser Generator，支持类似于 EBNF(扩展巴科斯范式)的语言语法。它适用于 C#/VB，但基本的语法定义应该教会你很多关于解析器的知识。如果您了解 C# 或 VB，则可以检查生成的解析器以获得创建您自己的解析器的一些想法。