regex - gawk RS 仅在行首带有 ^

Question

假设我有多行记录，以 = 作为记录分隔符，但前提是 = 是行的开头:

$ cat file
record 1, field 1
record 1, field 2 with a = in it
record 1, field 3
= record 2, field 1
record 2, field 2 also with a = in it
record 2, field 3
= final record 3, field 1
record 3, field 2

我想将与此类似的文件分成由 ^=[\t] 分隔的记录和由 \n 分隔的字段。

我尝试过:

$ gawk -v RS="^=[ \t]" -v FS="\n" '{printf "%s\n--- NF=%s, NR=%s ---\n", $0, NF, FNR}' file

但这会导致:

record 1, field 1
record 1, field 2 with a = in it
record 1, field 3
= record 2, field 1
record 2, field 2 also with a = in it
record 2, field 3
= final record 3, field 1
record 3, field 2

--- NF=9, NR=1 ---

即，^ 不能像我期望的那样作为行的开头。

我知道我能做到:

$ gawk -v RS="\n=[ \t]" -v FS="\n" '{printf "%s\nNF=%s, NR=%s\n", $0, NF, FNR}'

但是感觉在 Unix/Windows 中行分隔符会出现问题。它还在最终记录上附加了一个额外的 \n

我可以使用 sed 将 ^=[\t] 替换为额外的 \n，然后使用 gawk 段落模式:

$ sed 's/^=[ \t]/\
/' file | gawk -v RS="" -v FS="\n" '{printf "%s\n--- NF=%s, NR=%s ---\n", $0, NF, FNR}'
record 1, field 1
record 1, field 2 with a = in it
record 1, field 3
--- NF=3, NR=1 ---
record 2, field 1
record 2, field 2 also with a = in it
record 2, field 3
--- NF=3, NR=2 ---
final record 3, field 1
record 3, field 2
--- NF=2, NR=3 ---

这正是我正在寻找的东西。

问题:有没有办法在 RS 中使用 ^ 来指示 gawk 中多行记录的“行的开头”，这样我就不必通过管道传输sed？我想我正在寻找 gawk 中 PCRE 正则表达式中的 m 标志的等效项。

Answer 1

^ 表示字符串开头，而不是行开头。没有行首字符，只有回车符(\r = 将光标返回到行首)和换行符(\n = 将光标移至下一行)字符，根据工具/操作系统，这些字符一起或单独用于指示行尾，也称为换行符。 Windows 工具倾向于使用 \r\n 来表示 换行，而 UNIX 单独使用 \n，这就是为什么 \n 在 UNIX 中通常被称为换行符。

许多工具，例如sed 和 grep(默认情况下还有 awk)一次只读取 1 行，因此它们的输入缓冲区一次只包含一行，因此，在这种情况下，字符串开头与行开头相同，这就是为什么您经常听到^被称为开始行字符，但通常情况下，它不是。同样，$ 是字符串结束 字符，而不是经常提到的行结束 字符，但可用于表示行结束当在字符串输入缓冲区的上下文中使用时，某些工具一次读取/填充一行。

这意味着，如果您的工具不是一次读取一行，那么在 UNIX 文件中匹配行开头字符 X 的正则表达式实际上是:

(^|\n)X

一行的末尾是:

X(\n|$)

但请注意，这也会匹配/消耗换行字符(如果存在)。

在 Windows 中，将 \n 更改为上面的 \r\n 并在两者中工作，您可以使用 \r?\n 除非您的文件是在 Windows 上创建的，可以包含中线换行，例如从 Excel 导出的 CSV 可能类似于

field1,"field2 part a\nfield2 part b",field3\r\n

其中 \n 和 \r 当然是文字。在这种情况下，您不希望独立的 \n 中场被误解为换行符。

试试这个(由于多字符 RS 和 \s 简写为 [[:space:]]，仅适用于 gawk):

$ awk -v RS='\n(=\\s*|$)' -F'\n' '{printf "%s\n--- NF=%s, NR=%s ---\n", $0, NF, FNR}' file
record 1, field 1
record 1, field 2 with a = in it
record 1, field 3
--- NF=3, NR=1 ---
record 2, field 1
record 2, field 2 also with a = in it
record 2, field 3
--- NF=3, NR=2 ---
final record 3, field 1
record 3, field 2
--- NF=2, NR=3 ---