python - 如何标记字符串(其中包含有关数学计算和 float 的数据)？

Question

我正在尝试标记一个字符串(其中包含有关数学计算的数据)并创建一个列表。

例如，

a = "(3.43 + 2^2 / 4)"

function(a) => ['(', '3.43', '+', '2', '^', '2', '/', '4']

我不想使用外部导入(比如 nltk)。

我面临的问题是保持 float 的完整性。

摸索了好几个小时，做了2个函数，遇到 float 就出问题了。

这是我所做的:

a = "(3.43 + 2^2 / 4)"
tokens = []

for x in range(1, len(a)-1):
no = []

if a[x] == ".":
    y = x
    no.append(".")

    while is_int(a[y-1]):
        no.insert(0, a[y-1])
        y -= 1

    y = x

    while is_int(a[y+1]):
        no.extend(a[y+1])
        y += 1

    token = "".join(no)
    no = []
    tokens.append(token)

else:
    tokens.append(a[x])

print(tokens)

输出:

['3', '3.43', '4', '3', ' ', '+', ' ', '2', '^', '2', ' ', '/', ' ', '4']

Answer 1

您可以使用 Python 自己的分词器，它是标准 API 的一部分:

from tokenize import tokenize
from io import BytesIO

source = "(3.43 + 2^2 / 4)"
tokens = tokenize(BytesIO(source.encode('utf-8')).readline)
non_empty = [t for t in tokens if t.line != '']

for token in non_empty:
    print(token.string)

将打印:

(
3.43
+
2
^
2
/
4
)

更多信息:https://docs.python.org/3/library/tokenize.html