c++11 - 使用 CString 实现 tokenize 函数

Question

为了学习，我正在尝试使用 CStrings 实现我自己的简单 Tokenize 函数。我目前有这个文件:

11111
22222
(ENDWPT)


222222
333333
(ENDWPT)
6060606
ggggggg
hhhhhhh
(ENDWPT)
iiiiiii
jjjjjjj
kkkkkkk
lllllll
mmmmmmm
nnnnnnn

我想用分隔符(ENDWPT)对其进行标记。 我编写了以下函数，它尝试找到分隔符位置，然后添加分隔符长度并将文本提取到该位置。之后，更新所使用的计数器，以便下次调用该函数时，它开始从前一个索引搜索分隔符。该函数如下所示:

bool MyTokenize(CString strText, CString& strOut, int& iCount)
{
    CString strDelimiter = L"(ENDWPT)";
    int iIndex = strText.Find(strDelimiter, iCount);

    if (iIndex != -1)
    {
        iIndex += strDelimiter.GetLength();
        strOut = strText.Mid(iCount, iIndex);
        iCount = iIndex;
        return true;
    }
    return false;
}

并且被这样调用:

int nCount = 0;

while ((MyTokenize(strText, strToken, nCount)) == true)
{
    // Handle tokenized strings here
}

现在，该函数正在以错误的方式分割字符串，我认为这是因为 Find() 可能返回错误的索引。我认为它应该返回12，但实际上返回14？？ 我已经没有想法了，如果有人能解决这个问题，我将非常感激。

Answer 1

如果找到分隔符 (iIndex)，则读取从 (iCount) 开始的 iIndex - iCount 计数。然后修改iCount

if(iIndex != -1)
{
    strOut = strText.Mid(iCount, iIndex - iCount);
    iCount = iIndex + strDelimiter.GetLength();
    return true;
}

源字符串可能不以分隔符结尾，它需要特殊情况。

您还可以选择更好的名称来匹配CString::Mid(int nFirst, int nCount)的用法，以使其更易于理解。 MFC 使用 camelCase 编码风格，在变量前面添加类型标识符，这在 C++ 中是不必要的，在本例中我将避免使用它:

bool MyTokenize(CString &source, CString& token, int& first)
{
    CString delimeter = L"(ENDWPT)";
    int end = source.Find(delimeter, first);

    if(end != -1)
    {
        int count = end - first;
        token = source.Mid(first, count);
        first = end + delimeter.GetLength();
        return true;
    }
    else
    {
        int count = source.GetLength() - first;
        if(count <= 0)
            return false;

        token = source.Mid(first, count);
        first = source.GetLength();
        return true;
    }
}

...

int first = 0;
CString source = ...
CString token;
while(MyTokenize(source, token, first))
{
    // Handle tokenized strings here
}