c++ - boost 分词器重新分配

Question

我必须从结构中读取多个字符串，然后使用 boost tokenizer 对它们进行标记。基本上我目前拥有的是:

typedef boost::tokenizer<boost::char_separator<char> > Tokenizer;
boost::char_separator<char> sep(";");

Tokenizer tok1(str1, sep);
...

Tokenizer tok2(str2, sep);
...

Tokenizer tok3(str3, sep);
.....

请注意，我每次都在创建一个新的分词器对象。是否可以只使用一个分词器对象来做到这一点？像这样:

Tokenizer tok(str1, sep);
...

// tok(str2, sep); or tok = Tokenizer(str2, sep)

PS:上面两个我都试过了，都失败了。

Answer 1

使用assign成员函数分配一个新的 token 源。

#include<iostream>
#include<boost/tokenizer.hpp>
#include<string>

void test(boost::tokenizer<>& tok)
{
    for(boost::tokenizer<>::iterator beg=tok.begin(); beg!=tok.end();++beg){
        std::cout << *beg << " : ";
    }
    std::cout << '\n';
}

int main()
{
    std::string s = "This is,  a test";
    boost::tokenizer<> tok(s);

    test(tok);

    tok.assign(s);
    test(tok);

    tok.assign(s);
    test(tok);
}

预期输出:

This : is : a : test : 
This : is : a : test : 
This : is : a : test :