go - 从多个点扫描文件

标签 go concurrency

我有一个文件abc.txt,其中包含打印两次的字母表,并用换行符分隔

abcdefghijklmopqrstuvwxyz
abcdefghijklmopqrstuvwxyz

我想创建一个可以同时解析行的解析器。例如,每行一个 goroutine。我当前尝试执行此操作的过程是:

  • 创建一个 channel 来接收文本行
  • 为每行创建一个新的扫描仪
  • 将该扫描仪和 channel 传递给 goroutine
  • 在主进程中处理结果

但是,只有一台扫描仪返回有用的输出。我想要做的代码是这样的:

func main() {
    file, err := os.Open("./strangeness/abc.txt")
    if err != nil {
        log.Panic(err)
    }
    defer file.Close()

    inChan := make(chan string)

    for i := 0; i < 2; i++ {
        var scanner scanner.Scanner
        file.Seek(27, 0)

        scanner.Init(file)

        go parseLine(fmt.Sprintf("Scanner %v:", i), &scanner, inChan)
    }

    for msg := range inChan {
        fmt.Println(msg)
    }
}

func parseLine(name string, scanner *scanner.Scanner, out chan string) {
    for i := 0; i < 26; i++ {
        out <- fmt.Sprintf("%s %c", name, scanner.Next())
    }
}

我认为我可能对 go text/scanner 的工作原理或文件的一般工作原理有一些误解,但我无法追踪错误的实际来源。

最佳答案

问题似乎是由于 2 个文件扫描仪同时移动头部所致。

可以通过创建 2 个文件句柄(每个句柄都有自己的扫描器)来实现所需的结果。以下对我有用

package main

import (
    "fmt"
    "log"
    "os"
    "text/scanner"
    "time"
)

func main(){
    var file [2]*os.File
    var err error
    file[0], err = os.Open("./abc.txt")
    file[1], err = os.Open("./abc.txt")
    if err != nil {
        log.Panic(err)
    }
    defer file[0].Close()
    defer file[1].Close()
    var scanner [2]scanner.Scanner
    inChan := make(chan string)


    for i := 0; i < 2; i++ {
        var n int64 = (int64)(i) * 26
        file[i].Seek(n, 0)

        scanner[i].Init(file[i])
        fmt.Println(scanner[0].Pos)
        go parseLine(fmt.Sprintf("Scanner %v:", i), &scanner[i], inChan)
    }

    for msg := range inChan {
        fmt.Println(msg)
    }
}

func parseLine(name string, scanner *scanner.Scanner, out chan string) {
    for i := 0; i < 26; i++ {
        out <- fmt.Sprintf("%s %c", name, scanner.Next())
    }
    time.Sleep(time.Second * 10)
    close(out)
}

关于go - 从多个点扫描文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58471321/

相关文章:

go - golang中的文件路径

go - golang channel 中的函数调用

java - 如何使用 java 和 spring 3.0 同时处理来自 JMS 主题(不是队列)的多条消息?

java - 防御性复制是否足以从可变线程不安全类创建不可变线程安全类?

mysql - `UPDATE SET WHERE` 是否有并发问题?

parsing - Go 解析器未检测到结构类型的文档注释

go - Golang如何破解一长串代码?

go - 我应该如何优化 golang 中的文件轮换?

java - Double check 中不稳定的东西是什么?

multithreading - 分析多线程程序