javascript - 在 AWS lambda 函数中从 s3 分块读取 csv 文件

标签 javascript c# node.js csv aws-lambda

我正在尝试实现步进函数或递归 aws lambda 函数我的基本想法是从 s3 读取具有范围字节的 csv 文件并处理记录然后调用我的下一个 lambda 函数更新的开始和结束偏移量以读取下一个 block 问题是,当我这样做时,csv 文件有时会在两行之间拆分,我很难重建要读取的偏移量,有没有人有任何想法或指示如何解决这种情况

最佳答案

你如何读取一系列字节,x-y,向后移动以找到最后一个换行符位置并将你的 y 值更改为该字节并丢弃之后的字节那。然后您的下一个范围请求从 y+1 开始。

关于javascript - 在 AWS lambda 函数中从 s3 分块读取 csv 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49639828/

相关文章:

c# - 尝试访问派生类中基类属性的 protected 访问器时出错

multithreading - NodeJs 是如何处理这么多传入请求的,它使用线程池吗?

node.js - 如何使用supervisord "npm start"?

javascript - 如何使用node.js上传文件并将其存储在mongodb中?

javascript - 使用单选按钮更改记录。

javascript - SharePoint 在跨度后添加中断

javascript - jQuery:触发器不会在使用 .load() 加载的元素上触发

C# 货币排列

javascript - 如果匹配公共(public)值,Vanilla Javascript 将 JSON 数组对象合并到嵌套数组中

c# - python 中的线程 vs C# vs Ruby