amazon-web-services - 在 AWS Glue 和 Firehose 中使用连字符/破折号的 DataFormatConversion.InvalidSchema

标签 amazon-web-services aws-cloudformation aws-glue amazon-kinesis-firehose

我有这个 CloudFormation Glue 模板,其中一个结构字段中包含连字符:

  TestGlue:
    Type: AWS::Glue::Table
    Properties:
      CatalogId: !Ref AWS::AccountId
      DatabaseName: testdatabase
        Name: 'test'
        StorageDescriptor:
          Location: "s3://testpath"
          Columns:
            - Name: test
              Type: struct<testcol:string,item-testcol:string>

该表用于 Kinesis Firehose 记录转换,但每当我尝试发送数据进行处理时,都会收到以下错误。有没有办法强制执行破折号或连字符,到目前为止我无法将其更改为下划线,因为当前数据使用连字符并且会有很大影响。

"lastErrorCode":"DataFormatConversion.InvalidSchema","lastErrorMessage":"The schema is invalid. Error parsing the schema: Error:: expected at the position XX of 'struct<testcol:string,item-testcol:string>' but '-' is found."

最佳答案

由于 Glue 数据目录在 Hive Metastore 上运行,我认为不可能在名称中使用破折号。

关于amazon-web-services - 在 AWS Glue 和 Firehose 中使用连字符/破折号的 DataFormatConversion.InvalidSchema,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66385005/

相关文章:

amazon-web-services - Elastic Beanstalk部署: UndefinedModelAttributeError

amazon-web-services - 如何引用 `AWS::CodeDeploy::DeploymentGroup::LoadBalancerInfo?`

amazon-web-services - 使用 AWS CDK 加密卷和自己的 KMS key 失败

amazon-web-services - 想要通过电子邮件发送云形成输出

json - aws athena - 通过 json 对象数组创建表

java - 如何设置 AWS SAM 本地 Lambda 函数的 ARN?

amazon-web-services - 部署后 AWS Code Pipeline 运行命令

amazon-web-services - 无法在 AWS Lambda 的 .net 核心上加载文件或程序集 'AWSSDK.Core

amazon-web-services - Redshift 光谱 : Query Anonymous JSON array structure

python - 如何在 AWS Glue 中使用外部 Python 库?