sqlite - 是否可以从 SQLite 查询 Parquet 文件?

标签 sqlite parquet

是否可以使用 SQLite 查询 Parquet 文件?

CREATE TABLE test USING parquet('test.parquet');

SELECT * from test;

最佳答案

先使用Pandas导入数据!

import pandas as pd 
import sqlite3

parquet_path = 'my-data.parquet'
table_name = 'my_data_table'
query = f"SELECT * from {table_name}"

db_conn = sqlite3.connect(database='/tmp/my.db')

df_parquet = pd.read_parquet(parquet_path)
num_rows_inserted = df_parquet.to_sql(table_name, db_conn, index=False)

cursor = db_conn.execute(query)

关于sqlite - 是否可以从 SQLite 查询 Parquet 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62234594/

相关文章:

ios - 将 sqlite3_column_value 转换为 Objective C 中的其他数据类型

hadoop - 如何在 Hive 中存储特殊字符?

python - 为什么 Pyarrow 可以读取额外的索引列,而 Pandas dataframe 却不能?

hadoop - 使用命令行 parquet-tools 查看 parquet 中的架构

apache-spark - Spark : Avro vs Parquet performance

c++ - 无法在Windows上构建PROJ-sqlite3的链接器错误

JavaFX 更新 Sqlite 表

mysql - SELECT 查询根据行数进行选择

sqlite - Firefox中的WebSQL

python - 无法在 macOS 上通过 pip 或 conda 安装 parquet "Big Sur"