问题:如何通过 Python 运行 SQL 查询以从可能具有不同 SQL 方言的多个服务器检索数据(例如,一个服务器方言使用 TOP X 而另一个 sample X)?
目前我有一些代码允许我对每个服务器分别运行查询(这是不够的):
import pyodbc
import pandas as pd
cnxn = pyodbc.connect('DSN=dsn_name;UID=username;PWD=password')
query = str("""
SELECT *
FROM sqlserver1.tableA
""")
df = pd.read_sql(query, cnxn)
目标:我想做的是加入来自不同服务器的数据,基本上我想在 Python 中有一个 SQL 查询,看起来有点像这样 - 处理不同的 SQL 方言:
query = str("""
SELECT *
FROM sqlserver1.tableA as sq
INNER JOIN teradataserver2.tableB as tera
ON sq.id = tera.id
""")
..附言我试过这样的解决方法:
import pyodbc
import pandas as pd
cnxnServer1 = pyodbc.connect('DSN=dsn_name1;UID=username;PWD=password')
cnxnServer2 = pyodbc.connect('DSN=dsn_name2;UID=username;PWD=password')
queryServer1 = str("""
SELECT *
FROM sqlserver1.tableA
""")
queryServer2 = str("""
SELECT *
FROM teradataserver2.tableB
""")
.. 然后使用 Pandas Merge。但是这样太没效果了。
注意:我运行的是 Python 3.7
最佳答案
如果您不想(或不能)弄乱服务器配置(例如,创建链接服务器),那么您可以使用 SQLAlchemy's SQL Expression Language 做一些事情。创建使用 SQLAlchemy engine
对象的方言解释的语句。
例如,
from sqlalchemy import create_engine, Table, MetaData
from sqlalchemy.sql import select
cnxn_url = 'mssql+pyodbc://@SQLmyDb'
engine = create_engine(cnxn_url)
metadata = MetaData()
my_table = Table('my_table', metadata, autoload=True, autoload_with=engine)
stmt = select([my_table.c.id, my_table.c.txt])\
.select_from(my_table)\
.order_by(my_table.c.id)\
.limit(2)
with engine.begin() as conn:
print(conn.execute(stmt).fetchall())
将T-SQL语句发送到SQL Server并返回结果。
如果我们简单地将连接 URL 更改为
cnxn_url = 'mysql+pymysql://root:whatever@localhost/mydb'
然后 SQLAlchemy 将适当的 MySQL 语句发送到 MySQL 服务器。
但是,如果您真的想将数据库_A 中的一个表与数据库_B 中的另一个表连接起来,这可能还不够。在这种情况下,您会考虑将数据从各种表中提取到一个公共(public)环境中,例如 pandas DataFrames 或内存中 SQLite 数据库中的表。
关于Python 连接到具有不同 SQL 方言的多个服务器?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53816634/