我有一个多对多关联的数据库关系,但是关联表本身包含很多需要访问的属性,所以我做了三个类:
class User(Base):
id = Column(Integer, primary_key=True)
attempts = relationship("UserAttempt", backref="user", lazy="subquery")
class Challenge(Base):
id = Column(Integer, primary_key=True)
attempts = relationship("UserAttempt", backref="challenge", lazy='subquery')
class UserAttempt(Base):
challenge_id = Column(Integer, ForeignKey('challenge.id'), primary_key=True)
user_id = Column(Integer, ForeignKey('user.id'), primary_key=True)
当然,这是一个简化的案例,我省略了我需要访问的其他属性。此处的目的是,每个 User
都可以尝试任意数量的 Challenge
,因此 UserAttempt
表描述了一个特定用户正在应对一项挑战。
现在的问题:当我查询所有用户然后查看每次尝试时,我完全没问题。但是,当我查看此尝试的挑战时,它会在无数子查询中爆炸。当然,这对性能不利。
我实际上想从 SQLAlchemy 中提取所有(或所有相关)挑战一次,然后将其与相关尝试相关联。如果所有的挑战都被拉下,或者只有后面有实际关联的挑战,这没什么大不了的,因为这个挑战的数量只在 100-500 之间。
我现在的解决方案实际上不是很优雅:我将所有相关的尝试、挑战和用户分别拉出来,然后手动关联:循环遍历所有尝试并分配给挑战和用户,然后将挑战和用户添加到也尝试。在我看来,这似乎是一个没有必要的残酷解决方案。
但是,每种方法(例如,改变“惰性”参数、更改查询等)都导致了成百上千的查询。我还尝试编写普通的 SQL
查询来产生我想要的结果,并提出了一些类似 SELECT * FROM challenge WHERE id IN (SELECT challenge_id FROM attempts)
效果很好,但我无法将它翻译成 SQLAlchemy
非常感谢您提供的任何指导。
最佳答案
What I actually want from SQLAlchemy is to pull all (or all relevant) Challenges at once and then associate it with the relevant attempts. It is not a big deal if all challenges are pulled or only does which have an actual association later,
您首先要从 relationship() 中删除“lazy='subquery'”指令;修复关系以始终加载所有内容是查询激增的原因。特别是在这里,你得到了 Challenge->attempts eagerload exactly for each lazyload of UserAttempt->Challenge 所以你在这里设计了最糟糕的加载组合:)。
解决了这个问题后,有两种方法。
一个是要记住,在通常情况下,多对一关联首先通过主键从内存中的 Session 中获取,如果存在,则不会发出 SQL。所以我认为您可以使用我经常使用的技术获得您所描述的效果:
all_challenges = session.query(Challenge).all()
for user in some_users: # however you got these
for attempt in user.attempts: # however you got these
do_something_with(attempt.challenge) # no SQL will be emitted
如果您想将上述方法与“Select * from challenge where id in (select challenge_id from attempt)”一起使用:
all_challenges = session.query(Challenge).\
filter(Challenge.id.in_(session.query(UserAttempt.challenge_id))).all()
尽管这作为 JOIN 可能更有效:
all_challenges = session.query(Challenge).\
join(Challenge.attempts).all()
或 DISTINCT,我想连接会返回与 UserAttempt 中出现的相同的挑战。id:
all_challenges = session.query(Challenge).distinct().\
join(Challenge.attempts).all()
另一种方法是更具体地使用预加载。您可以在一个将发出三个 SELECT 语句的查询中查询一堆用户/尝试/挑战:
users = session.query(User).\
options(subqueryload_all(User.attempts, UserAttempt.challenge)).all()
或者因为 UserAttempt->Challenge 是多对一的,加入可能会更好:
users = session.query(User).\
options(subqueryload(User.attempts), joinedload(UserAttempt.challenge)).all()
仅来自 UserAttempt:
attempts = session.query(UserAttempt).\
options(joinedload(UserAttempt.challenge)).all()
关于python - SQLAlchemy 多对多性能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15214967/