描述:
我正在抓取亚马逊产品价格，我需要更改所选地址(也称为送货地址)，以便抓取同一产品在不同位置(可能不同)的价格。
我已经在这个项目上工作了几个月，我发现它不像我抓取的其他网站，它们通过 javascript 请求向他们的服务器返回价格信息，并提供相关参数，包括 skuid、productid 和当然是位置；亚马逊不会这样做来返回其价格信息。看起来它只是请求整个 html 页面，价格是其中的一部分。正因为如此，没有简单的方法可以通过简单地在对服务器的 javascript 请求中指定不同的位置参数来抓取不同位置的价格。据我所知，亚马逊根据选定的地址返回价格信息，该地址由 cookie 标识。这就是我的抓取策略。
我尝试在我的网络浏览器上加载亚马逊并在 Chrome 网络中手动检索 cookie，选择不同的位置，以便我可以在我的脚本中使用这些 cookie 来检索不同的价格。(我在这里所做的假设是位置信息存储在 cookie 中。)
它有点管用，我可以使用不同的 cookie 获取不同的价格。
症状:
在我尝试了这种只抓取几个请求的方式后，问题就出现了。 在使用每个已保存的 cookie 请求亚马逊页面的第一个周期，一切正常。但是在那之后，使用我之前保存的两个不同位置的两个cookie发送请求将返回相同的价格(应该不同)，我查看页面源代码发现选择的地址也是相同的(这是不足为奇，因为价格是一样的。)
期望的结果:
这里的最终目标是能够从亚马逊页面上获取基于位置的价格。当前的目标是以前手动保存的 cookie 将有助于根据所需位置取回不同的页面源代码。
会发生什么:
使用手动保存的 cookie 请求亚马逊页面似乎在一个请求周期后停止工作，不同的 cookie 返回相同的价格/位置信息。
注意:
请注意，我们可以只关注所选地址，因为价格是所选地址的函数。所以我下面的代码将尝试打印出选定的地址并省略价格。
代码:
headers =
{'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
#location:ShangHai, price:17,999
#,'Cookie':'x-wl-uid=1DpDBnhSVJ+bNXzDZYpD4q7+iDfJ6GQATOxQy6bH2BnaDE4n/i4aKzzAQ0HKWvjhi4SmEwEIuSuA=; session-token=eYnxCsjigX0nCy8skngiSDkvjfEZlKavU9mTR8e9EP1Lh0pg4oYpoBxP3adQe7vZE9IDvl7xeLN+H5WF25TVXNTTywA3/Y82cuN+a2CdJs1L57Mzvwq7aLrbwtYQJfG2e1WP5/EXrV7oE02b8TB7KJA36q4w351NbUttqmq/yVrJQj7CZ+HMYcIsoxH2Ux8awhZ9jsROFJcaLmtcy+6muoLrtYQpa/QX230yKBQA90lu+D9jtd46BQ==; csm-hit=s-ZAYA2VY7F5MBZA6VKTTQ|1482202685913; ubid-acbcn=453-6620157-1313521; session-id-time=2082729601l; session-id=455-5193383-6307663'
#location: BeiJing price:15,999
,'Cookie':'x-acbcn=EwNBz6OLTIFDxQCv1qiUE4m16A00AUKs; at-main=Atza|IwEBINcqsHbV-1tFBCYlshzjTAyv5Z4msKVZ0rbOATXYrjE7AcoO3LSnYDzYpZcY2C4WP3oOPIlqWLWh9UcAzDHu6Xv6xcdbCW7jQ59cifSfpYiv3UQ0qR5Hk2VJjX0dcrsdgJUw-TWW8ZWLLhs2Z_CTD7Mphdn9fgvg7qnREuayGRpxekotq9lRXxeqJn3-IfoanhF9edDc0MYk2jTDtJv0AiJp71Wwo6PsNRTwwCg0JS69-H5QYeRbXfFSP-dTtVSGzB-MgVo4zX6dRSmYQ12_rjbfZa7ihj0s-3KtBFLnVP-R91VJrvDwMBSjfcyJHL734UfSrN6D6c1MCq76NoM-MpzmKncsn3n7Ruhnxork43k0onNA0jTl4SD1UDQ8dweuxP6FN0O7eTrWTaBkP_isuiDI; sess-at-main="Wyf/mENo8M2ZhLuc1RWCf++uvPG19jd3RE0X61PIhrk="; x-wl-uid=12Hr4lOV8Md2tj2TjdgVpNVGb5aL6MrEz19aI0yHjr7FY8N3HsTCe29HlZhe4NCBbeDw2KuN5ShkJajzdy70eGSYuSAIda2OF1CcLpnHo+Bd7mvKvVqTsj1pNwri9d8E2lMOUplbiuZ8=; session-id-time-cn=1482739200l; session-id-cn=452-5760864-5873122; session-token=h1J7fMqt9UYrlp3EVScY8zWkFsNT7oGwBzJLHkKb8ChGVAMO/6quZxt9R24wwGPUCc4BPFLofrOQ5ZG9Jf9KQ5Y7j6XhKqlUh9j3g60qdVTgNSM6gY+eERRbI7iWTLGXQwEBB9LOx49+htkQIMfw1coTjYn50RlfUeeuW9dE8Db937LkwRFJe1ewcyebJZ713u/9HGAFQvCwatOslgNVHrpWOPGW91OUqhkYdW9wS6G46ScDqefXu2tRqWL8mOKn7t4wdMGqaF8=; csm-hit=YWXGRBPABQJZHSN0TYMN+s-88A1TVR7SK2BG3FDDW2M|1482139543670; ubid-acbcn=453-1347853-1253656; session-id-time=2082729601l; session-id=452-5760864-5873122'
#location: ShenZhen price:17,999
#,'Cookie':'x-wl-uid=1SGKhC3F2g+mtZV/OFWnOwBOuLf8I+HnSJZOyHVbtVHXhyEkpj6cGqURI4kbZl/A7I3J2/0ByMc4=; session-token=TnIBK9s4/NJRHfHVd9gnxg4EA9GZ6wGk9AdAwc1tC5YNWYxS4S9p1IloF+Ex5lQ7O/4DlGB2WpPT7OdrCn/wyhNqLkTUB9ChdqvX3dw0UZW/Rhxsy8gTbdq5BrWCoHIL8y24sAM47Y7YZeAy6MAu9tXxH9wEtb4CF2BqTsp/B3hjGxkNuKwA8tQ1pEAZhnkzFx6tIdAfIvNWCN3c7NmbCoLRELpprDAbYrlLL/ik6lKvBvawLzAqng==; csm-hit=6CE5VNWDNAEMSWZT2VJJ+s-1BMM2C5SJPJV4B4RGMH7|1482205167978; ubid-acbcn=453-9465199-8612643; session-id-time=2082729601l; session-id=456-0427731-7194850'
#location: SuZhou, price:13,999
#,'Cookie':'x-wl-uid=1SGKhC3F2g+mtZV/OFWnOwBOuLf8I+HnSJZOyHVbtVHXhyEkpj6cGqURI4kbZl/A7I3J2/0ByMc4=; session-token=TnIBK9s4/NJRHfHVd9gnxg4EA9GZ6wGk9AdAwc1tC5YNWYxS4S9p1IloF+Ex5lQ7O/4DlGB2WpPT7OdrCn/wyhNqLkTUB9ChdqvX3dw0UZW/Rhxsy8gTbdq5BrWCoHIL8y24sAM47Y7YZeAy6MAu9tXxH9wEtb4CF2BqTsp/B3hjGxkNuKwA8tQ1pEAZhnkzFx6tIdAfIvNWCN3c7NmbCoLRELpprDAbYrlLL/ik6lKvBvawLzAqng==; csm-hit=6CE5VNWDNAEMSWZT2VJJ+s-30EVQ4E6P9Y51PV6WGMW|1482205288109; ubid-acbcn=453-9465199-8612643; session-id-time=2082729601l; session-id=456-0427731-7194850'
,'Host':'www.amazon.cn'
,'X-Requested-With':'XMLHttpRequest'}
url = 'https://www.amazon.cn/TCL-%E7%8E%8B%E7%89%8C-L65C2-CUDG-65%E8%8B%B1%E5%AF%B8-%E6%96%B0%E7%9A%84HDR%E6%8A%80%E6%9C%AF-%E5%85%A8%E6%96%B0%E7%9A%84%E9%87%8F%E5%AD%90%E7%82%B9%E6%8A%80%E6%9C%AF-%E9%BB%91%E8%89%B2/dp/B01FXB0ZG4/ref=sr_1_2?ie=UTF8&qid=1476165637&sr=8-2&keywords=L65C2-CUDG'
def getAddress(url):
response = requests.get(url,headers = headers)
tree = html.fromstring(response.content)
xpath = '//span[@id="ddmSelectedAddressText"]'
print(tree.xpath(xpath)[0].text)
getAddress(url)
此外，为了更清楚，这里有 4 个位置，因为您可以通过上面的 4 个 cookie 进行验证，基本上我所做的是注释掉其他三个并在标题中留下一个并调用 getAddress(url)
我认为这可能是那些尝试做同样事情(根据不同地点抓取价格)的人的常见问题。任何想法将不胜感激!另外，我提到了我的最终目标，因此实现相同结果的新方法也与这个问题相关。
最佳答案
我终于弄清楚问题是什么并解决了。耶!就这样吧。
1.我所做的假设是正确的，即 cookie 帮助亚马逊确定您选择的地址，事实证明不仅如此，单独 cookie 将完成这项工作。
2. 我得到 cookie 随机无法保留所选地址信息的结果的原因是对于每个 cookie 都有这个 session-id 值，正如您在我上面的代码中的最后一个 cookie 中注意到的那样，我将它放在这里只是为了方便。不知何故，我得到了这两个因相同 session ID 而失败的 cookie。 一旦我清除了 Chrome 中的 cookie 并为故障 cookie 获取了具有不同 session ID 的新 cookie，一切都会正常。
3.我对 session ID 如何帮助确定所选地址信息只有一个模糊的想法，但是，所以如果有人能解释亚马逊如何使用此 session ID 返回一个选定地址而不是另一个，那就是很棒。
#location: ShenZhen, price: 17,999
'Cookie':'session-id=456-0427731-7194850, other parts = other parts'
#location: SuZhou, price: 13,999
'Cookie':'session-id=456-0427731-7194850, other parts = other parts'
关于python - 根据位置抓取亚马逊价格时，cookie 随机无法保留位置信息？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41235608/