我有以下代码可以从我计算的感知哈希中删除重复的图像。
images = Image.objects.all()
images_deleted = 0
for image in images:
duplicates = Image.objects.filter(hash=image.hash).exclude(pk=image.pk).exclude(hash="ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff")
for duplicate in duplicates:
duplicate_tags = duplicate.tags.all()
image.tags.add(*duplicate_tags)
duplicate.delete()
images_deleted+=1
print(str(images_deleted))
运行它时出现以下异常:
django.db.utils.IntegrityError: insert or update on table "crawlers_image_tags" violates foreign key constraint "crawlers_image_t_image_id_72a28d1d54e11b5f_fk_crawlers_image_id"
DETAIL: Key (image_id)=(5675) is not present in table "crawlers_image".
谁能解释一下问题到底是什么?
编辑:
型号:
class Tag(models.Model):
name = models.CharField(max_length=100)
def __str__(self):
return self.name
class Image(models.Model):
origins = (
('PX', 'Pexels'),
('MG', 'Magdeleine'),
('FC', 'FancyCrave'),
('SS', 'StockSnap'),
('PB', 'PixaBay'),
('TP', 'tookapic'),
('KP', 'kaboompics'),
('PJ', 'picjumbo'),
('LS', 'LibreShot')
)
source_url = models.URLField(max_length=400)
page_url = models.URLField(unique=True, max_length=400)
thumbnail = models.ImageField(upload_to='thumbs', null=True)
origin = models.CharField(choices=origins, max_length=2)
tags = models.ManyToManyField(Tag)
hash = models.CharField(max_length=200)
def __str__(self):
return self.page_url
def create_hash(self):
thumbnail = Imagelib.open(self.thumbnail.path)
thumbnail = thumbnail.convert('RGB')
self.hash = blockhash(thumbnail, 24)
self.save(update_fields=["hash"])
def create_thumbnail(self, image_url):
if not self.thumbnail:
if not image_url:
image_url = self.source_url
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
}
for i in range(5):
r = requests.get(image_url, stream=True, headers=headers)
if r.status_code != 200 and r.status_code!= 304:
print("error loading image url status code: {}".format(r.status_code))
time.sleep(2)
else:
break
if r.status_code != 200 and r.status_code!= 304:
print("giving up on this image, final status code: {}".format(r.status_code))
return False
# Create the thumbnail of dimension size
size = 500, 500
img = Imagelib.open(r.raw)
thumb = ImageOps.fit(img, size, Imagelib.ANTIALIAS)
# Get the image name from the url
img_name = os.path.basename(image_url.split('?', 1)[0])
file_path = os.path.join(djangoSettings.MEDIA_ROOT, "thumb" + img_name)
thumb.save(file_path, 'JPEG')
# Save the thumbnail in the media directory, prepend thumb
self.thumbnail.save(
img_name,
File(open(file_path, 'rb')))
os.remove(file_path)
return True
最佳答案
让我们逐步检查您的代码。
假设您的数据库中有 3 个图像(为简单起见,我跳过了不相关的字段):
Image(pk=1, hash="d2ffacb...e3')
Image(pk=2, hash="afcbdee...77')
Image(pk=3, hash="d2ffacb...e3')
正如我们所看到的,第一张图片和第三张图片具有完全相同的哈希值。假设您的所有图像都有一些标签。现在回到你的代码。让我们检查一下第一次迭代中会发生什么:
- 将从数据库中获取具有相同哈希值的所有图像,这只是图像
pk=3
- 迭代该图像会将所有标签从重复项复制到原始标签。没有什么问题。
- 迭代这些图像也会将其删除。
因此,在第一次迭代之后,带有 pk=3
的图像不再存在。
下一次迭代,图像pk=2
。什么都不会发生,因为没有重复项。
下一次迭代,图像pk=3
。
- 将从数据库中获取具有相同哈希值的所有图像,这只是图像
pk=1
- 迭代该图像会将所有标签从重复项复制到原始标签。但是等等...数据库中没有图像
pk=3
,我们无法为其分配任何标签。这将引发您的IntegrityError
。
为了避免这种情况,您应该简单地在外部 for 循环中从数据库中获取原始数据。为此,您可以执行以下操作:
images = Image.objects.distinct('hash')
您还可以在此处添加一些排序,因此始终会获取 ID 较低的图像作为原始图像:
images = Image.objects.order_by('id').distinct('hash')
关于sql - 尝试删除重复图像时出现 django.db.utils.IntegrityError,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32931701/