[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

1 y5 P9 K( |8 ?抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
import imagehash
& I( V" d# u* X- ]) @( N; `from PIL import Image

def compute_image_hash(image_path):
( q- p, F1 N! G' e8 ], f    # image = Image.open(image_path)
# D3 o7 y7 M  q5 o9 K/ s' \    # return imagehash.average_hash(image)
, m2 W: ?9 |1 J3 R7 N* }, P    try:
        with Image.open(image_path) as image:
+ {# n" A! V0 }8 x" Z* y5 q            return imagehash.average_hash(image)
    except (OSError, IOError) as e:
1 E  ~7 h# v6 A, ?        print(f"处理图像 {image_path} 时出错: {e}")
% |+ ^7 y2 y: Q  q6 S" J& n" Y% P        return None

def remove_duplicates(image_folder):
! C% [+ g! W  C- u) R. C    hash_dict = {}
    duplicates = []

4 v8 b) p! m4 {& J4 E2 J& O7 M    for filename in os.listdir(image_folder):
& M. O8 G5 p  o9 ?2 M/ a        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
9 n$ X0 B1 I; W! k            image_path = image_folder + "\\" + filename
7 f3 u& z3 V9 u: H' D/ e            image_hash = compute_image_hash(image_path)

            if image_hash in hash_dict:
8 W4 s3 s0 f: N0 h5 z                duplicates.append(image_path)
            else:
                hash_dict[image_hash] = image_path
        else:
# u- w8 I: D! }4 S: ]% b: e. A4 G            pass

2 v) D2 b8 l& ~6 `) b1 [6 r    for duplicate in duplicates:
' B$ f0 E; T, u2 x( r, O        os.remove(duplicate)
/ p9 W* Y; k1 O! [) J        print(f"Removed duplicate image: {duplicate}")
, t% }  D6 a/ C; ]/ A: b
    print("Duplicate removal complete.")
& f2 }5 j$ S! k2 ]6 H
image_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
* w# ?. v7 {; ~6 j- F: lremove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
- \, k; c- w. [* Y: w有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai
# e7 U/ x7 x$ J