-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathutils.py
More file actions
75 lines (57 loc) · 2.35 KB
/
Copy pathutils.py
File metadata and controls
75 lines (57 loc) · 2.35 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
"""Модуль с общими функциями для загрузки изображений."""
from os.path import split, splitext
from urllib.parse import unquote, urlsplit
import requests
from pathlib import Path
def ensure_folder(path):
"""Создаёт папку, если её нет.
Args:
path (str или Path): Путь к папке.
Returns:
Path: Объект Path для созданной/существующей папки.
"""
folder_path = Path(path)
folder_path.mkdir(parents=True, exist_ok=True)
return folder_path
def get_filename(url):
"""Извлекает имя и расширение файла из URL.
Args:
url (str): Адрес картинки в интернете.
Returns:
tuple: Кортеж (имя_файла, расширение).
"""
path_url, filename = split(unquote(urlsplit(url).path))
name_image, extension = splitext(filename)
if not extension:
extension = '.jpeg'
return name_image, extension
def download_image(url, path=None, headers=None):
"""Сохраняет картинку по URL.
Возвращает путь к сохранённому файлу. Если path=None, сохраняет в корень.
Args:
url (str): Адрес картинки в интернете.
path (str, optional): Папка для сохранения. Если None — в корень.
headers (dict, optional): Заголовки HTTP (если None,
используется стандартный User-Agent).
Returns:
Path: Путь к сохранённому файлу.
"""
if path:
folder_path = ensure_folder(path)
else:
folder_path = Path('.')
if headers is None:
headers = {
'User-Agent': (
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/145.0.0.0 Safari/537.36'
)
}
name_from_url, extension = get_filename(url)
final_name = name_from_url if name_from_url else 'noname'
full_path = folder_path / f'{final_name}{extension}'
response = requests.get(url, headers=headers, timeout=60)
response.raise_for_status()
full_path.write_bytes(response.content)
return full_path