2021-07-18 03:06:08 +03:00
|
|
|
|
#!/usr/bin/python3
|
|
|
|
|
|
2021-09-25 14:26:34 +03:00
|
|
|
|
# TODO: Перезапускать скрипт при обнаружении новой версии
|
2021-07-18 03:06:08 +03:00
|
|
|
|
|
2021-07-18 05:39:06 +03:00
|
|
|
|
import os
|
2021-09-23 03:59:05 +03:00
|
|
|
|
import sys
|
2021-07-18 03:06:08 +03:00
|
|
|
|
from threading import Thread
|
2023-06-01 23:06:46 +03:00
|
|
|
|
import configparser
|
2021-07-23 02:04:09 +03:00
|
|
|
|
import schedule
|
2022-11-13 12:43:03 +03:00
|
|
|
|
from twitchAPI.twitch import Twitch
|
2021-07-23 02:04:09 +03:00
|
|
|
|
import subprocess
|
|
|
|
|
import time
|
2021-09-23 03:59:05 +03:00
|
|
|
|
import logging
|
|
|
|
|
from logging.handlers import TimedRotatingFileHandler
|
2021-09-23 06:27:54 +03:00
|
|
|
|
|
2023-06-02 00:11:00 +03:00
|
|
|
|
log_format = logging.Formatter('%(asctime)s %(levelname)s - %(message)s')
|
2021-09-23 03:59:05 +03:00
|
|
|
|
log_file = 'output.log'
|
2023-06-01 23:06:46 +03:00
|
|
|
|
cfg_file = 'config.ini'
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def set_config():
|
|
|
|
|
"""
|
|
|
|
|
Эта функция либо читает существующий конфиг, либо создает новый.
|
|
|
|
|
Возвращает объект конфига (configparser.ConfigParser())
|
|
|
|
|
"""
|
|
|
|
|
config = configparser.ConfigParser()
|
|
|
|
|
if not config.read('cfg_file.ini'):
|
|
|
|
|
config["app"] = {
|
2023-06-02 00:10:24 +03:00
|
|
|
|
"path": "",
|
|
|
|
|
"check_period": 5,
|
|
|
|
|
"max_files": 3
|
|
|
|
|
}
|
2023-06-01 23:06:46 +03:00
|
|
|
|
config["twitch"] = {
|
|
|
|
|
"app_id": "",
|
|
|
|
|
"app_secret": "",
|
2023-06-01 23:22:56 +03:00
|
|
|
|
"streamers": "asdf,qqqqq"
|
2023-06-01 23:06:46 +03:00
|
|
|
|
}
|
|
|
|
|
with open('cfg_file.ini', 'w') as cfg_file:
|
|
|
|
|
config.write(cfg_file)
|
|
|
|
|
return config
|
2021-09-23 03:59:05 +03:00
|
|
|
|
|
2021-07-18 03:06:08 +03:00
|
|
|
|
|
2023-06-02 00:13:39 +03:00
|
|
|
|
def which(command) -> bool:
|
2021-07-22 09:13:13 +03:00
|
|
|
|
# Пиздец, почему нет нормального аналога which из bash???
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-09-23 03:59:05 +03:00
|
|
|
|
Мой аналог which из bash'а, который отдает true или false
|
|
|
|
|
при наличии или отсутствии утилиты
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-07-22 09:13:13 +03:00
|
|
|
|
for dirs in os.get_exec_path():
|
|
|
|
|
if command in os.listdir(dirs):
|
|
|
|
|
# Если что-нибудь нашли, то True
|
|
|
|
|
return True
|
2021-07-23 02:20:32 +03:00
|
|
|
|
# Если ничего не нашли во всех дирах, то выходим с False
|
2021-07-22 09:13:13 +03:00
|
|
|
|
return False
|
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
|
2023-06-02 00:13:39 +03:00
|
|
|
|
def check_installed_tools() -> bool:
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-07-22 09:22:21 +03:00
|
|
|
|
Проверяет, установлены ли необходимые утилиты
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-07-22 09:22:21 +03:00
|
|
|
|
tools = ('youtube-dl', 'ffmpeg')
|
2023-06-02 00:18:58 +03:00
|
|
|
|
for tool in tools:
|
|
|
|
|
if not which(tool):
|
|
|
|
|
log.critical(tool + " не установлен")
|
2021-07-22 09:22:21 +03:00
|
|
|
|
return False
|
|
|
|
|
return True
|
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
|
2023-06-02 00:18:58 +03:00
|
|
|
|
def start_recording(streamer):
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-07-18 03:06:08 +03:00
|
|
|
|
Функция, которая запускает в отдельном потоке запись стрима - recorder(i)
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2023-06-02 00:18:58 +03:00
|
|
|
|
th = Thread(target=recorder, args=(streamer,))
|
2021-07-18 03:06:08 +03:00
|
|
|
|
th.start()
|
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
|
2023-06-02 00:18:58 +03:00
|
|
|
|
def recorder(streamer):
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-07-18 03:06:08 +03:00
|
|
|
|
Функция, которая запускает youtube-dl, фактически записывает стрим
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2023-06-02 00:18:58 +03:00
|
|
|
|
path = config['app']['path'] + "/" + streamer
|
|
|
|
|
log.info("Записываем стрим %s\n" % streamer)
|
2021-09-23 03:59:05 +03:00
|
|
|
|
# cmdline для запуска youtube-dl
|
2021-09-23 04:00:59 +03:00
|
|
|
|
cmdline = ["youtube-dl", "-q", "-o",
|
2023-06-01 23:06:46 +03:00
|
|
|
|
path + "/%(upload_date)s_%(title)s__%(timestamp)s_%(id)s.%(ext)s",
|
2023-06-02 00:18:58 +03:00
|
|
|
|
"https://twitch.tv/" + streamer]
|
2021-09-23 04:11:36 +03:00
|
|
|
|
subprocess.call(cmdline)
|
2023-06-02 00:18:58 +03:00
|
|
|
|
log.info("Запись стрима %s закончена\n" % streamer)
|
2022-11-13 11:31:48 +03:00
|
|
|
|
if os.path.exists(path + "/pid"):
|
2023-06-01 23:06:46 +03:00
|
|
|
|
os.remove(path + "/pid")
|
2021-09-23 03:59:05 +03:00
|
|
|
|
log.info("lock файл удален")
|
|
|
|
|
|
2021-07-18 03:06:08 +03:00
|
|
|
|
|
2023-06-01 23:22:56 +03:00
|
|
|
|
def check_stream():
|
|
|
|
|
# FIXME: Распилить на более мелкие функции
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2021-07-18 03:06:08 +03:00
|
|
|
|
1. Проверка на наличие стрима
|
|
|
|
|
1.1 Если нет - удалить lock файл, если он есть
|
|
|
|
|
1.2 Если есть - создать lock файл, запустить записывалку
|
2022-11-13 11:31:48 +03:00
|
|
|
|
"""
|
2023-06-02 00:18:58 +03:00
|
|
|
|
for streamer in config['twitch']['streamers'].split(','):
|
2021-07-18 05:39:06 +03:00
|
|
|
|
# Путь до диры со стримами
|
2023-06-02 00:18:58 +03:00
|
|
|
|
path = config['app']['path'] + "/" + streamer
|
2021-09-25 14:54:26 +03:00
|
|
|
|
# Получаем инфо о стримере, если не получается, выходим с ошибкой
|
2022-11-13 12:43:03 +03:00
|
|
|
|
|
|
|
|
|
# resolved_id = client.users.translate_usernames_to_ids(i)
|
2023-06-02 00:18:58 +03:00
|
|
|
|
resolved_id = twitch_client.get_users(logins=[streamer])
|
2022-11-13 12:43:03 +03:00
|
|
|
|
if not resolved_id['data']:
|
2021-09-25 14:25:34 +03:00
|
|
|
|
log.error(
|
2023-06-02 00:18:58 +03:00
|
|
|
|
"Аккаунт " + streamer + " не найден"
|
2021-09-25 14:25:34 +03:00
|
|
|
|
)
|
2023-06-01 23:35:39 +03:00
|
|
|
|
continue
|
2021-09-25 14:54:26 +03:00
|
|
|
|
# Создаем путь до диры со стримером, если папка не существует
|
|
|
|
|
if not (os.path.exists(path)):
|
|
|
|
|
os.makedirs(path)
|
2023-06-02 00:18:58 +03:00
|
|
|
|
log.info("Создана директория " + streamer)
|
2021-09-25 14:54:26 +03:00
|
|
|
|
# Достаем ID стримера из инфо
|
2022-11-13 12:43:03 +03:00
|
|
|
|
user_id = resolved_id['data'][0]['id']
|
|
|
|
|
user_stream = twitch_client.get_streams(user_id=user_id)
|
2021-07-18 05:39:06 +03:00
|
|
|
|
# Если стрим идет, то идем дальше
|
2022-11-13 12:43:03 +03:00
|
|
|
|
if user_stream['data']:
|
2021-07-18 05:39:06 +03:00
|
|
|
|
# Если стрим идет и лок файла нет, то записываем и ставим лок
|
2023-06-01 23:06:46 +03:00
|
|
|
|
if (user_stream['data'][0]['type'] == 'live') and not (
|
2023-06-02 00:18:58 +03:00
|
|
|
|
os.path.exists(config['app']['path'] + "/" + streamer + "/pid")):
|
|
|
|
|
log.info(streamer + " стримит")
|
|
|
|
|
start_recording(streamer)
|
2023-06-01 23:06:46 +03:00
|
|
|
|
open(config['app']['path'] + "/pid", 'w').close
|
2021-07-18 05:39:06 +03:00
|
|
|
|
else:
|
2021-09-23 06:27:54 +03:00
|
|
|
|
log.info(
|
2023-06-02 00:18:58 +03:00
|
|
|
|
"Идет запись " + streamer
|
2021-09-23 06:27:54 +03:00
|
|
|
|
)
|
2021-07-18 03:06:08 +03:00
|
|
|
|
else:
|
2021-07-18 05:39:06 +03:00
|
|
|
|
# Если стрим не идет, то пишем об этом и убираем его из залоченных
|
2023-06-02 00:18:58 +03:00
|
|
|
|
log.info(streamer + " Не стримит")
|
2021-07-18 22:16:03 +03:00
|
|
|
|
# Если есть лок, то удаляем
|
2022-11-13 11:31:48 +03:00
|
|
|
|
if os.path.exists(path + "/pid"):
|
2023-06-01 23:06:46 +03:00
|
|
|
|
os.remove(path + "/pid")
|
2021-07-18 05:39:06 +03:00
|
|
|
|
|
2021-07-18 03:06:08 +03:00
|
|
|
|
|
2023-06-01 23:22:56 +03:00
|
|
|
|
def remove_old_streams():
|
2021-07-22 08:30:37 +03:00
|
|
|
|
# https://clck.ru/WHh32
|
2023-06-01 23:06:46 +03:00
|
|
|
|
records_path = config['app']['path']
|
2021-07-23 04:07:53 +03:00
|
|
|
|
# По каждой папке со стримерами
|
2023-06-02 00:18:58 +03:00
|
|
|
|
for streamer in config['twitch']['streamers']:
|
2021-09-23 03:59:05 +03:00
|
|
|
|
try:
|
2023-06-02 00:18:58 +03:00
|
|
|
|
os.chdir(records_path + "/" + streamer)
|
2021-09-23 03:59:05 +03:00
|
|
|
|
# Если файлов в папке со стримами больше чем указано в конфиге
|
2023-06-02 00:18:58 +03:00
|
|
|
|
if len(os.listdir(records_path + "/" + streamer)) > int(config['app']['max_files']):
|
2021-09-23 03:59:05 +03:00
|
|
|
|
# Получаем список файлов
|
|
|
|
|
# и смотрим, превышает ли кол-во mp4 файлов заданное в конфиге
|
|
|
|
|
# Если превышает - удаляем старейший
|
2023-06-02 00:18:58 +03:00
|
|
|
|
oldest = min(os.listdir(records_path + "/" + streamer),
|
2021-09-23 04:11:36 +03:00
|
|
|
|
key=os.path.getctime)
|
2021-09-23 03:59:05 +03:00
|
|
|
|
os.unlink(oldest)
|
|
|
|
|
log.warning("Удален файл: " + oldest)
|
|
|
|
|
except Exception as e:
|
|
|
|
|
log.error(e)
|
|
|
|
|
|
2021-09-23 04:11:36 +03:00
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
def get_console_handler():
|
|
|
|
|
console_handler = logging.StreamHandler(sys.stdout)
|
|
|
|
|
console_handler.setFormatter(log_format)
|
|
|
|
|
return console_handler
|
|
|
|
|
|
2021-09-23 04:11:36 +03:00
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
def get_file_handler():
|
|
|
|
|
file_handler = TimedRotatingFileHandler(log_file, when='midnight')
|
|
|
|
|
file_handler.setFormatter(log_format)
|
|
|
|
|
return file_handler
|
|
|
|
|
|
2021-09-23 04:11:36 +03:00
|
|
|
|
|
2023-06-02 00:10:24 +03:00
|
|
|
|
class CustomFormatter(logging.Formatter):
|
|
|
|
|
|
|
|
|
|
grey = "\x1b[38;20m"
|
|
|
|
|
yellow = "\x1b[33;20m"
|
|
|
|
|
red = "\x1b[31;20m"
|
|
|
|
|
bold_red = "\x1b[31;1m"
|
|
|
|
|
reset = "\x1b[0m"
|
|
|
|
|
format = "%(asctime)s %(levelname)s - %(message)s"
|
|
|
|
|
|
|
|
|
|
FORMATS = {
|
|
|
|
|
logging.DEBUG: grey + format + reset,
|
|
|
|
|
logging.INFO: grey + format + reset,
|
|
|
|
|
logging.WARNING: yellow + format + reset,
|
|
|
|
|
logging.ERROR: red + format + reset,
|
|
|
|
|
logging.CRITICAL: bold_red + format + reset
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
def format(self, record):
|
|
|
|
|
log_fmt = self.FORMATS.get(record.levelno)
|
|
|
|
|
formatter = logging.Formatter(log_fmt)
|
|
|
|
|
return formatter.format(record)
|
|
|
|
|
|
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
def get_logger(logger_name):
|
2023-06-02 00:10:24 +03:00
|
|
|
|
"""
|
|
|
|
|
Инициализация лога
|
|
|
|
|
"""
|
2021-09-23 03:59:05 +03:00
|
|
|
|
logger = logging.getLogger(logger_name)
|
|
|
|
|
logger.setLevel(logging.DEBUG)
|
2023-06-02 00:10:24 +03:00
|
|
|
|
|
|
|
|
|
# Console logging
|
|
|
|
|
console = get_console_handler()
|
|
|
|
|
console.setFormatter(CustomFormatter())
|
|
|
|
|
logger.addHandler(console)
|
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
logger.addHandler(get_file_handler())
|
|
|
|
|
logger.propagate = False
|
|
|
|
|
return logger
|
|
|
|
|
|
2021-07-18 03:06:08 +03:00
|
|
|
|
|
|
|
|
|
if __name__ == "__main__":
|
2021-07-23 04:07:53 +03:00
|
|
|
|
# Проверить, установлены ли нужные утилиты
|
2023-06-01 23:22:56 +03:00
|
|
|
|
if not check_installed_tools():
|
2021-09-23 04:11:36 +03:00
|
|
|
|
exit()
|
2021-09-23 03:59:05 +03:00
|
|
|
|
|
2023-06-01 23:06:46 +03:00
|
|
|
|
# Set config
|
|
|
|
|
config = set_config()
|
|
|
|
|
|
2021-09-23 03:59:05 +03:00
|
|
|
|
# Log config
|
|
|
|
|
log = get_logger("main")
|
|
|
|
|
log.info("Запущен")
|
|
|
|
|
|
2021-07-23 04:07:53 +03:00
|
|
|
|
# Проверять стримы раз в check_period
|
2023-06-01 23:22:56 +03:00
|
|
|
|
schedule.every(int(config['app']['check_period'])).seconds.do(check_stream)
|
2021-07-23 04:07:53 +03:00
|
|
|
|
# Каждый час удалять старые стримы
|
2023-06-01 23:22:56 +03:00
|
|
|
|
schedule.every(1).hours.do(remove_old_streams)
|
2021-09-23 03:59:05 +03:00
|
|
|
|
|
2023-06-01 23:06:46 +03:00
|
|
|
|
twitch_client = Twitch(config['twitch']['app_id'], config['twitch']['app_secret'])
|
2021-07-23 02:04:09 +03:00
|
|
|
|
while True:
|
|
|
|
|
schedule.run_pending()
|
2021-09-23 03:59:05 +03:00
|
|
|
|
time.sleep(1)
|