twitch-autosave/daemon.py

#!/usr/bin/python3

# TODO: Перезапускать скрипт при обнаружении новой версии

import os
import sys
from threading import Thread
import configparser
import schedule
from twitchAPI.twitch import Twitch
import subprocess
import time
import logging
from logging.handlers import TimedRotatingFileHandler

log_format = logging.Formatter('%(asctime)s %(levelname)s - %(message)s')
log_file = 'output.log'
cfg_file = 'config.ini'


def get_console_handler():
    console_handler = logging.StreamHandler(sys.stdout)
    console_handler.setFormatter(log_format)
    return console_handler


def get_file_handler():
    file_handler = TimedRotatingFileHandler(log_file, when='midnight')
    file_handler.setFormatter(log_format)
    return file_handler


class CustomFormatter(logging.Formatter):

    grey = "\x1b[38;20m"
    yellow = "\x1b[33;20m"
    red = "\x1b[31;20m"
    bold_red = "\x1b[31;1m"
    reset = "\x1b[0m"
    format = "%(asctime)s %(levelname)s - %(message)s"

    FORMATS = {
        logging.DEBUG: grey + format + reset,
        logging.INFO: grey + format + reset,
        logging.WARNING: yellow + format + reset,
        logging.ERROR: red + format + reset,
        logging.CRITICAL: bold_red + format + reset
    }

    def format(self, record):
        log_fmt = self.FORMATS.get(record.levelno)
        formatter = logging.Formatter(log_fmt)
        return formatter.format(record)


def get_logger(logger_name):
    """
    Инициализация лога
    """
    logger = logging.getLogger(logger_name)
    logger.setLevel(logging.DEBUG)

    # Console logging
    console = get_console_handler()
    console.setFormatter(CustomFormatter())
    logger.addHandler(console)

    logger.addHandler(get_file_handler())
    logger.propagate = False
    return logger


def set_config():
    """
    Эта функция либо читает существующий конфиг, либо создает новый.
    Возвращает объект конфига (configparser.ConfigParser())
    """
    config = configparser.ConfigParser()
    if not config.read('cfg_file.ini'):
        config["app"] = {
            "path": "",
            "check_period": 5,
            "max_files": 3
        }
        config["twitch"] = {
            "app_id": "",
            "app_secret": "",
            "streamers": "asdf,qqqqq"
        }
        with open('cfg_file.ini', 'w') as cfg_file:
            config.write(cfg_file)
    return config


def which(command) -> bool:
    # Пиздец, почему нет нормального аналога which из bash???
    """
    Мой аналог which из bash'а, который отдает true или false
    при наличии или отсутствии утилиты
    """
    for dirs in os.get_exec_path():
        if command in os.listdir(dirs):
            # Если что-нибудь нашли, то True
            return True
    # Если ничего не нашли во всех дирах, то выходим с False
    return False


def check_installed_tools() -> bool:
    """
    Проверяет, установлены ли необходимые утилиты
    """
    tools = ('youtube-dl', 'ffmpeg')
    for tool in tools:
        if not which(tool):
            log.critical("{} не установлен".format(tool))
            return False
    return True


def recorder(streamer):
    """
    Функция, которая запускает youtube-dl, фактически записывает стрим
    """
    streamer_path = os.path.join(config['app']['path'], streamer)
    log.info("Записываем стрим {}\n".format(streamer))
    # cmdline для запуска youtube-dl
    cmdline = ["youtube-dl", "-q", "-o",
               streamer_path + "/%(upload_date)s_%(title)s__%(timestamp)s_%(id)s.%(ext)s",
               "https://twitch.tv/{}".format(streamer)]
    subprocess.call(cmdline)
    log.info("Запись стрима {} закончена\n".format(streamer))
    if os.path.exists(os.path.join(streamer_path, "pid")):
        os.remove(os.path.join(streamer_path, "pid"))
        log.info("lock файл удален")


def check_stream():
    # FIXME: Распилить на более мелкие функции
    """
    1. Проверка на наличие стрима
    1.1 Если нет - удалить lock файл, если он есть
    1.2 Если есть - создать lock файл, запустить записывалку
    """
    for streamer in config['twitch']['streamers'].split(','):
        # Путь до диры со стримами
        streamer_path = os.path.join(config['app']['path'], streamer)
        # Получаем инфо о стримере, если не получается, выходим с ошибкой

        # resolved_id = client.users.translate_usernames_to_ids(i)
        resolved_id = twitch_client.get_users(logins=[streamer])
        if not resolved_id['data']:
            log.error(
                "Аккаунт {} не найден".format(streamer)
            )
            continue
        # Создаем путь до диры со стримером, если папка не существует
        if not (os.path.exists(streamer_path)):
            os.makedirs(streamer_path)
            log.info("Создана директория {}".format(streamer_path))
        # Достаем ID стримера из инфо
        user_id = resolved_id['data'][0]['id']
        user_stream = twitch_client.get_streams(user_id=user_id)
        # Если стрим идет, то идем дальше
        if user_stream['data']:
            # Если стрим идет и лок файла нет, то записываем и ставим лок
            if (user_stream['data'][0]['type'] == 'live') and not (
                    os.path.exists(os.path.join(streamer_path, "pid"))):
                log.info("{} стримит".format(streamer))
                th = Thread(target=recorder, args=(streamer,))
                th.start()
                os.mknod(os.path.join(streamer_path, "pid"))
            else:
                log.info(
                    "Идет запись {}".format(streamer)
                )
        else:
            # Если стрим не идет, то пишем об этом и убираем его из залоченных
            log.info("{} не стримит".format(streamer))
            # Если есть лок, то удаляем
            if os.path.exists(os.path.join(streamer_path, "pid")):
                os.remove(os.path.join(streamer_path, "pid"))


def remove_old_streams():
    # https://clck.ru/WHh32
    records_path = config['app']['path']
    # По каждой папке со стримерами
    for streamer in config['twitch']['streamers']:
        try:
            streamer_dir_path = os.path.join(records_path, streamer)
            os.chdir(streamer_dir_path)
            # Если файлов в папке со стримами больше чем указано в конфиге
            if len(os.listdir(streamer_dir_path)) > int(config['app']['max_files']):
                # Получаем список файлов
                # и смотрим, превышает ли кол-во mp4 файлов заданное в конфиге
                # Если превышает - удаляем старейший
                oldest = min(os.listdir(streamer_dir_path),
                             key=os.path.getctime)
                os.unlink(oldest)
                log.warning("Удален файл: {}".format(oldest))
        except Exception as e:
            log.error(e)


if __name__ == "__main__":
    # Проверить, установлены ли нужные утилиты
    if not check_installed_tools():
        exit()

    # Set config
    config = set_config()

    # Log config
    log = get_logger("main")

    # Проверять стримы раз в check_period
    # Каждый час удалять старые стримы
    schedule.every(int(config['app']['check_period'])).seconds.do(check_stream)
    schedule.every(1).hours.do(remove_old_streams)

    # Инициализируем клиент твича
    twitch_client = Twitch(config['twitch']['app_id'], config['twitch']['app_secret'])
    log.info("Запущен")
    while True:
        schedule.run_pending()
        time.sleep(1)