.gitignore

@@ -4,5 +4,4 @@ config_list.sh
 __pycache__
 .vscode
 .idea
-output.log*
+output.log
-cfg_file.ini

config_python.py.template

@@ -0,0 +1,5 @@
+appid=""
+appsecret=""
+streamers = ("jesusavgn", "252mart", "vi0xxx")
+path="/home/losted/test"
+period = 5

daemon.py

@@ -1,21 +1,150 @@
 #!/usr/bin/python3
 
 # TODO: Перезапускать скрипт при обнаружении новой версии
+# TODO: Сделать нормальную конфигурацию
 
 import os
 import sys
 from threading import Thread
-import configparser
+from types import resolve_bases
+import config_python
 import schedule
 from twitchAPI.twitch import Twitch
 import subprocess
 import time
 import logging
 from logging.handlers import TimedRotatingFileHandler
+from termcolor import colored
 
-log_format = logging.Formatter('%(asctime)s %(levelname)s - %(message)s')
+streamers = config_python.streamers
+app_id = config_python.appid
+app_secret = config_python.appsecret
+
+log_format = logging.Formatter('%(asctime)s %(levelname)s:%(message)s')
 log_file = 'output.log'
-cfg_file = 'config.ini'
+
+
+def which(command):
+    # Пиздец, почему нет нормального аналога which из bash???
+    """
+    Мой аналог which из bash'а, который отдает true или false
+    при наличии или отсутствии утилиты
+    """
+    for dirs in os.get_exec_path():
+        if command in os.listdir(dirs):
+            # Если что-нибудь нашли, то True
+            return True
+    # Если ничего не нашли во всех дирах, то выходим с False
+    return False
+
+
+def checkTools():
+    """
+    Проверяет, установлены ли необходимые утилиты
+    """
+    tools = ('youtube-dl', 'ffmpeg')
+    for i in tools:
+        if not which(i):
+            log.critical(i + " не установлен")
+            return False
+    return True
+
+
+def startRecord(i):
+    """
+    Функция, которая запускает в отдельном потоке запись стрима - recorder(i)
+    """
+    th = Thread(target=recorder, args=(i, ))
+    th.start()
+
+
+def recorder(i):
+    """
+    Функция, которая запускает youtube-dl, фактически записывает стрим
+    """
+    path = config_python.path + "/" + i
+    log.info("Записываем стрим %s\n" % i)
+    # cmdline для запуска youtube-dl
+    cmdline = ["youtube-dl", "-q", "-o",
+               path+"/%(upload_date)s_%(title)s__%(timestamp)s_%(id)s.%(ext)s",
+               "https://twitch.tv/" + i]
+    subprocess.call(cmdline)
+    log.info("Запись стрима %s закончена\n" % i)
+    if os.path.exists(path + "/pid"):
+        os.remove(path+"/pid")
+        log.info("lock файл удален")
+
+
+def checkAlive():
+    # FIXME: Распилить ну более мелкие функции
+    """
+    1. Проверка на наличие стрима
+    1.1 Если нет - удалить lock файл, если он есть
+    1.2 Если есть - создать lock файл, запустить записывалку
+    """
+    for i in streamers:
+        # Путь до диры со стримами
+        path = config_python.path + "/" + i
+        # Получаем инфо о стримере, если не получается, выходим с ошибкой
+
+        # resolved_id = client.users.translate_usernames_to_ids(i)
+        resolved_id = twitch_client.get_users(logins=[i])
+        if not resolved_id['data']:
+            log.error(
+                colored(
+                    "Аккаунт " + i + " не найден",
+                    'red',
+                )
+            )
+            break
+        # Создаем путь до диры со стримером, если папка не существует
+        if not (os.path.exists(path)):
+            os.makedirs(path)
+            log.info("Создана директория " + i)
+        # Достаем ID стримера из инфо
+        user_id = resolved_id['data'][0]['id']
+        user_stream = twitch_client.get_streams(user_id=user_id)
+        # Если стрим идет, то идем дальше
+        if user_stream['data']:
+            # Если стрим идет и лок файла нет, то записываем и ставим лок
+            if (user_stream['data'][0]['type'] == 'live') and not (os.path.exists(config_python.path+"/"+i+"/pid")):
+                log.info(i + " стримит")
+                startRecord(i)
+                open(path+"/pid", 'w').close
+            else:
+                log.info(
+                    colored(
+                        "Идет запись " + i,
+                        'red',
+                        attrs=['bold']
+                    )
+                )
+        else:
+            # Если стрим не идет, то пишем об этом и убираем его из залоченных
+            log.info(i + " Не стримит")
+            # Если есть лок, то удаляем
+            if os.path.exists(path + "/pid"):
+                os.remove(path+"/pid")
+
+
+def removeOldStreams():
+    # https://clck.ru/WHh32
+    records_path = config_python.path
+    # По каждой папке со стримерами
+    for i in streamers:
+        try:
+            os.chdir(records_path+"/"+i)
+            # Если файлов в папке со стримами больше чем указано в конфиге
+            if len(os.listdir(records_path+"/"+i)) > config_python.max_files:
+                # Получаем список файлов
+                # и смотрим, превышает ли кол-во mp4 файлов заданное в конфиге
+                # Если превышает - удаляем старейший
+                oldest = min(os.listdir(records_path+"/"+i),
+                             key=os.path.getctime)
+                os.unlink(oldest)
+                log.warning("Удален файл: " + oldest)
+        except Exception as e:
+            log.error(e)
 
 
 def get_console_handler():
@@ -30,217 +159,30 @@ def get_file_handler():
     return file_handler
 
 
-class CustomFormatter(logging.Formatter):
-
-    grey = "\x1b[38;20m"
-    yellow = "\x1b[33;20m"
-    red = "\x1b[31;20m"
-    bold_red = "\x1b[31;1m"
-    reset = "\x1b[0m"
-    format = "%(asctime)s %(levelname)s - %(message)s"
-
-    FORMATS = {
-        logging.DEBUG: grey + format + reset,
-        logging.INFO: grey + format + reset,
-        logging.WARNING: yellow + format + reset,
-        logging.ERROR: red + format + reset,
-        logging.CRITICAL: bold_red + format + reset
-    }
-
-    def format(self, record):
-        log_fmt = self.FORMATS.get(record.levelno)
-        formatter = logging.Formatter(log_fmt)
-        return formatter.format(record)
-
-
 def get_logger(logger_name):
-    """
-    Инициализация лога
-    """
     logger = logging.getLogger(logger_name)
     logger.setLevel(logging.DEBUG)
-
+    logger.addHandler(get_console_handler())
-    # Console logging
-    console = get_console_handler()
-    console.setFormatter(CustomFormatter())
-    logger.addHandler(console)
-
     logger.addHandler(get_file_handler())
     logger.propagate = False
     return logger
 
 
-def set_config():
-    """
-    Эта функция либо читает существующий конфиг, либо создает новый.
-    Возвращает объект конфига (configparser.ConfigParser())
-    """
-    config = configparser.ConfigParser()
-    # Читаем конфиг, если пустой - заполняем
-    if not config.read('cfg_file.ini'):
-        config["app"] = {
-            "path": "",
-            "check_period": 5,
-            "max_files": 3
-        }
-        config["twitch"] = {
-            "app_id": "",
-            "app_secret": "",
-            "streamers": "t2x2,arcadia_online,252mart,the_viox"
-        }
-        with open('cfg_file.ini', 'w') as cfg_file:
-            config.write(cfg_file)
-
-    # Проверка конфига
-    if config['twitch']['app_id'] == "" or config['twitch']['app_secret'] == "":
-        log.critical("Параметры app_id или app_secret пусты. Необходимо заполнить эти параметры в конфиге. "
-                     "Читай README.md")
-        exit(1)
-
-    return config
-
-
-def which(command) -> bool:
-    # Пиздец, почему нет нормального аналога which из bash???
-    """
-    Мой аналог which из bash'а, который отдает true или false
-    при наличии или отсутствии утилиты
-    """
-    for dirs in os.get_exec_path():
-        if command in os.listdir(dirs):
-            # Если что-нибудь нашли, то True
-            return True
-    # Если ничего не нашли во всех дирах, то выходим с False
-    return False
-
-
-def check_installed_tools() -> bool:
-    """
-    Проверяет, установлены ли необходимые утилиты
-    """
-    tools = ('youtube-dl', 'ffmpeg')
-    for tool in tools:
-        if not which(tool):
-            log.critical("{} не установлен".format(tool))
-            return False
-    return True
-
-
-def recorder(streamer):
-    """
-    Функция, которая запускает youtube-dl, фактически записывает стрим
-    """
-    streamer_path = os.path.join(config['app']['path'], streamer)
-    log.info("Записываем стрим {}".format(streamer))
-    # cmdline для запуска youtube-dl
-    cmdline = ["youtube-dl", "-q", "-o",
-               streamer_path + "/%(upload_date)s_%(title)s__%(timestamp)s_%(id)s.%(ext)s",
-               "https://twitch.tv/{}".format(streamer)]
-    subprocess.call(cmdline)
-    log.info("Запись стрима {} закончена".format(streamer))
-    if os.path.exists(os.path.join(streamer_path, "pid")):
-        os.remove(os.path.join(streamer_path, "pid"))
-        log.info("lock файл удален")
-
-
-def get_streamer_id(streamer):
-    """Получаем id стримера, при неудаче отдаем None"""
-    resolved_id = twitch_client.get_users(logins=[streamer])
-    if resolved_id['data']:
-        return resolved_id['data'][0]['id']
-    else:
-        log.error(
-            "Аккаунт {} не найден".format(streamer)
-        )
-        return None
-
-
-def record_streamer(user_stream, streamer):
-    """Проверяем, идет ли стрим. Если идет - записываем. Если не идет - удаляем pid файл"""
-    streamer_path = os.path.join(config['app']['path'], streamer)
-    if user_stream['data']:
-        # Создаем путь до диры со стримером, если папка не существует
-        if not (os.path.exists(streamer_path)):
-            os.makedirs(streamer_path)
-            log.info("Создана директория {}".format(streamer_path))
-
-        # Если стрим идет и лок файла нет, то записываем и ставим лок
-        if (user_stream['data'][0]['type'] == 'live') and not (
-                os.path.exists(os.path.join(streamer_path, "pid"))):
-            log.info("{} стримит".format(streamer))
-            th = Thread(target=recorder, args=(streamer,))
-            th.start()
-            os.mknod(os.path.join(streamer_path, "pid"))
-        else:
-            log.info(
-                "Идет запись {}".format(streamer)
-            )
-    else:
-        # Если стрим не идет, то пишем об этом и убираем его из залоченных
-        log.debug("{} не стримит".format(streamer))
-        # Если есть лок, то удаляем
-        if os.path.exists(os.path.join(streamer_path, "pid")):
-            os.remove(os.path.join(streamer_path, "pid"))
-
-
-def streamers_loop():
-    """
-    Цикл по стримерам
-    Проходится по каждому логину, достает ID стримера,
-    достает инфу о стримах, запускает функцию для записи
-    """
-    for streamer in config['twitch']['streamers'].split(','):
-
-        # Достаем ID стримера, если пустой - пропускаем цикл
-        user_id = get_streamer_id(streamer)
-        if user_id is None:
-            continue
-        # Получаем данные о стриме
-        user_stream = twitch_client.get_streams(user_id=user_id)
-        # Запускаем запись
-        record_streamer(user_stream, streamer)
-
-
-def remove_old_streams():
-    # https://clck.ru/WHh32
-    records_path = config['app']['path']
-    # По каждой папке со стримерами
-    for streamer in config['twitch']['streamers']:
-        try:
-            streamer_dir_path = os.path.join(records_path, streamer)
-            os.chdir(streamer_dir_path)
-            # Если файлов в папке со стримами больше чем указано в конфиге
-            if len(os.listdir(streamer_dir_path)) > int(config['app']['max_files']):
-                # Получаем список файлов
-                # и смотрим, превышает ли кол-во mp4 файлов заданное в конфиге
-                # Если превышает - удаляем старейший
-                oldest = min(os.listdir(streamer_dir_path),
-                             key=os.path.getctime)
-                os.unlink(oldest)
-                log.warning("Удален файл: {}".format(oldest))
-        except Exception as e:
-            log.error(e)
-
-
 if __name__ == "__main__":
-    # Log config
-    log = get_logger("main")
-
     # Проверить, установлены ли нужные утилиты
-    if not check_installed_tools():
+    if not checkTools():
         exit()
 
-    # Set config
+    # Log config
-    config = set_config()
+    log = get_logger("main")
+    log.info("Запущен")
 
     # Проверять стримы раз в check_period
+    schedule.every(config_python.check_period).seconds.do(checkAlive)
     # Каждый час удалять старые стримы
-    schedule.every(int(config['app']['check_period'])).seconds.do(streamers_loop)
+    schedule.every(1).hours.do(removeOldStreams)
-    schedule.every(1).hours.do(remove_old_streams)
 
-    # Инициализируем клиент твича
+    twitch_client = Twitch(app_id, app_secret)
-    twitch_client = Twitch(config['twitch']['app_id'], config['twitch']['app_secret'])
-    log.info("Запущен")
     while True:
         schedule.run_pending()
         time.sleep(1)

requirements.txt

@@ -1,3 +1,4 @@
-youtube-dl==2021.12.17
+youtube-dl==2021.4.17
 twitchAPI==2.5.7.1
-schedule==1.2.0
+schedule
+termcolor