Фикс check_installed_tools() и проверка конфига

Reviewed-on: #13

.gitignore

@@ -2,3 +2,7 @@ list.sh
 config_python.py
 config_list.sh
 __pycache__
+.vscode
+.idea
+output.log*
+cfg_file.ini

README.md

@@ -1,18 +1,30 @@
 # Что это?
 
-Скрипт который проверяет и начинает запись live стримов
+Скрипт, который записывает стримы с твича, удаляет старые, ведет красивый лог с цветами (Alpha)
 
 # Как юзать?
 
-* Поставить youtube-dl, python-twitch-client (TODO: создать requirements.txt для автоматической установки)
+* Поставить youtube-dl, ffmpeg и другие пакеты из requirements.txt
 
-`pip3 install python-twitch-client youtube-dl`
+`apt install youtube-dl ffmpeg -y`
 
-* Переименовать файл conf_python.py.template в conf_python.py и добавить свой ключ (Можно получить на https://dev.twitch.tv/console)
+`pip install -r requirements.txt`
 
-* Переименовать файл list.sh.template в list.sh, добавить стримеров в параметре list (через пробел), изменить путь для сохранения стримов в path
+* Создать файл conf_python.py и добавить свой ключ (Можно получить на https://dev.twitch.tv/console), а также переменные из config_python.py.template: 
 
-* Добавить cron.sh в crontab, ну и офк убедиться что cron.service запущен (systemd timer не подойдет ибо он убивает child процессы после завершения работы родителя)
+```
+twitchid = "ID" # ID ключа
+streamers = ("jesusavgn", "252mart", "vi0xxx") # список стримеров в таком формате
+path = "/путь/до/диры/со/стримами" # путь до директории, куда писать стримы
+check_period = 5 # Частота проверки стримеров (в секундах)
+max_files = 3 # Сколько хранить стримов
+```
 
-`*/5 * * * * /opt/twitch-downloader/cron.sh`
+* Запустить скрипт в screen'е или создать для него systemd.service файл (или init.d, в зависимости от системы инициализации)
 
+# Updates
+
+## 2022-11-13
+
+В связи с переходом на новую библиотеку необходимо указывать 2 переменные авторизации - appid и appsecret. 
+twitchid это appid, а секретный ключ можно получить или перегенерировать в https://dev.twitch.tv/console 

check.sh

@@ -1,27 +0,0 @@
-#!/bin/bash
-##########
-# check if stream is live and start recording using youtube-dl
-##########
-
-full_path=$(dirname "$(realpath $0)")
-
-source $full_path/config_list.sh
-
-
-
-#check if not running, kill if running and stream is finished (broken record)
-# [ -f $storage_path/$1/pid ] && $full_path/lifeChk.py $1 && exit 0 || kill -9 $(cat $storage_path/$1/pid)
-
-#if pid exists and stream is live, than exit and do not start recording
-[ -f $storage_path/$1/pid ] && $full_path/lifeChk.py $1 $twitchid && exit 0
-
-#exit if no stream and remove lock
-$full_path/lifeChk.py $1 $twitchid || rm $storage_path/$1/pid ; exit 0
-
-echo $$ > $storage_path/$1/pid
-
-#set pid and start recording
-/home/losted/.local/bin/youtube-dl -v -o $storage_path/$1/"%(upload_date)s_%(title)s__%(timestamp)s_%(id)s.%(ext)s" twitch.tv/$1 >> $storage_path/$1/youtube-dl.log 2>&1 
-
-# remove pid
-rm $storage_path/$1/pid

config_list.sh.template

@@ -1,10 +0,0 @@
-#!/bin/bash
-###########
-#   just config file
-###########
-
-list="jesusavgn"
-twitchid="123456789qwertyuiops"
-storage_path="/media/nfs/twitch/automatedRecording"
-ytdl_path="/home/ubuntu/.local/bin"
-ytdl_conf="-o %(uploader)s__%(upload_date)s_%(timestamp)s__%(title)s_%(id)s.%(ext)s"

cron.sh

@@ -1,29 +0,0 @@
-#!/bin/bash
-##########
-# (actually main) script which cron (systemd.timer) starts by time
-##########
-full_path=$(dirname "$(realpath $0)")
-source $full_path/config_list.sh
-
-for i in $list; do
-    echo "$i is live?..."
-
-    #check folder
-    [ ! -d $storage_path/$i ] && mkdir -p $storage_path/$i && echo "Created dir $storage_path/$i"
-
-    #detached check & start
-    nohup bash $full_path/check.sh $i &>> $storage_path/$1/youtube-dl.log &
-    sleep 2
-    
-done
-
-#Show status
-echo 
-for i in $list; do
-    [[ -f $storage_path/$i/pid ]] && echo $i "is recording!" || echo $i "is not recording"
-done
-echo 
-echo "Removing old files (older than $ctime_remove days):"
-find $storage_path/ -ctime +$ctime_remove -name "*mp4*" 
-find $storage_path/ -ctime +$ctime_remove -name "*mp4*" -exec rm {} \;
-echo "Done"

daemon.py

@@ -1,52 +1,246 @@
 #!/usr/bin/python3
 
-# база со стримерами в json файле
+# TODO: Перезапускать скрипт при обнаружении новой версии
 
+import os
+import sys
 from threading import Thread
-import json
-import config_python
+import configparser
+import schedule
+from twitchAPI.twitch import Twitch
+import subprocess
+import time
+import logging
+from logging.handlers import TimedRotatingFileHandler
+
+log_format = logging.Formatter('%(asctime)s %(levelname)s - %(message)s')
+log_file = 'output.log'
+cfg_file = 'config.ini'
 
 
-def startRecord(i):
-    '''
-    Функция, которая запускает в отдельном потоке запись стрима - recorder(i)
-    '''
-    th = Thread(target=recorder, args=(i, ))
-    th.start()
+def get_console_handler():
+    console_handler = logging.StreamHandler(sys.stdout)
+    console_handler.setFormatter(log_format)
+    return console_handler
 
-def recorder(i):
-    '''
+
+def get_file_handler():
+    file_handler = TimedRotatingFileHandler(log_file, when='midnight')
+    file_handler.setFormatter(log_format)
+    return file_handler
+
+
+class CustomFormatter(logging.Formatter):
+
+    grey = "\x1b[38;20m"
+    yellow = "\x1b[33;20m"
+    red = "\x1b[31;20m"
+    bold_red = "\x1b[31;1m"
+    reset = "\x1b[0m"
+    format = "%(asctime)s %(levelname)s - %(message)s"
+
+    FORMATS = {
+        logging.DEBUG: grey + format + reset,
+        logging.INFO: grey + format + reset,
+        logging.WARNING: yellow + format + reset,
+        logging.ERROR: red + format + reset,
+        logging.CRITICAL: bold_red + format + reset
+    }
+
+    def format(self, record):
+        log_fmt = self.FORMATS.get(record.levelno)
+        formatter = logging.Formatter(log_fmt)
+        return formatter.format(record)
+
+
+def get_logger(logger_name):
+    """
+    Инициализация лога
+    """
+    logger = logging.getLogger(logger_name)
+    logger.setLevel(logging.DEBUG)
+
+    # Console logging
+    console = get_console_handler()
+    console.setFormatter(CustomFormatter())
+    logger.addHandler(console)
+
+    logger.addHandler(get_file_handler())
+    logger.propagate = False
+    return logger
+
+
+def set_config():
+    """
+    Эта функция либо читает существующий конфиг, либо создает новый.
+    Возвращает объект конфига (configparser.ConfigParser())
+    """
+    config = configparser.ConfigParser()
+    # Читаем конфиг, если пустой - заполняем
+    if not config.read('cfg_file.ini'):
+        config["app"] = {
+            "path": "",
+            "check_period": 5,
+            "max_files": 3
+        }
+        config["twitch"] = {
+            "app_id": "",
+            "app_secret": "",
+            "streamers": "t2x2,arcadia_online,252mart,the_viox"
+        }
+        with open('cfg_file.ini', 'w') as cfg_file:
+            config.write(cfg_file)
+
+    # Проверка конфига
+    if config['twitch']['app_id'] == "" or config['twitch']['app_secret'] == "":
+        log.critical("Параметры app_id или app_secret пусты. Необходимо заполнить эти параметры в конфиге. "
+                     "Читай README.md")
+        exit(1)
+
+    return config
+
+
+def which(command) -> bool:
+    # Пиздец, почему нет нормального аналога which из bash???
+    """
+    Мой аналог which из bash'а, который отдает true или false
+    при наличии или отсутствии утилиты
+    """
+    for dirs in os.get_exec_path():
+        if command in os.listdir(dirs):
+            # Если что-нибудь нашли, то True
+            return True
+    # Если ничего не нашли во всех дирах, то выходим с False
+    return False
+
+
+def check_installed_tools() -> bool:
+    """
+    Проверяет, установлены ли необходимые утилиты
+    """
+    tools = ('youtube-dl', 'ffmpeg')
+    for tool in tools:
+        if not which(tool):
+            log.critical("{} не установлен".format(tool))
+            return False
+    return True
+
+
+def recorder(streamer):
+    """
     Функция, которая запускает youtube-dl, фактически записывает стрим
-    '''
-    print("Записываем стрим %s\n" % i)
-    # FIXME: пофиксить абсолютный путь
-    cmdline = ["/home/losted/.local/bin/youtube-dl","twitch.tv/"+i]
-    import subprocess
-    s = subprocess.call(cmdline)
-    print("Запись стрима %s закончена\n" % i)
+    """
+    streamer_path = os.path.join(config['app']['path'], streamer)
+    log.info("Записываем стрим {}".format(streamer))
+    # cmdline для запуска youtube-dl
+    cmdline = ["youtube-dl", "-q", "-o",
+               streamer_path + "/%(upload_date)s_%(title)s__%(timestamp)s_%(id)s.%(ext)s",
+               "https://twitch.tv/{}".format(streamer)]
+    subprocess.call(cmdline)
+    log.info("Запись стрима {} закончена".format(streamer))
+    if os.path.exists(os.path.join(streamer_path, "pid")):
+        os.remove(os.path.join(streamer_path, "pid"))
+        log.info("lock файл удален")
 
-def checkAlive(streamers, client_id):
-    '''
-    1. Проверка на наличие стрима
-    1.1 Если нет - удалить lock файл, если он есть
-    1.2 Если есть - создать lock файл, запустить записывалку
-    '''
 
-    from twitch import TwitchClient
-    client = TwitchClient(client_id=client_id)
-
-    for i in streamers:
-        # Если есть такой стример - проверяем, идет ли стрим
-        user_id=client.users.translate_usernames_to_ids(i)[0]['id'] #Получить ID по нику
-        # Это зачем проверка?
-        if client.streams.get_stream_by_user(user_id):
-            # Если стрим идет то записываем
-            if client.streams.get_stream_by_user(user_id).stream_type == 'live':
-                startRecord(i)
+def get_streamer_id(streamer):
+    """Получаем id стримера, при неудаче отдаем None"""
+    resolved_id = twitch_client.get_users(logins=[streamer])
+    if resolved_id['data']:
+        return resolved_id['data'][0]['id']
     else:
-            print(i+" Не стримит")
+        log.error(
+            "Аккаунт {} не найден".format(streamer)
+        )
+        return None
 
 
+def record_streamer(user_stream, streamer):
+    """Проверяем, идет ли стрим. Если идет - записываем. Если не идет - удаляем pid файл"""
+    streamer_path = os.path.join(config['app']['path'], streamer)
+    if user_stream['data']:
+        # Создаем путь до диры со стримером, если папка не существует
+        if not (os.path.exists(streamer_path)):
+            os.makedirs(streamer_path)
+            log.info("Создана директория {}".format(streamer_path))
+
+        # Если стрим идет и лок файла нет, то записываем и ставим лок
+        if (user_stream['data'][0]['type'] == 'live') and not (
+                os.path.exists(os.path.join(streamer_path, "pid"))):
+            log.info("{} стримит".format(streamer))
+            th = Thread(target=recorder, args=(streamer,))
+            th.start()
+            os.mknod(os.path.join(streamer_path, "pid"))
+        else:
+            log.info(
+                "Идет запись {}".format(streamer)
+            )
+    else:
+        # Если стрим не идет, то пишем об этом и убираем его из залоченных
+        log.debug("{} не стримит".format(streamer))
+        # Если есть лок, то удаляем
+        if os.path.exists(os.path.join(streamer_path, "pid")):
+            os.remove(os.path.join(streamer_path, "pid"))
+
+
+def streamers_loop():
+    """
+    Цикл по стримерам
+    Проходится по каждому логину, достает ID стримера,
+    достает инфу о стримах, запускает функцию для записи
+    """
+    for streamer in config['twitch']['streamers'].split(','):
+
+        # Достаем ID стримера, если пустой - пропускаем цикл
+        user_id = get_streamer_id(streamer)
+        if user_id is None:
+            continue
+        # Получаем данные о стриме
+        user_stream = twitch_client.get_streams(user_id=user_id)
+        # Запускаем запись
+        record_streamer(user_stream, streamer)
+
+
+def remove_old_streams():
+    # https://clck.ru/WHh32
+    records_path = config['app']['path']
+    # По каждой папке со стримерами
+    for streamer in config['twitch']['streamers']:
+        try:
+            streamer_dir_path = os.path.join(records_path, streamer)
+            os.chdir(streamer_dir_path)
+            # Если файлов в папке со стримами больше чем указано в конфиге
+            if len(os.listdir(streamer_dir_path)) > int(config['app']['max_files']):
+                # Получаем список файлов
+                # и смотрим, превышает ли кол-во mp4 файлов заданное в конфиге
+                # Если превышает - удаляем старейший
+                oldest = min(os.listdir(streamer_dir_path),
+                             key=os.path.getctime)
+                os.unlink(oldest)
+                log.warning("Удален файл: {}".format(oldest))
+        except Exception as e:
+            log.error(e)
+
 
 if __name__ == "__main__":
-    checkAlive(config_python.streamers, config_python.twitchid)
+    # Log config
+    log = get_logger("main")
+
+    # Проверить, установлены ли нужные утилиты
+    if not check_installed_tools():
+        exit()
+
+    # Set config
+    config = set_config()
+
+    # Проверять стримы раз в check_period
+    # Каждый час удалять старые стримы
+    schedule.every(int(config['app']['check_period'])).seconds.do(streamers_loop)
+    schedule.every(1).hours.do(remove_old_streams)
+
+    # Инициализируем клиент твича
+    twitch_client = Twitch(config['twitch']['app_id'], config['twitch']['app_secret'])
+    log.info("Запущен")
+    while True:
+        schedule.run_pending()
+        time.sleep(1)

lifeChk.py

@@ -1,21 +0,0 @@
-#!/usr/bin/python3
-#################
-# return 0 if streamer is live (continue execution while in bash), 1 if not
-#################
-import sys
-if (not sys.argv[1]) or (not sys.argv[2]):
-       sys.exit(2)
-
-from twitch import TwitchClient
-
-client = TwitchClient(client_id=sys.argv[2]) #client init
-user_id=client.users.translate_usernames_to_ids(sys.argv[1])[0].id #get id
-#get live by id (if var not empty)
-
-if client.streams.get_stream_by_user(user_id):
-    print(user_id)
-    print(client.streams.get_stream_by_user(user_id).stream_type)
-    if client.streams.get_stream_by_user(user_id).stream_type == 'live':
-        sys.exit(0)
-
-sys.exit(1)

requirements.txt

@@ -1,2 +1,3 @@
-youtube-dl==2021.4.17
-python-twitch-client==0.7.1
+youtube-dl==2021.12.17
+twitchAPI==2.5.7.1
+schedule==1.2.0