]> jfr.im git - yt-dlp.git/commitdiff
[cleanup,build] Cleanup some build-related code
authorpukkandan <redacted>
Wed, 27 Apr 2022 08:15:45 +0000 (13:45 +0530)
committerpukkandan <redacted>
Wed, 27 Apr 2022 10:42:36 +0000 (16:12 +0530)
Fixes an issue in 7ab56be2c7309a2d11d4ee28c71f8fb29da21ef7

Makefile
devscripts/bash-completion.py
devscripts/fish-completion.py
devscripts/make_issue_template.py
devscripts/make_lazy_extractors.py
devscripts/zsh-completion.py
pyinst.py
setup.py

index 0e911feba84e605e2802cc3f39f5138450772e6b..179aaff57de58642c7243241fad55ed2883f93a8 100644 (file)
--- a/Makefile
+++ b/Makefile
@@ -22,7 +22,9 @@ clean-dist:
        rm -rf yt-dlp.1.temp.md yt-dlp.1 README.txt MANIFEST build/ dist/ .coverage cover/ yt-dlp.tar.gz completions/ \
        yt_dlp/extractor/lazy_extractors.py *.spec CONTRIBUTING.md.tmp yt-dlp yt-dlp.exe yt_dlp.egg-info/ AUTHORS .mailmap
 clean-cache:
-       find . \( -name "*.pyc" -o -name "*.class" \) -delete
+       find . \( \
+               -type d -name .pytest_cache -o -type d -name __pycache__ -o -name "*.pyc" -o -name "*.class" \
+       \) -prune -exec rm -rf {} \;
 
 completion-bash: completions/bash/yt-dlp
 completion-fish: completions/fish/yt-dlp.fish
@@ -131,6 +133,7 @@ yt-dlp.tar.gz: all
                --exclude '*.pyo' \
                --exclude '*~' \
                --exclude '__pycache__' \
+               --exclude '.pytest_cache' \
                --exclude '.git' \
                -- \
                README.md supportedsites.md Changelog.md LICENSE \
index 27ec7ca7a69a000bcc2d56e0ddd340ea2d1254f0..268e8a2aee8d229ff2f2af3d2ef709e2c14f6738 100755 (executable)
@@ -24,5 +24,5 @@ def build_completion(opt_parser):
         f.write(filled_template)
 
 
-parser = yt_dlp.parseOpts()[0]
+parser = yt_dlp.parseOpts(ignore_config_files=True)[0]
 build_completion(parser)
index dcb1d6582ae3e9df3094151347de4c631dd65da3..d9c0048e2399e10cf1f18184737463793ae0a450 100755 (executable)
@@ -44,5 +44,5 @@ def build_completion(opt_parser):
         f.write(filled_template)
 
 
-parser = yt_dlp.parseOpts()[0]
+parser = yt_dlp.parseOpts(ignore_config_files=True)[0]
 build_completion(parser)
index 878b94166a5fe1c7ccb6ed56696d4de0dfa7950b..811a3e9b57670bd9243bba789373a1ef9860a30f 100644 (file)
@@ -3,6 +3,17 @@
 import optparse
 
 
+def read(fname):
+    with open(fname, encoding='utf-8') as f:
+        return f.read()
+
+
+# Get the version from yt_dlp/version.py without importing the package
+def read_version(fname):
+    exec(compile(read(fname), fname, 'exec'))
+    return locals()['__version__']
+
+
 def main():
     parser = optparse.OptionParser(usage='%prog INFILE OUTFILE')
     options, args = parser.parse_args()
@@ -10,18 +21,9 @@ def main():
         parser.error('Expected an input and an output filename')
 
     infile, outfile = args
-
-    with open(infile, encoding='utf-8') as inf:
-        issue_template_tmpl = inf.read()
-
-    # Get the version from yt_dlp/version.py without importing the package
-    exec(compile(open('yt_dlp/version.py').read(),
-                 'yt_dlp/version.py', 'exec'))
-
-    out = issue_template_tmpl % {'version': locals()['__version__']}
-
     with open(outfile, 'w', encoding='utf-8') as outf:
-        outf.write(out)
+        outf.write(
+            read(infile) % {'version': read_version('yt_dlp/version.py')})
 
 
 if __name__ == '__main__':
index 5e2070602653456e67d4a07131b9950e6519141d..6dc8fed90aa2d9ac7cf3c96199f59a01631a9bbb 100644 (file)
@@ -21,7 +21,7 @@
 if os.path.exists(plugins_blocked_dirname):
     os.rename(plugins_blocked_dirname, plugins_dirname)
 
-with open('devscripts/lazy_load_template.py') as f:
+with open('devscripts/lazy_load_template.py', encoding='utf-8') as f:
     module_template = f.read()
 
 CLASS_PROPERTIES = ['ie_key', 'working', '_match_valid_url', 'suitable', '_match_id', 'get_temp_id']
index 06660d8fd47a482a89fd59a0f32b3cbff156680d..59faea06a2feb82cd821e18078f5016ca5d3cd89 100755 (executable)
@@ -43,5 +43,5 @@ def build_completion(opt_parser):
         f.write(template)
 
 
-parser = yt_dlp.parseOpts()[0]
+parser = yt_dlp.parseOpts(ignore_config_files=True)[0]
 build_completion(parser)
index c63d879a0b64939e4999173fcde8fe760271cd79..bc3c58ff8bf9046dc172def7cdd62ed38265715c 100644 (file)
--- a/pyinst.py
+++ b/pyinst.py
@@ -3,7 +3,7 @@
 import platform
 import sys
 
-from PyInstaller.utils.hooks import collect_submodules
+from PyInstaller.__main__ import run as run_pyinstaller
 
 OS_NAME = platform.system()
 if OS_NAME == 'Windows':
 elif OS_NAME == 'Darwin':
     pass
 else:
-    raise Exception('{OS_NAME} is not supported')
+    raise Exception(f'{OS_NAME} is not supported')
 
 ARCH = platform.architecture()[0][:2]
 
 
 def main():
     opts = parse_options()
-    version = read_version()
+    version = read_version('yt_dlp/version.py')
+
+    onedir = '--onedir' in opts or '-D' in opts
+    if not onedir and '-F' not in opts and '--onefile' not in opts:
+        opts.append('--onefile')
 
     suffix = '_macos' if OS_NAME == 'Darwin' else '_x86' if ARCH == '32' else ''
     final_file = 'dist/%syt-dlp%s%s' % (
-        'yt-dlp/' if '--onedir' in opts else '', suffix, '.exe' if OS_NAME == 'Windows' else '')
+        'yt-dlp/' if onedir else '', suffix, '.exe' if OS_NAME == 'Windows' else '')
 
     print(f'Building yt-dlp v{version} {ARCH}bit for {OS_NAME} with options {opts}')
     print('Remember to update the version using  "devscripts/update-version.py"')
@@ -45,17 +49,16 @@ def main():
         '--icon=devscripts/logo.ico',
         '--upx-exclude=vcruntime140.dll',
         '--noconfirm',
+        # NB: Modules that are only imported dynamically must be added here.
+        # --collect-submodules may not work correctly if user has a yt-dlp installed via PIP
+        '--hidden-import=yt_dlp.compat._legacy',
         *dependency_options(),
         *opts,
-        '--collect-submodules=yt_dlp',
         'yt_dlp/__main__.py',
     ]
-    print(f'Running PyInstaller with {opts}')
-
-    import PyInstaller.__main__
-
-    PyInstaller.__main__.run(opts)
 
+    print(f'Running PyInstaller with {opts}')
+    run_pyinstaller(opts)
     set_version_info(final_file, version)
 
 
@@ -66,12 +69,14 @@ def parse_options():
         if ARCH != opts[0]:
             raise Exception(f'{opts[0]}bit executable cannot be built on a {ARCH}bit system')
         opts = opts[1:]
-    return opts or ['--onefile']
+    return opts
 
 
-def read_version():
-    exec(compile(open('yt_dlp/version.py').read(), 'yt_dlp/version.py', 'exec'))
-    return locals()['__version__']
+# Get the version from yt_dlp/version.py without importing the package
+def read_version(fname):
+    with open(fname, encoding='utf-8') as f:
+        exec(compile(f.read(), fname, 'exec'))
+        return locals()['__version__']
 
 
 def version_to_list(version):
@@ -80,10 +85,12 @@ def version_to_list(version):
 
 
 def dependency_options():
-    dependencies = [pycryptodome_module(), 'mutagen', 'brotli', 'certifi'] + collect_submodules('websockets')
-    excluded_modules = ['test', 'ytdlp_plugins', 'youtube-dl', 'youtube-dlc']
+    # Due to the current implementation, these are auto-detected, but explicitly add them just in case
+    dependencies = [pycryptodome_module(), 'mutagen', 'brotli', 'certifi', 'websockets']
+    excluded_modules = ['test', 'ytdlp_plugins', 'youtube_dl', 'youtube_dlc']
 
     yield from (f'--hidden-import={module}' for module in dependencies)
+    yield '--collect-submodules=websockets'
     yield from (f'--exclude-module={module}' for module in excluded_modules)
 
 
index 141cb238fac1d14b9aca5e95d23c9d1c5e22b0e0..89b819b1a3621f085d128752f06488e46d80bb7c 100644 (file)
--- a/setup.py
+++ b/setup.py
     setuptools_available = False
 from distutils.spawn import spawn
 
+
+def read(fname):
+    with open(fname, encoding='utf-8') as f:
+        return f.read()
+
+
 # Get the version from yt_dlp/version.py without importing the package
-exec(compile(open('yt_dlp/version.py').read(), 'yt_dlp/version.py', 'exec'))
+def read_version(fname):
+    exec(compile(read(fname), fname, 'exec'))
+    return locals()['__version__']
+
 
+VERSION = read_version('yt_dlp/version.py')
 
 DESCRIPTION = 'A youtube-dl fork with additional features and patches'
 
 LONG_DESCRIPTION = '\n\n'.join((
     'Official repository: <https://github.com/yt-dlp/yt-dlp>',
     '**PS**: Some links in this document will not work since this is a copy of the README.md from Github',
-    open('README.md', encoding='utf-8').read()))
+    read('README.md')))
 
-REQUIREMENTS = open('requirements.txt', encoding='utf-8').read().splitlines()
+REQUIREMENTS = read('requirements.txt').splitlines()
 
 
 if sys.argv[1:2] == ['py2exe']:
         'console': [{
             'script': './yt_dlp/__main__.py',
             'dest_base': 'yt-dlp',
-            'version': __version__,
+            'version': VERSION,
             'description': DESCRIPTION,
             'comments': LONG_DESCRIPTION.split('\n')[0],
             'product_name': 'yt-dlp',
-            'product_version': __version__,
+            'product_version': VERSION,
         }],
         'options': {
             'py2exe': {
@@ -107,7 +117,7 @@ def run(self):
 
 setup(
     name='yt-dlp',
-    version=__version__,
+    version=VERSION,
     maintainer='pukkandan',
     maintainer_email='pukkandan.ytdlp@gmail.com',
     description=DESCRIPTION,