]> jfr.im git - yt-dlp.git/blobdiff - yt_dlp/options.py
[pp/embedthumbnail] Fix postprocessor (#10248)
[yt-dlp.git] / yt_dlp / options.py
index e9d927717e8a12324c44d151d1ba7733b3544b6d..3d4c076610f4dc7f9133f82925964823bf2fb25d 100644 (file)
@@ -40,7 +40,7 @@
 from .version import CHANNEL, __version__
 
 
-def parseOpts(overrideArguments=None, ignore_config_files='if_override'):
+def parseOpts(overrideArguments=None, ignore_config_files='if_override'):  # noqa: N803
     PACKAGE_NAME = 'yt-dlp'
 
     root = Config(create_parser())
@@ -151,7 +151,7 @@ def format_option_strings(option):
 
 
 class _YoutubeDLOptionParser(optparse.OptionParser):
-    # optparse is deprecated since python 3.2. So assume a stable interface even for private methods
+    # optparse is deprecated since Python 3.2. So assume a stable interface even for private methods
     ALIAS_DEST = '_triggered_aliases'
     ALIAS_TRIGGER_LIMIT = 100
 
@@ -196,9 +196,12 @@ def parse_known_args(self, args=None, values=None, strict=True):
                     raise
         return self.check_values(self.values, self.largs)
 
-    def error(self, msg):
+    def _generate_error_message(self, msg):
         msg = f'{self.get_prog_name()}: error: {str(msg).strip()}\n'
-        raise optparse.OptParseError(f'{self.get_usage()}\n{msg}' if self.usage else msg)
+        return f'{self.get_usage()}\n{msg}' if self.usage else msg
+
+    def error(self, msg):
+        raise optparse.OptParseError(self._generate_error_message(msg))
 
     def _get_args(self, args):
         return sys.argv[1:] if args is None else list(args)
@@ -261,7 +264,7 @@ def _dict_from_options_callback(
         except Exception as err:
             raise optparse.OptionValueError(f'wrong {opt_str} formatting; {err}')
         for key in keys:
-            out_dict[key] = out_dict.get(key, []) + [val] if append else val
+            out_dict[key] = [*out_dict.get(key, []), val] if append else val
         setattr(parser.values, option.dest, out_dict)
 
     def when_prefix(default):
@@ -390,7 +393,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         '--ignore-config', '--no-config',
         action='store_true', dest='ignoreconfig',
         help=(
-            'Don\'t load any more configuration files except those given by --config-locations. '
+            'Don\'t load any more configuration files except those given to --config-locations. '
             'For backward compatibility, if this option is found inside the system configuration file, the user configuration is not loaded. '
             '(Alias: --no-config)'))
     general.add_option(
@@ -471,13 +474,14 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
                 'no-attach-info-json', 'embed-thumbnail-atomicparsley', 'no-external-downloader-progress',
                 'embed-metadata', 'seperate-video-versions', 'no-clean-infojson', 'no-keep-subs', 'no-certifi',
                 'no-youtube-channel-redirect', 'no-youtube-unavailable-videos', 'no-youtube-prefer-utc-upload-date',
-                'prefer-legacy-http-handler', 'manifest-filesize-approx'
+                'prefer-legacy-http-handler', 'manifest-filesize-approx',
             }, 'aliases': {
                 'youtube-dl': ['all', '-multistreams', '-playlist-match-filter', '-manifest-filesize-approx'],
                 'youtube-dlc': ['all', '-no-youtube-channel-redirect', '-no-live-chat', '-playlist-match-filter', '-manifest-filesize-approx'],
-                '2021': ['2022', 'no-certifi', 'filename-sanitization', 'no-youtube-prefer-utc-upload-date'],
-                '2022': ['no-external-downloader-progress', 'playlist-match-filter', 'prefer-legacy-http-handler', 'manifest-filesize-approx'],
-            }
+                '2021': ['2022', 'no-certifi', 'filename-sanitization'],
+                '2022': ['2023', 'no-external-downloader-progress', 'playlist-match-filter', 'prefer-legacy-http-handler', 'manifest-filesize-approx'],
+                '2023': [],
+            },
         }, help=(
             'Options that can help keep compatibility with youtube-dl or youtube-dlc '
             'configurations by reverting some of the changes made in yt-dlp. '
@@ -511,6 +515,19 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         metavar='IP', dest='source_address', default=None,
         help='Client-side IP address to bind to',
     )
+    network.add_option(
+        '--impersonate',
+        metavar='CLIENT[:OS]', dest='impersonate', default=None,
+        help=(
+            'Client to impersonate for requests. E.g. chrome, chrome-110, chrome:windows-10. '
+            'Pass --impersonate="" to impersonate any client. Note that forcing impersonation '
+            'for all requests may have a detrimental impact on download speed and stability'),
+    )
+    network.add_option(
+        '--list-impersonate-targets',
+        dest='list_impersonate_targets', default=False, action='store_true',
+        help='List available clients to impersonate.',
+    )
     network.add_option(
         '-4', '--force-ipv4',
         action='store_const', const='0.0.0.0', dest='source_address',
@@ -524,7 +541,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
     network.add_option(
         '--enable-file-urls', action='store_true',
         dest='enable_file_urls', default=False,
-        help='Enable file:// URLs. This is disabled by default for security reasons.'
+        help='Enable file:// URLs. This is disabled by default for security reasons.',
     )
 
     geo = optparse.OptionGroup(parser, 'Geo-restriction')
@@ -665,7 +682,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         help='Download only videos not listed in the archive file. Record the IDs of all downloaded videos in it')
     selection.add_option(
         '--no-download-archive',
-        dest='download_archive', action="store_const", const=None,
+        dest='download_archive', action='store_const', const=None,
         help='Do not use archive file (default)')
     selection.add_option(
         '--max-downloads',
@@ -675,6 +692,10 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         '--break-on-existing',
         action='store_true', dest='break_on_existing', default=False,
         help='Stop the download process when encountering a file that is in the archive')
+    selection.add_option(
+        '--no-break-on-existing',
+        action='store_false', dest='break_on_existing',
+        help='Do not stop the download process when encountering a file that is in the archive (default)')
     selection.add_option(
         '--break-on-reject',
         action='store_true', dest='break_on_reject', default=False,
@@ -1025,7 +1046,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         callback_kwargs={
             'allowed_keys': 'http|ftp|m3u8|dash|rtsp|rtmp|mms',
             'default_key': 'default',
-            'process': str.strip
+            'process': str.strip,
         }, help=(
             'Name or path of the external downloader to use (optionally) prefixed by '
             'the protocols (http, ftp, m3u8, dash, rstp, rtmp, mms) to use it for. '
@@ -1039,9 +1060,9 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         metavar='NAME:ARGS', dest='external_downloader_args', default={}, type='str',
         action='callback', callback=_dict_from_options_callback,
         callback_kwargs={
-            'allowed_keys': r'ffmpeg_[io]\d*|%s' % '|'.join(map(re.escape, list_external_downloaders())),
+            'allowed_keys': r'ffmpeg_[io]\d*|{}'.format('|'.join(map(re.escape, list_external_downloaders()))),
             'default_key': 'default',
-            'process': shlex.split
+            'process': shlex.split,
         }, help=(
             'Give these arguments to the external downloader. '
             'Specify the downloader name and the arguments separated by a colon ":". '
@@ -1189,7 +1210,9 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
     verbosity.add_option(
         '-j', '--dump-json',
         action='store_true', dest='dumpjson', default=False,
-        help='Quiet, but print JSON information for each video. Simulate unless --no-simulate is used. See "OUTPUT TEMPLATE" for a description of available keys')
+        help=(
+            'Quiet, but print JSON information for each video. Simulate unless --no-simulate is used. '
+            'See "OUTPUT TEMPLATE" for a description of available keys'))
     verbosity.add_option(
         '-J', '--dump-single-json',
         action='store_true', dest='dump_single_json', default=False,
@@ -1228,7 +1251,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         action='callback', callback=_dict_from_options_callback,
         callback_kwargs={
             'allowed_keys': '(download|postprocess)(-title)?',
-            'default_key': 'download'
+            'default_key': 'download',
         }, help=(
             'Template for progress outputs, optionally prefixed with one of "download:" (default), '
             '"download-title:" (the console title), "postprocess:",  or "postprocess-title:". '
@@ -1236,6 +1259,10 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
             'the progress attributes are accessible under "progress" key. E.g. '
             # TODO: Document the fields inside "progress"
             '--console-title --progress-template "download-title:%(info.id)s-%(progress.eta)s"'))
+    verbosity.add_option(
+        '--progress-delta',
+        metavar='SECONDS', action='store', dest='progress_delta', type=float, default=0,
+        help='Time between progress output (default: 0)')
     verbosity.add_option(
         '-v', '--verbose',
         action='store_true', dest='verbose', default=False,
@@ -1290,8 +1317,8 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         metavar='[TYPES:]PATH', dest='paths', default={}, type='str',
         action='callback', callback=_dict_from_options_callback,
         callback_kwargs={
-            'allowed_keys': 'home|temp|%s' % '|'.join(map(re.escape, OUTTMPL_TYPES.keys())),
-            'default_key': 'home'
+            'allowed_keys': 'home|temp|{}'.format('|'.join(map(re.escape, OUTTMPL_TYPES.keys()))),
+            'default_key': 'home',
         }, help=(
             'The paths where the files should be downloaded. '
             'Specify the type of file and the path separated by a colon ":". '
@@ -1306,12 +1333,12 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         action='callback', callback=_dict_from_options_callback,
         callback_kwargs={
             'allowed_keys': '|'.join(map(re.escape, OUTTMPL_TYPES.keys())),
-            'default_key': 'default'
+            'default_key': 'default',
         }, help='Output filename template; see "OUTPUT TEMPLATE" for details')
     filesystem.add_option(
         '--output-na-placeholder',
         dest='outtmpl_na_placeholder', metavar='TEXT', default='NA',
-        help=('Placeholder for unavailable fields in "OUTPUT TEMPLATE" (default: "%default")'))
+        help=('Placeholder for unavailable fields in --output (default: "%default")'))
     filesystem.add_option(
         '--autonumber-size',
         dest='autonumber_size', metavar='NUMBER', type=int,
@@ -1548,7 +1575,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
             'allowed_keys': r'\w+(?:\+\w+)?',
             'default_key': 'default-compat',
             'process': shlex.split,
-            'multiple_keys': False
+            'multiple_keys': False,
         }, help=(
             'Give these arguments to the postprocessors. '
             'Specify the postprocessor/executable name and the arguments separated by a colon ":" '
@@ -1697,8 +1724,8 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         '--convert-subs', '--convert-sub', '--convert-subtitles',
         metavar='FORMAT', dest='convertsubtitles', default=None,
         help=(
-            'Convert the subtitles to another format (currently supported: %s) '
-            '(Alias: --convert-subtitles)' % ', '.join(sorted(FFmpegSubtitlesConvertorPP.SUPPORTED_EXTS))))
+            'Convert the subtitles to another format (currently supported: {}) '
+            '(Alias: --convert-subtitles)'.format(', '.join(sorted(FFmpegSubtitlesConvertorPP.SUPPORTED_EXTS)))))
     postproc.add_option(
         '--convert-thumbnails',
         metavar='FORMAT', dest='convertthumbnails', default=None,
@@ -1745,7 +1772,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         action='callback', callback=_list_from_options_callback,
         callback_kwargs={
             'delim': None,
-            'process': lambda val: dict(_postprocessor_opts_parser(*val.split(':', 1)))
+            'process': lambda val: dict(_postprocessor_opts_parser(*val.split(':', 1))),
         }, help=(
             'The (case sensitive) name of plugin postprocessors to be enabled, '
             'and (optionally) arguments to be passed to it, separated by a colon ":". '
@@ -1767,7 +1794,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         dest='sponsorblock_mark', default=set(), action='callback', type='str',
         callback=_set_from_options_callback, callback_kwargs={
             'allowed_values': SponsorBlockPP.CATEGORIES.keys(),
-            'aliases': {'default': ['all']}
+            'aliases': {'default': ['all']},
         }, help=(
             'SponsorBlock categories to create chapters for, separated by commas. '
             f'Available categories are {", ".join(SponsorBlockPP.CATEGORIES.keys())}, all and default (=all). '
@@ -1781,7 +1808,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
             # Note: From https://wiki.sponsor.ajay.app/w/Types:
             # The filler category is very aggressive.
             # It is strongly recommended to not use this in a client by default.
-            'aliases': {'default': ['all', '-filler']}
+            'aliases': {'default': ['all', '-filler']},
         }, help=(
             'SponsorBlock categories to be removed from the video file, separated by commas. '
             'If a category is present in both mark and remove, remove takes precedence. '
@@ -1852,7 +1879,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
     extractor.add_option(
         '--hls-split-discontinuity',
         dest='hls_split_discontinuity', action='store_true', default=False,
-        help='Split HLS playlists to different formats at discontinuities such as ad breaks'
+        help='Split HLS playlists to different formats at discontinuities such as ad breaks',
     )
     extractor.add_option(
         '--no-hls-split-discontinuity',
@@ -1867,7 +1894,7 @@ def _alias_callback(option, opt_str, value, parser, opts, nargs):
         callback_kwargs={
             'multiple_keys': False,
             'process': lambda val: dict(
-                _extractor_arg_parser(*arg.split('=', 1)) for arg in val.split(';'))
+                _extractor_arg_parser(*arg.split('=', 1)) for arg in val.split(';')),
         }, help=(
             'Pass ARGS arguments to the IE_KEY extractor. See "EXTRACTOR ARGUMENTS" for details. '
             'You can use this option multiple times to give arguments for different extractors'))