[cleanup] Fix typos

[common] bugfix for when `compat_opts` is not given

[rmcdecouverte] Generalize `_VALID_URL`
Closes #291

Add compat-option `no-attach-infojson`

[version] update :ci skip all

Release 2021.05.11
* and some documentation improvements

[generic] Respect the encoding in manifest

Option `--compat-options` to revert some of yt-dlp's changes
* Deprecates `--list-formats-as-table`, `--list-formats-old`

Deprecate support for python versions < 3.6
Closes #267

Remove `-l`, `-t`, `-A` completely and disable `--auto-number`, `--title`, `--literal`, `--id`

[Plugins] Prioritize plugins over standard extractors
and prevent plugins from overwriting the standard extractor classes

Closes #304

[fragment] Make sure first segment is not skipped

Update to ytdl-commit-a726009

[blinkx] Remove extractor
https://github.com/ytdl-org/youtube-dl/commit/a7260099873acc6dc7d76cafad2f6b139087afd0

Fix `playlist_index` and add `playlist_autonumber` (#302)

Now `playlist_index` is always the position of the video in the actual playlist and `playlist_autonumber` is the position of the item in the playlist queue

Add experimental option `--check-formats` to test the URLs before format selection

Improve output template internal formatting
* Allow slicing lists/strings using `field.start:end:step`
* A field can also be used as offset like `field1+num+field2`
* A default value can be given using `field|default`
* Capture all format strings and set it to `None` if invalid. This prevents invalid fields from causing errors

[plutotv] Fix format extraction for some urls
* And fallback to the first urls if ad-free urls can't be found
Closes #299

[plutotv] Extract subtitles from manifests

[SonyLiv] Fix `title` and `series` extraction (#301)

Authored by: Ashish0804

[downloader] Fix `quiet` and `to_stderr`

[utils] Add `network_exceptions`

[fragment] Ensure the file is closed on error

[blinkx] Minor fix
Fixes: https://github.com/ytdl-org/youtube-dl/issues/28941

[embedthumbnail] Fix bug where jpeg thumbnails were converted again
Closes #297

Fix number of digits in `%(playlist_index)s`

When used with `--playlist-(items|start|end)`, the number of digits should depend on the last index in the playlist, not number of items

Move option warnings to `YoutubeDL`
Previously, these warnings did not obey `--no-warnings` and did not output colors

Fix `preload_download_archive` writing verbose message to `stdout`
* And move it after all deprecated warnings

[zee5] Fix py2 compatibility

[whowatch] Add extractor #292

closes #223

Authored by: nao20010128nao
Modified from: https://github.com/nao20010128nao/ytdl-patched/blob/9e4a0e061a558cdb05a618e27f47ca0ac56ece94/youtube_dl/extractor/whowatch.py

[aria2c] Fix whitespace being stripped off
Closes #276

Do not strip out whitespaces in `-o` and `-P`
Related: https://github.com/yt-dlp/yt-dlp/issues/276#issuecomment-827361652

[ukcolumn] Add Extractor
Closes #287

[CBS] Improve `_VALID_URL` to support movies
Closes #290
Tested by: BeeMuffins

[youtube] Add `oembed` to reserved names

[rmcdecouverte] Improve `_VALID_URL`
Closes #291

[niconico] Fix bug in thumbnail extraction #289

Bug from: 6b1d8c1e3038e7f0977ad36027f9f3ff61d27f46
Authored by: CXwudi

[utils] Escape URL while sanitizing
Closes #263

While this fixes the issue in question, it does not try to address the root-cause of the problem
Refer: 915f911e365736227e134ad654601443dbfd7ccb, f5fa042c82300218a2d07b95dd6b9c0756745db3

Revert "[utils] Encode URLs in `YoutubeDLCookieProcessor`"
This reverts commit 915f911e365736227e134ad654601443dbfd7ccb.

When the request is copied, `unredirected_hdrs` are not copied, which causes issues elsewhere
Reopens #263

[crackle] Improve extraction (See desc)
Closes #282

* Refactor authorization as an extension to `_download_json`
* Better error messages and warnings
* Respect `--ignore-no-formats-error`
* Extract subtitles from manifests
* Try with crackle's geo-location service if all hard-coded countries fail

[cleanup] Fix linter and some typos
* Also remove inconsistent use of `"` in setup.py

[curiositystream] Fix collections
Closes #277

* A bug with authentication was reported in <https://github.com/yt-dlp/yt-dlp/issues/277#issuecomment-828254721> but cannot be tested without an account

[niconico] Fix HLS formats
Closes #171

* The structure of the API JSON was changed
* Smile Video seems to be no longer available. So remove the warning
* Move ping to downloader
* Change heartbeat interval to 40sec
* Remove unnecessary API headers

Authored-by: CXwudi, tsukumijima, nao20010128nao, pukkandan
Tested by: tsukumijima

Revert "[core] be able to hand over id and title using url_result"

This reverts commit 0704d2224b328caeafbce6a029904472628d12bd.

This is a commit from `youtube-dlc`. It is not clear what the original purpose of this was. It seems to be a way for extractors to pass `title` and `id` through when the entry is processed by another extractor

* But `title` can already be passed through using `url_transparent`
* `id` is never supposed to be passed through since it could cause issues with archiving

[youtube:tab] Detect playlists inside community posts

[nebula] Move to nebula.app

Closes #272
Tested by: Lamieur

Subtitle extraction from streaming media manifests #247

Authored by fstirlitz
Modified from: https://github.com/ytdl-org/youtube-dl/pull/6144

Closes: #73
Fixes:
https://github.com/ytdl-org/youtube-dl/issues/6106
https://github.com/ytdl-org/youtube-dl/issues/14977
https://github.com/ytdl-org/youtube-dl/issues/21438
https://github.com/ytdl-org/youtube-dl/issues/23609
https://github.com/ytdl-org/youtube-dl/issues/28132

Might also fix (untested):
https://github.com/ytdl-org/youtube-dl/issues/15424
https://github.com/ytdl-org/youtube-dl/issues/18267
https://github.com/ytdl-org/youtube-dl/issues/23899
https://github.com/ytdl-org/youtube-dl/issues/24375
https://github.com/ytdl-org/youtube-dl/issues/24595
https://github.com/ytdl-org/youtube-dl/issues/27899

Related:
https://github.com/ytdl-org/youtube-dl/issues/22379
https://github.com/ytdl-org/youtube-dl/pull/24517
https://github.com/ytdl-org/youtube-dl/pull/24886
https://github.com/ytdl-org/youtube-dl/pull/27215

Notes:
* The functions `extractor.common._extract_..._formats` are still kept for compatibility
* Only some extractors have currently been moved to using `_extract_..._formats_and_subtitles`
* Direct subtitle manifests (without a master) are not supported and are wrongly identified as containing video formats
* AES support is untested
* The fragmented TTML subtitles extracted from DASH/ISM are valid, but are unsupported by `ffmpeg` and most video players
    * Their XML fragments can be dumped using `ffmpeg -i in.mp4 -f data -map 0 -c copy out.ttml`.
        Once the unnecessary headers are stripped out of this, it becomes a valid self-contained ttml file
    * The ttml subs downloaded from DASH manifests can also be directly opened with <https://github.com/SubtitleEdit>
* Fragmented WebVTT files extracted from DASH/ISM are also unsupported by most tools
    * Unlike the ttml files, the XML fragments of these cannot be dumped using `ffmpeg`
    * The webtt subs extracted from DASH can be parsed by <https://github.com/gpac/gpac>
    * But validity of the those extracted from ISM are untested

[threeqsdn] Extract subtitles from streaming manifests

[canvas] Extract subtitles from streaming manifests

[wat] Extract subtitles from streaming manifests

[atresplayer] Extract subtitles from streaming manifests

[francetv] Extract subtitles from the HLS manifest

[uplynk] Extract subtitles from HLS manifests

[twitter] Extract subtitles from HLS manifests

[srgssr] Extract subtitles from HLS manifests

[nytimes] Extract subtitles from HLS manifests

[roosterteeth] Use common code for subtitle extraction

[elonet] Use common code for subtitle extraction

[tv4] Extract subtitles from streaming manifests

[byutv] Extract subtitles from streaming manifests

[generic] Extract subtitles from direct SSTR manifest links

[generic] Extract subtitles from direct DASH manifest links

[generic] Extract subtitles from direct HLS manifest links

[downloader/ism] Support muxing TTML subtitles

[downloader/hls] Handle MPEG-2 PES timestamp overflow

[downloader/hls] Remove duplicate cues using a sliding window of candidates

[downloader/hls] Assemble single-file WebVTT subtitles from HLS segments

[test] Test SSTR manifest parsing

[test] Test subtitle extraction from DASH manifests

[test] Test subtitle extraction from HLS manifests

[extractor/common] Extend _extract_akamai_formats to also extract subtitle tracks

[extractor/common, downloader/ism] Extract SSTR subtitle tracks

_parse_ism_formats was extended into _parse_ism_formats_and_subtitles;
all direct users were updated, though _extract_ism_formats was left
as a compatibility wrapper.

The SSTR downloader was also modified in order to prepare for muxing
subtitle streams, although no support for any subtitle codecs was
added in this commit.

[extractor/common] Extract DASH subtitle tracks

_extract_mpd_formats and _parse_mpd_formats were extended into
_…_formats_and_subtitles; wrappers with old names are provided
for compatibility.

[extractor/common] Extract HLS subtitle tracks

_extract_m3u8_formats is renamed to _extract_m3u8_formats_and_subtitles
and extended to handle subtitle tracks instead of skipping them;
a wrapper with the old name is provided for compatibility.

_parse_m3u8_formats is likewise renamed and extended, but without adding
the compatibility wrapper; the test suite is adjusted to test the enhanced
method instead.

[extractor/common] Generalise _merge_subtitles

This allows modifying a subtitles dictionary in-place.

[downloader/ism] Prevent writing the header again when resuming an interrupted download

[downloader/fragment] Allow persisting extra state when a download is interrupted

[utils] Improve bug_report_message

Add an optional argument specifying the text that should go before
the message.

[zee5] Fix extraction for some URLs (#279)

Closes: #278

[mediasite] Generalize URL pattern (#275)

Authored by: fstirlitz

Fix case sensitivity of format selector
Bug introduced in f8d4ad9ab00bca71808cd769c04806f51c3578f0

[limelight] Obey `allow_unplayable_formats`

[FormatSort] Fix for when some formats have quality and others don't

Py2 compatibility for `FileNotFoundError`

[niconico] Fix title and thumbnail extraction (#273)

Authored by: CXwudi

[Mxplayer] Add MxplayerShowIE (#270)

Authored by: Ashish0804

[utils] Encode URLs in `YoutubeDLCookieProcessor`
Closes #263

[tubi] Raise "no video formats" error when video url is empty
Related: #266

[francetvinfo] Improve video id extraction
Closes #261

[version] update :ci skip all

Release 2021.04.22

[documentation] Fix typos

[ci] Disable fail-fast

[lazy_extractor] Do not load plugins

Update to ytdl-commit-7e8b3f9

[youtube] Remove unused code
https://github.com/ytdl-org/youtube-dl/commit/7e8b3f9439ebefb3a3a4e5da9c0bd2b595976438

[mildom] Remove proxy (#260)

Closes #251
Makes 2cff49599769dcc131c385cbc24bab35d0b182ad, ab406a1c0e7f0afde7e80818c0159bfa2847481f, #252 obsolete

Authored by: fstirlitz

[BilibiliChannel] Fix pagination
Closes #222

https://github.com/nao20010128nao/ytdl-patched/commit/ccca21d7f57f1330a205f07d369e31883ba006c2
Coauthored by: nao20010128nao, pukkandan

[documentation] Clarify which deprecated options still work

Improve output template (see desc)
* Objects can be traversed like `%(field.key1.key2)s`
* A number can be added to the field as `%(field+n)s`
* Deprecates `--autonumber-start`

Add option `--skip-playlist-after-errors`
Allows to skip the rest of a playlist after a given number of errors are encountered

[go] Fix `_VALID_URL`
Closes #255