Release 2021.06.23

Update to ytdl-commit-379f52a

[liveleak] Remove extractor
https://github.com/ytdl-org/youtube-dl/commit/379f52a4954013767219d25099cce9e0f9401961

[funimation] Extract subtitles (#434)

Closes #420, https://github.com/ytdl-org/youtube-dl/issues/25645
Related: https://github.com/ytdl-org/youtube-dl/pull/24906

Authored by: Mevious

[hotstar] Use server time for authentication instead of local time
Closes #396

[youtube_live_chat] Support ongoing live chat (#422)

Authored by: siikamiika

[cleanup] Revert unnecessary changes in 51d9739f8031fb37d8e25b0e9f1abea561e3d2e3

Add option `--throttled-rate` below which video data is re-extracted
Currently only for HTTP downloads

Closes #430, workaround for https://github.com/ytdl-org/youtube-dl/issues/29326

[fragment] Merge during download for `-N`, and refactor `hls`/`dash` (#364)

[twitcasting] Websocket support (#399)
Closes #392
Authored by: nao20010128nao

[websockets] Add `WebSocketFragmentFD` (#399)
Necessary for #392

Co-authored by: nao20010128nao, pukkandan

[aria2c] Lower `--min-split-size` for HTTP downloads
This makes downloading smaller files much faster

[options] Rename `--add-metadata` to `--embed-metadata`
and clarify that it embeds chapter markers

Skip fixup of existing files and add `--fixup force` to force it

[cleanup] Refactor fixup

[youtube] Temporary fix for age-gate

Related:
https://stackoverflow.com/a/67629882
https://github.com/yt-dlp/yt-dlp/issues/319
https://github.com/ytdl-org/youtube-dl/issues/29333
https://github.com/ytdl-org/youtube-dl/issues/29086

Fix id sanitization in filenames
Closes #415

[EmbedThumbnail]  Add compat-option `embed-thumbnail-atomicparsley`
to force use of atomicparsley for embedding thumbnails in mp4

Related: #411

[postprocessor] Fix `_restrict_to` when a codec is not set

[pornhub] Extract `cast`
Closes #406, https://github.com/ytdl-org/youtube-dl/pull/27384

[mediasite] Extract slides (#343)

Fixes:
https://github.com/ytdl-org/youtube-dl/issues/4974#issue-58006762
https://github.com/ytdl-org/youtube-dl/issues/4540#issuecomment-69574231
https://github.com/ytdl-org/youtube-dl/pull/11185#issuecomment-335554239

Authored by: fstirlitz

[downloader/mhtml] Add new downloader (#343)

This downloader is intended to be used for streams that consist of a
timed sequence of stand-alone images, such as slideshows or thumbnail
streams

This can be used for implementing:

https://github.com/ytdl-org/youtube-dl/issues/4974#issue-58006762
https://github.com/ytdl-org/youtube-dl/issues/4540#issuecomment-69574231
https://github.com/ytdl-org/youtube-dl/pull/11185#issuecomment-335554239

https://github.com/ytdl-org/youtube-dl/issues/9868
https://github.com/ytdl-org/youtube-dl/pull/14951

Authored by: fstirlitz

Fix bug in 8326b00aabc332cad3edec246fe5353bea069cb0

Ignore `images` formats from merge

Allow `images` formats
Necessary for #343.

* They are identified by `vcodec=acodec='none'`
* These formats show as the worst in `-F`
* Any postprocessor that expects audio/video will be skipped
* `b*` and all related selectors will skip such formats
* This commit also does not add any selector for downloading such formats. They have to be explicitly requested by the `format_id`. Implementation of a selector is left for when #389 is resolved

Expand `--check-formats` to thumbnails
Closes #402

Use `NamedTemporaryFile` for `--check-formats`

[youtube] Login is not needed for `:ytrec`

[utils] Improve `LazyList`
* Add `repr` and `str` that mimics `list`
* Add `reversed`. Unlike `[::-1]`, reversed does not exhaust the iterable and modifies the `LazyList` in-place
* Add tests

[EmbedThumbnail] Fix for already downloaded thumbnail

Better error handling of syntax errors in `-f`

[youtube] Non-fatal alert reporting for unavailable videos page (#401)

Co-Authored by: colethedj, pukkandan

[youtube] Improve SAPISID cookie handling (closes #393) (#395)

Author: colethedj

[build] Build Windows x86 version with py3.7
and remove redundant tests
Closes #390

:ci skip

Co-authored by: pukkandan, shirt-dev

[version] update
:ci skip all

Release 2021.06.09

Improve offset parsing in outtmpl

[test] More rigorous tests for `prepare_filename`

All tests of `prepare_outtmpl` is now also run on `prepare_filename`

Fix `%d` and empty default in outtmpl
Closes #388

Revert "[build] Build Windows x86 version with py3.8"

This reverts commit aa75e51f992c206b07ab4de592f11a871827bf4b.

See #390

This is being reverted instead of modified due to #388

[build] Build Windows x86 version with py3.8
and remove redundant tests
:ci skip

Ao-authored by: pukkandan, shirt-dev

[version] update :ci skip all

Release 2021.06.08

[build] Release `yt-dlp.tar.gz`
Closes #386

Make outtmpl more robust and catch errors early

[utils] Generalize `traverse_dict` to `traverse_obj`

[build,update] Add GNU-style SHA512 and prepare updater for simlar SHA256 (#383)

Authored by: nihil-admirari <redacted>

Related: #385

[build] Fix SHA256

Update to ytdl-commit-c2350ca

Update MSVC 2010 redist URL
https://github.com/ytdl-org/youtube-dl/commit/c2350cac243ba1ec1586fe85b0d62d1b700047a2

Add field `original_url` with the user-inputted URL
So that they can be processed by `--parse-metadata` for example

`webpage_url` is the same, but may be modified by the extractor

Make more fields available for `--print` when used with `--flat-playlist`

[docs] Improve documentation of dependencies
Related: #348

[pyinst] Show Python version in EXE metadata (#384)

Authored by: nihil-admirari

[viki] Fix extraction
Closes #381
Code from: https://github.com/ytdl-org/youtube-dl/commit/59e583f7e8530ca92776c866897d895c072e2a82

Fix filename sanitization
Bug from 752cda3880f30a46bed1d27b69188ab93ad1a368

[zoom] Extract transcripts as subtitles

[extractor] Fix pre-checking archive for some extractors
The `id` regex group must be present for `_match_id` and pre-checking archive to work correctly

[twitcasting] Add TwitCastingUserIE, TwitCastingLiveIE
Closes #374

Code adapted from: https://github.com/nao20010128nao/ytdl-patched/blob/f1fb9222bb474e4ac2333e1e8047c11a856c42d3/youtube_dl/extractor/twitcasting.py
Authored by: pukkandan, nao20010128nao

[vidio] Add VidioPremierIE and VidioLiveIE (#371)

Authored-by: MinePlayersPE

Fix and refactor `prepare_outtmpl`

The following tests would have failed previously:
%(id)d %(id)r
%(ext)s-%(ext|def)d
%(width|)d
%(id)r %(height)r
%(formats.0)r
%s

[cleanup] Mark unused files

[cleanup] Point all shebang to `python3` (#372)

Authored by: fstirlitz

Remove support for obsolete python versions

[downloader/ffmpeg] Hide FFmpeg banner unless in verbose mode (#372)

Authored by: fstirlitz

[common] Fix FourCC fallback when parsing ISM (#372)

In some DASH manifests, the FourCC attribute is actually present,
but empty.  We thus apply the same fallback to 'AACL' that we do
when the attribute is entirely absent.

Authored by: fstirlitz

Remove duplicate file `trovolive.py`

[youtube] Support shorts URL
Closes #375

[hls] Decrypt fragment when reading from disk
Closes #373

[version] update
:ci skip all

Release 2021.06.01

[utils] Escape URLs in `sanitized_Request`, not `sanitize_url`
d2558234cf5dd12d6896eed5427b7dcdb3ab7b5a added escaping of URLs while sanitizing. However, `sanitize_url` may not always receive an actual URL.
Eg: When using `yt-dlp "search query" --default-search ytsearch`, `search query` gets escaped to `search%20query` before being prefixed with `ytsearch:` which is not the intended behavior. So the escaping is moved to `sanitized_Request` instead.

[Hotstar] Add HotStarSeriesIE (#366)

Authored by: Ashish0804

[update] Block further update for unsupported systems

[cleanup] setup.py

Update to ytdl-commit-d495292

[ard] Relax _VALID_URL and fix video ids
https://github.com/ytdl-org/youtube-dl/commit/d495292852b6c2f1bd58bc2141ff2b0265c952cf

Closes #357

[archiveorg] Add YoutubeWebArchiveIE (#356)

Co-authored by: colethedj, pukkandan, alex-gedeon

[hls,dash] When using `concurrent_fragment_downloads`, do not keep the fragment content in memory
Partial fix for #359
This is a temporary solution until #364 can be implemented

[hls] Disable external downloader for `webtt`

[vidio] Add login support (#362)

Authored by: MinePlayersPE

[fancode] Add extractor (#316,#354)
Closes #269, #363

Authored by: rmsmachine

[Voot] Add VootSeriesIE (#351)

Authored by: Ashish0804

[Saitosan] Add new extractor (#350)

Closes #224
Authored by: llacb47

[extractor] Functions to parse socket.io response as json

Authored by: pukkandan, llacb47

[vidio] Support premium videos (#358)

Authored by: MinePlayersPE

[extractor] Allow `note=False` when extracting manifests

[embedthumbnail] Correctly escape filename

Closes #352
The approach in [1] is faulty as can be seen in the test cases
1. https://github.com/ytdl-org/youtube-dl/commit/bff857a8af696e701482208617bf0b7564951326

[embedthumbnail] Embed if any thumbnail was downloaded, not just the best

[youtube:playlist] fix bug

Remove `None` values from `info.json`

[zee5] Fix m3u8 formats extension

Write messages to `stderr` when both `quiet` and `verbose`

Pre-check archive and filters during playlist extraction

This makes `--break-on-existing` much faster.
It also helps `--break-on-reject` if the playlist extractor can extract the relevant fields

Refactor `__process_playlist` using `LazyList`

[utils] Add `__getitem__` for `PagedList`

[utils] Add `LazyList`

[cleanup] `_match_entry`

[patreon] Support vimeo embeds (#349)

Authored by: rhsmachine

[extractor] Always prefer native hls downloader by default

When the manifest is not downloadable by native downloader, it already is able to detect it and switch to `ffmpeg`. So there doesn't seem to be a reason anymore to use ffmpeg as the preferred downloader

[update] Replace self without launching a subprocess in windows

Closes: #335, https://github.com/ytdl-org/youtube-dl/issues/28488, https://github.com/ytdl-org/youtube-dl/issues/5810, https://github.com/ytdl-org/youtube-dl/issues/5994
In windows, a running executable cannot be replaced. So, the old updater worked by launching a batch script and then exiting, so that the batch script can replace the executable. However, this caused the above-mentioned issues.

The new method takes advantage of the fact that while the executable cannot be replaced or deleted, it can still be renamed. The current update process on windows is as follows:
1. Delete `yt-dlp.exe.old` if it exists
2. Download the new version as `yt-dlp.exe.new`
3. Rename the running exe to `yt-dlp.exe.old`
4. Rename `yt-dlp.exe.new` to `yt-dlp.exe`
5. Open a shell that deletes `yt-dlp.exe.old` and terminate

While we still use a subprocess, the actual update is already done before the app terminates and the batch script does not print anything to stdout/stderr. So this solves all the above issues

[cleanup] Refactor updater

The updater now uses `.update.run_update` and not `.update.update_self`.
Although I don't expect anyone to be using the updater via API, a wrapper `update_self` is provided for compatibility just in case

Handle Basic Auth `user:pass` in URLs

Fixes https://github.com/ytdl-org/youtube-dl/issues/20258, https://github.com/ytdl-org/youtube-dl/issues/26211
Authored by: hhirtz, pukkandan