Release 2021.07.21
and fix some typos
Closes #538

[youtube] Make `--extractor-retries` work for more errors
Closes #507

Fix bug where `original_url` was not propagated when `_type`=`url`

[youtube] Add debug message for SAPISID cookie extraction (#540)

Authored by: colethedj

Add option `--cookies-from-browser` to load cookies from a browser (#488)

* also adds `--no-cookies-from-browser`

Original PR: https://github.com/ytdl-org/youtube-dl/pull/29201
Authored by: mbway

[youtube] Improve extraction of livestream metadata
Modified from and closes #441
Authored by: pukkandan, krichbanana

Add field `live_status`

bugfix for 50fed816dd5ae970d69d8997eb854d475ed91ede

[douyin] Add extractor (#513)

Authored-by: pukkandan, pyx

[nebula] Authentication via tokens from cookie jar (#537)

Closes #496
Co-authored-by: hheimbuerger, TpmKranz

Add `only_once` param for `write_debug`

[utils] Improve `traverse_obj`

[youtube] Extract data from multiple clients (#536)

* `player_client` accepts multiple clients
* default `player_client` = `android,web`
* music clients can be specifically requested
* Add IOS `player_client`
* Hide live dash since they can't be downloaded

Closes #501

Authored-by: pukkandan, colethedj

Add `only_once` param for `report_warning`
Related: https://github.com/yt-dlp/yt-dlp/pull/488#discussion_r667527297

Errors in playlist extraction should obey `--ignore-errors`
Related: https://github.com/yt-dlp/yt-dlp/issues/535#issuecomment-883277272, https://github.com/yt-dlp/yt-dlp/issues/518#issuecomment-881794754

[youtube] Fix controversial videos when requested via API (#533)

Closes: https://github.com/yt-dlp/yt-dlp/issues/511#issuecomment-883024350
Authored by: colethedj

[youtube:tab] Fix channels tab

[utils] Fix LazyList for Falsey values

[youtube] Make `parse_time_text` and `_extract_chapters` non-fatal
Related: #532, 7c365c210939bcf3497f212a163ca1987f189421

[youtube] Sanity check `chapters` (and refactor related code)
Closes #520

Rename `NOTE` in `-F` to `MORE INFO`
since it's often confused to be the same as `format_note`

[youtube] Extract even more thumbnails and reduce testing

* Also fix bug where `_test_url` was being ignored

Ref: https://stackoverflow.com/a/20542029
Related: #340

[compat] Remove unnecessary code

[utils] Improve `traverse_obj`

* Allow skipping a level: `traverse_obj([{k:v1}, {k:v2}], (None, k))` => `[v1, v2]`
* Make keys variadic: `traverse_obj(obj, k1: str, k2: str)` => `traverse_obj(obj, (k1,), (k2,))`
* Fetch from multiple keys: `traverse_obj([{k1:[1], k2:[2], k3:[3]}], (0, (k1, k2), 0))` => `[1, 2]`

TODO: Add tests

[youtube] Extract more thumbnails

* The thumbnail URLs are hard-coded and their actual existence is tested lazily
* Added option `--no-check-formats` to not test them

Closes #340, Related: #402, #337, https://github.com/ytdl-org/youtube-dl/issues/29049

[crunchyroll:playlist] Force http
Closes #495

[docs] fix default of multistreams

Add option `--exec-before-download`
Closes #530

[pornflip] Add new extractor (#523)

Authored-by: mzbaulhaque

[youtube] misc cleanup and bug fixes (#505)

* Update some `_extract_response` calls to keep them consistent
* Cleanup continuation extraction related code using new API format
* Improve `_extract_account_syncid` to support multiple parameters
* Generalize `get_text` and related functions into one
* Update `INNERTUBE_CONTEXT_CLIENT_NAME` with integer values

Authored by: colethedj

[youtube] Fix session index extraction and headers for non-web player clients (#526)

Fixes #522

[youtube] Fix authentication when using multiple accounts

`SESSION_INDEX` in `ytcfg` is the index of the active account and should be sent as `X-Goog-AuthUser` header

Closes #518
Authored by @colethedj

[yahoo:gyao:player] Relax `_VALID_URL` (#503)

Authored by: nao20010128nao

[generic] Extract previously missed subtitles (#515)

* [generic] Extract subtitles in cases missed previously
* [common] Detect discarded subtitles in SMIL manifests
* [generic] Extract everything in the SMIL manifest

Authored by: fstirlitz

Revert "Merge webm formats into mkv if thumbnails are to be embedded (#173)"
This reverts commit 4d971a16b831a45147b6ae7ce53b3e105d204da7 by @damianoamatruda
Closes #500

This was wrongly checking for `write_thumbnail`

[youtube:tab] Extract playlist availability (#504)

Authored by: colethedj

[youtube:comments] Improve comment vote count parsing (fixes #506) (#508)

Authored by: colethedj

[RTP] Fix extraction and add subtitles (#497)

Authored by: fstirlitz

[utils] Improve `js_to_json` comment regex
Capture the newline character as part of a single-line comment

From #497, Authored by: fstirlitz

[extractor] Allow extracting multiple groups in `_search_regex`
From #497, Authored by: fstirlitz

[youtube] Use android client as default and add age-gate bypass for it (#492)

Authored by: colethedj

[youtube:comments] Fix `is_favorited` (#491)

Authored by colethedj

[vlive] Extract thumbnail directly in addition to the one from Naver
Closes #477

[metadatafromfield] Do not detect numbers as field names
Related: https://github.com/yt-dlp/yt-dlp/issues/486#issuecomment-877820394

[webtt] Fix timestamps
Closes #474

[youtube:comments] Move comment extraction to new API (#466)

Closes #438, #481, #485

Authored by: colethedj

[BravoTV] Improve metadata extraction (#483)

Authored by: kevinoconnor7

[embedthumbnail] Fix `_get_thumbnail_resolution`

Improve `traverse_obj`

[FFmpegMetadata] Add language of each stream
and some refactoring

[utils] Add `variadic`

[VIKI] Rewrite extractors (#475)

Closes #462
Also added extractor-arg `video_types` to `vikichannel`

Co-authored-by: zackmark29, pukkandan

[youtube] Fix sorting of 3gp format

Improve `extractor_args` parsing

Fix selectors `all`, `mergeall` and add tests

Bug from: 981052c9c6febb33b6547140a67a49ac0f5f4578

[version] update

:ci skip all

Release 2021.07.07

Update to ytdl-commit-a803582

[peertube] only call description endpoint if necessary
https://github.com/ytdl-org/youtube-dl/commit/a8035827177d6b59aca03bd717acb6a9bdd75ada

[soundcloud] Allow login using oauth token (#469)

Authored by: blackjack4494

[fancode] Fix extraction, support live and allow login with refresh token (#471)

Authored-by: zenerdi0de

[AdobePass] Add Spectrum MSO (#470)

From: https://github.com/ytdl-org/youtube-dl/pull/26792

Co-authored by: kevinoconnor7, ohmybahgosh

[Funimation] Rewrite extractor (See desc) (#444)

* Support direct `/player/` URL
* Treat the different versions of an episode as different formats of a single video. So `experience_id` can no longer be used as the video `id` and the `episode_id` is used instead. This means that all existing archives will break
* Extractor options `language` and `version` to pre-select them
* Compat option `seperate-video-versions` to fall back to old behavior (including using the old video IDs)

Closes #428

[extractor] Minor improvements (See desc)

1. Allow removal of login hint - extractors can set their own login hint as part of `msg`
2. Cleanup `_merge_subtitles` signature

[extractor] Prevent unnecessary download of hls manifests
and refactor `hls_split_discontinuity` code

[fragment] Handle errors in threads correctly

[cleanup] Fix linter and some typos
Related: https://github.com/ytdl-org/youtube-dl/pull/29398

[videa] Fix extraction (#463)

Authored by: nyuszika7h

Fixes for `--list` options (See desc)
1. Fix `--list-formats-old`
2. Allow listing with `--quiet`
3. Allow various listings to work together
4. Allow `--print` to work with listing

[RCTIPlus] Add extractor (#443)

Authored by: MinePlayersPE

Some minor fixes and refactoring (see desc)

* [utils] Fix issues with reversal
* check_formats should catch `DownloadError`, not `ExtractorError`
* Simplify format selectors with `LazyList` and `yield from`

[facebook] Extract description and fix title
Partially fixes: #453

[downloader/ffmpeg] Fix `--ppa` when using simultaneous download

[Youtube] Choose correct Live chat API for upcoming streams (#460)

Authored by: krichbanana

[youtube] Use new API for additional video extraction requests (#328)

Co-authored-by: colethedj, pukkandan
Closes https://github.com/yt-dlp/yt-dlp/issues/427
Workarounds for https://github.com/ytdl-org/youtube-dl/issues/29326, https://github.com/yt-dlp/yt-dlp/issues/319, https://github.com/ytdl-org/youtube-dl/issues/29086

[youtube_live_chat] use `clickTrackingParams` (#449)

Authored by: siikamiika

[TBS] Support livestreams (#448)

Authored by: llacb47

[youtube:comments] Fix error handling and add `itct` to params (#446)

Should close #439 (untested)

Authored by: colethedj

[youtube] Fix subtitle names for age-gated videos

Related: https://github.com/iv-org/invidious/pull/2205#issuecomment-868680486

Fix `--throttled-rate` when using `--load-info-json`

Add `--extractor-args` to pass extractor-specific arguments

[funimation] Add `FunimationShowIE` (#442)

Closes #436

Authored by: Mevious

[thumbnailsconvertor] Treat `jpeg` as `jpg`

Process videos when using `--ignore-no-formats-error` (#441)

Authored by: krichbanana

Fix `--flat-playlist` when entry has no `ie_key`

[cleanup] Minor refactoring of `fragment`

[fragment] Return status of download correctly

[yahoo] Fix extraction (#435)

Fixes: https://github.com/ytdl-org/youtube-dl/issues/28290
Co-authored-by: llacb47, pukkandan

[youtube_live_chat] Fix download with cookies (#437)

Closes #417

Authored by: siikamiika

[plutotv] Improve `_VALID_URL`
Closes #431

[version] update :ci skip all

Release 2021.06.23

Update to ytdl-commit-379f52a

[liveleak] Remove extractor
https://github.com/ytdl-org/youtube-dl/commit/379f52a4954013767219d25099cce9e0f9401961

[funimation] Extract subtitles (#434)

Closes #420, https://github.com/ytdl-org/youtube-dl/issues/25645
Related: https://github.com/ytdl-org/youtube-dl/pull/24906

Authored by: Mevious

[hotstar] Use server time for authentication instead of local time
Closes #396

[youtube_live_chat] Support ongoing live chat (#422)

Authored by: siikamiika

[cleanup] Revert unnecessary changes in 51d9739f8031fb37d8e25b0e9f1abea561e3d2e3

Add option `--throttled-rate` below which video data is re-extracted
Currently only for HTTP downloads

Closes #430, workaround for https://github.com/ytdl-org/youtube-dl/issues/29326

[fragment] Merge during download for `-N`, and refactor `hls`/`dash` (#364)

[twitcasting] Websocket support (#399)
Closes #392
Authored by: nao20010128nao

[websockets] Add `WebSocketFragmentFD` (#399)
Necessary for #392

Co-authored by: nao20010128nao, pukkandan