Release 2021.02.19

Update to ytdl-commit-cf2dbec
https://github.com/ytdl-org/youtube-dl/commit/cf2dbec6301177a1fddf72862de05fa912d9869d

Except: [kakao] improve info extraction and detect geo restriction
https://github.com/ytdl-org/youtube-dl/commit/d8085580f63ad3b146a31712ff76cf41d5a4558a

[viki] Fix extractor (Closes #91)

[build] Publish on PyPi only if token is set

This allows forks to easily build releases
:ci skip all

[documentation] Remove `--flat-videos`

It does not work as documented
It was an experimental option that I forgot to remove when making the fork public

:ci skip all

[youtube] Fix for empty comment text (Closes #97)

[formatsort] Remove misuse of 'preference'

'preference' is to be used only when the format is better that ALL qualities of a lower preference irrespective of ANY sorting order the user requests. See deezer.py for correct use of this

In the older sorting method, `preference`, `quality` and `language_preference` were functionally almost equivalent. So these disparities doesn't really matter there

Also, despite what the documentation says, the default for `preference` was actually 0 and not -1. I have tried to correct this and also account for it when converting `preference` to `quality`

[formatsort] Remove forced priority of `quality`

When making `FormatSort`, I misinterpreted the purpose `quality`

[documentation] Better document `--prefer-free-formats`

Also added `--no-prefer-free-formats`

[formatsort] Prefer vp9.2 over other vp9 codecs

vp9.2 may contain HDR while vp9.0 doesn't

[formatsort] Remove unnecessary `field_preference` from extractors

These were written with the old format sorting in mind and is no longer needed

[youtube] Fix hashtag continuation

Eg: https://www.youtube.com/hashtag/youtube

:ci skip dl

Option `--windows-filenames` to force use of windows compatible filenames

* Also changed `--trim-file-name` to `--trim-filenames` to be similar to related options

Related: https://web.archive.org/web/20210217190806/https://old.reddit.com/r/youtubedl/comments/llc4o5/do_you_guys_also_have_this_error

:ci skip dl

#93 Build improvements

* Lock all python package versions to the last officially supported releases for x86
* Bugfix for UNIX hash output
* Use wheels to avoid compilation of python packages
* Hash calculation on Windows now uses PowerShell rather than the legacy certutil

Authored-by: shirtjs <redacted>

[youtube] Add more Invidious instances (Closes #92)

:ci skip dl

[MoveFiles] Fix when merger can't run

:ci skip dl

[contributors] update

Forgot to do it when making release

:ci skip dl

Don't raise parser.error when exiting for update

[version] Set version number based on UTC time, not local time

#89 [pyinst.py] Exclude vcruntime140.dll from UPX (#89)

Related: https://github.com/blackjack4494/yt-dlc/pull/182 (7b400ac40b8e9ce5abaa6d0293fa9d4f017cf1f3)

Authored by: jbruchon

#90 [niconico] Extract `channel` and `channel_id` (Closes #77)

Authored by kurumigi

[ExtractAudio] Bugfix for 1de75fa129775b6d1ea57686299e0aeadb9a8ab8

Fixes: #58
:ci skip dl

[version] update

:ci skip dl

Release 2021.02.15

[youtube] Fix for new accounts

Cookies for some new accounts doesn't work with age-gated videos without `has_verified=1`

#88 Implement SHA256 checking for autoupdater

* Also fix bugs from e5813e53f089e018606435926ae0e109c4838394

Authored-by: shirtjs <redacted>
:ci skip dl

Fix build.yml hashing and crypto support (#87)

Authored-by: shirtjs <redacted>

[ExtractAudio] Don't re-encode when file is already in a common audio format (Closes #58)

Fixes: https://github.com/blackjack4494/youtube-dlc/issues/214
Fixes: https://github.com/ytdl-org/youtube-dl/issues/28006

[rumble] Add support for video page (Closes #80)

Improve build/updater

* Fix `get_executable_path` in UNIX
* Update `x86.exe` correctly
* Exit immediately in windows once the update process starts so that the file handle is released correctly
* Show `exe`/`zip`/`source` and 32/64bit in verbose message
* Look for both `yt-dlp` and `youtube-dlc` in releases. This ensures that the updater will keep working when the binary name is changed to yt-dlp
* Disable pycryptodome in win_x86 since it causes `distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 10.0 is required`

#86 [youtube_live_chat] Use POST API (Closes #82)

YouTube has removed support for the old GET based live chat API, and it's now returning 404

Authored by siikamiika

#79 Fix HLS AES-128 with multiple keys in external downloaders

Authored-by: shirtjs <redacted>

Cleanup some code and fix typos

:ci skip dl

Minor bugfixes

* `__real_download` should be false when ffmpeg unavailable and no download
* Mistakes in #70
* `allow_playlist_files` was not correctly pass through

#70 Allow downloading of unplayable video formats

Video postprocessors are also turned off when this option is used

Co-authored-by: shirtjs <redacted>
Co-authored-by: pukkandan <redacted>

[sponskrub] Print ffmpeg output and errors to terminal

The ffmpeg run can be long when using `--sponskrub-cut`. So progress needs to be printed

:ci skip dl

#76 Fix for empty HTTP head requests

Related: https://github.com/ytdl-org/youtube-dl/issues/7181

Authored-by: shirtjs <redacted> (shirt-dev)

#75 Change optional dependency from `Crypto` to `pycryptodome` (Closes #74)

Authored-by: shirtjs <redacted> (shirt-dev)
pycryptodome is an in-place replacement for Crypto and is more actively developed

[youtube] Fix search continuations

Update to ytdl-2021.02.10

Except: [archiveorg] Fix and improve extraction (5fc53690cbe6abb11941a3f4846b566a7472753e)

#72 Fix issue with unicode filenames in aria2c (Closes #71)

Authored-by: shirtjs <redacted> (shirt-dev)

#49 [niconico] Improved extraction and support encrypted/SMILE movies

Co-authored-by: tsukumijima <redacted>
Co-authored-by: tsukumi <redacted>
Co-authored-by: Bepis <redacted>
Co-authored-by: pukkandan <redacted>

[version] update
:ci skip all

Release 2021.02.09

[embedsubtitle] Keep original subtitle after conversion if write_subtitles given

Closes: https://github.com/pukkandan/yt-dlp/issues/57#issuecomment-775227745
:ci skip dl

[embedthumbnail] Keep original thumbnail after conversion if write_thumbnail given (Closes #67)

Closes https://github.com/ytdl-org/youtube-dl/issues/27041

:ci skip dl

Add fallback for thumbnails
Workaround for: https://github.com/ytdl-org/youtube-dl/issues/28023
Related: https://github.com/ytdl-org/youtube-dl/pull/28031

Also fixes https://www.reddit.com/r/youtubedl/comments/lfslw1/youtubedlp_with_aria2c_for_dash_support_is/gmolt0r?context=3

[youtube] Fix tests

[youtube] Simplified renderer parsing

[youtube] Support gridPlaylistRenderer and gridVideoRenderer (Closes #65)

[pyinst.py] Move back to root dir (Closes #63)

#64 Implement self updater

Co-authored-by: shirtjs <redacted> (shirt-dev)
Co-authored-by: pukkandan <redacted>

[postprocessor] Fix bug (Closes #62)
introduced by: 1bf540d28b9a53112532aefde12188db5b327891

:ci skip dl

#55 Add aria2c support for DASH (mpd) and HLS (m3u8)

Co-authored-by: Dan <redacted>
Co-authored-by: pukkandan <redacted>

[youtube] Bugfix (Closes #60)

[documentation] Crypto is an optional dependency

[sponskrub] Don't raise error when the video does not exist

Eg: `--convert-sub srt --no-download --sponskrub` gave error before

:ci skip dl

[remuxvideo] Fix validation of conditional remux

[youtube] Don't show warning for empty playlist description (Closes #54)

:ci skip dl

[movefiles] Fix compatibility with python2

:ci skip dl

[youtube_live_chat] Improve extraction

:ci skip dl

[youtube] Fix comment extraction (Closes #53)

:ci skip dl

[version] update (and linter)

Release 2021.02.04

Multiple output templates for different file types

Syntax: -o common_template -o type:type_template
Types supported: subtitle|thumbnail|description|annotation|infojson|pl_description|pl_infojson

[pyinst] Automatically detect python architecture and working directory

:ci skip all

[linter] youtube.py

[youtube] Update to ytdl-2021.02.04.1

[FormatSort] fix bug where `quality` had more priority than `hasvid`

Update to ytdl-2021.02.04.1 except youtube

#45 Allow date/time formatting in output template

Closes #43

[youtube_live_chat] Fix URL

Bug introduced by 82e3f6ebda56c84166494e157e0f856467ca5581

:ci skip dl

[youtube] More metadata extraction for channels/playlists

Strip out internal fields such as `_filename` from infojson (Closes #42)

:ci skip dl

[FormatSort] Allow user to prefer av01 over vp9

The default is still vp9

Fix "Default format spec" appearing in quiet mode

Fix issue with overwriting files

[audius] Fix extractor

[youtube_live_chat] Fix `parse_yt_initial_data` and add `fragment_retries`

:ci skip dl

[postprocessor] Raise errors correctly

Previously, when a postprocessor reported error, the download was still considered a success. This causes issues especially with critical PPs like Merger, MoveFiles etc

:ci skip dl

fix typos :ci skip dl

New option --no-write-playlist-metafiles to NOT write playlist metadata files

[metadatafromtitle] Fix bug when extracting data from numeric fields

:ci skip dl

[version] update

:ci skip dl

Release 2021.01.29

Refactor `update-version`, `pyinst.py` and related files

* Refactor update-version
* Moved pyinst, update-version and icon into devscripts
* pyinst doesn't bump version anymore
* Merge pyinst and pyinst32. Usage: `pyinst.py [32|64]`
* Add mutagen as requirement
* Remove make_win and related files

[Audius] Add extractor (Closes #40)

Related: https://github.com/ytdl-org/youtube-dl/pull/27360
Related: https://github.com/ytdl-org/youtube-dl/issues/24216

Direct API URLs are not currently supported. See https://github.com/ytdl-org/youtube-dl/pull/27360#issuecomment-757123708 for details

Co-authored by: qulas

Populate "playlist_*" fields for setting playlist metadata filename

Related: #36

Linter and misc cleanup

:ci skip dl

[youtube] Extract playlist description

[anvato] Workaround for anvato_token_generator import failing (Closes #35)

:ci skip dl

Partial solution for detecting existing files correctly even when extracting audio

* Does not work when audio format is 'best'

[embedthumbnail] Fix for missing output filename for ffmpeg call (Closes #38)

[Youtube] Improve comment API requests

co-authored by bbepis

Seperate import of lazy_extractors from that of normal extractors

This prevents "ModuleNotFoundError: No module named 'youtube_dl.extractor.lazy_extractors'" from appearing in the traceback

Related: https://github.com/animelover1984/youtube-dl/issues/17#issuecomment-757945024

Detect existing files correctly even when there is remux/recode

:ci skip dl

[ffmpeg] Document more formats that are supported for remux/recode

Write playlist description to file (Closes #36)

:ci skip dl

#31 Features from animelover1984/youtube-dl

* Add `--get-comments`
* [youtube] Extract comments
* [billibilli] Added BiliBiliSearchIE, BilibiliChannelIE
* [billibilli] Extract comments
* [billibilli] Better video extraction
* Write playlist data to infojson
* [FFmpegMetadata] Embed infojson inside the video
* [EmbedThumbnail] Try embedding in mp4 using ffprobe and `-disposition`
* [EmbedThumbnail] Treat mka like mkv and mov like mp4
* [EmbedThumbnail] Embed in ogg/opus
* [VideoRemuxer] Conditionally remux video
* [VideoRemuxer] Add `-movflags +faststart` when remuxing from mp4
* [ffmpeg] Print entire stderr in verbose when there is error
* [EmbedSubtitle] Warn when embedding ass in mp4
* [avanto] Use NFLTokenGenerator if possible

More badges

:ci skip all