Better implementation of YoutubeSearchURLIE

Added RDMM back

Eg: https://www.youtube.com/watch?v=MuAGGZNfUkU&list=RDMM

Minor fixes

Updated to release 2020.11.21.1

Implemented all Youtube Feeds (ytfav, ytwatchlater, ytsubs, ythistory, ytrec) and SearchURL

Revert changes to vlive

Merge 'ytdl-org/youtube-dl/master' release 2020.11.19

Old Extractors left behind:
VLivePlaylistIE
YoutubeSearchURLIE
YoutubeShowIE
YoutubeFavouritesIE

If removing old extractors, make corresponding changes in
docs/supportedsites.md
youtube_dlc/extractor/extractors.py

Not merged:
.github/ISSUE_TEMPLATE/1_broken_site.md
.github/ISSUE_TEMPLATE/2_site_support_request.md
.github/ISSUE_TEMPLATE/3_site_feature_request.md
.github/ISSUE_TEMPLATE/4_bug_report.md
.github/ISSUE_TEMPLATE/5_feature_request.md
test/test_all_urls.py
youtube_dlc/version.py
Changelog

Merge pull request #187 from pukkandan/break-on-existing

Stop download after encountering video in archive

Merge pull request #181 from pukkandan/precheck-archive

Check IDs in the archive before downloading webpage

Add --break-on-existing by @gergesh

Authored-by: Yoav Shai <redacted>

Handle IndexError

Pre-check video IDs in the archive before downloading

[skip travis] typo

flake8 yt py2 fix

[skip travis]

[youtube] python2 fix #168

proposed fix by awei78

[skip travis]

Merge pull request #149 from RobinD42/fix-subtitle-fallback

fall-back to the old way to fetch subtitles, if needed

Merge pull request #151 from wlritchi/youtube-playlist-polymer

RFC: youtube: Polymer UI and JSON endpoints for playlists

Merge pull request #137 from nsapa/fix_subtitle

Fix issue triggered by tubeup

ytsearchurl 5 pages for around 100 results

[youtube] max_pages=5 for search, unlimited for everything else

Also drop a few leftover methods in search that are no longer used.

Merge pull request #79 from rigstot/thisvid

implement ThisVid extractor

Merge branch 'master' into youtube-playlist-polymer

manually set limit for youtubesearchurl

Merge pull request #147 from ZenulAbidin/master

Fix #93 YoutubePlaylistsIE

implement ThisVid extractor

deobfuscates the video URL using a reverse engineered version of KVS
player's algorithm. This was tested against version 4.0.4, 5.0.1,
5.1.1.4 and 5.2.0.4 of the player and a warning will be issued if the
major version changes.

Merge pull request #159 from pukkandan/no-http-header

Fix external downloader when there is no http_header

Fix external downloader when there is no http_header

Merge pull request #153 from Romern/zoom-fix

[zoom] Fix url parsing for url's containing /share/ and dots

[zoom] Fix url parsing for url's containing /share/ and dots

fix: youtube: Polymer UI and JSON endpoints for playlists

We already had a few copies of Polymer-style pagination handling logic
for certain circumstances, but now we're forced into using it for all
playlists since we can no longer disable Polymer. Refactor the logic to
move it to the parent class for all entry lists (including e.g. search
results, feeds, and list of playlists), and generify a bit to cover the
child classes' use cases.

[skip travis] adjust python versions

fall-back to the old way to fetch subtitles, if needed

Fix #93 YoutubePlaylistsIE

[youtube] Fix 'liveChatReplayContinuationData' missing 'continuation' key

live_chat_continuation['continuations'][0]['liveChatReplayContinuationData']['continuation'] can not exist.
So catch the KeyError.

Traceback:
$ tubeup 'https://youtube.com/watch?v=JyE9OF03cao'
[debug] Encodings: locale UTF-8, fs utf-8, out UTF-8, pref UTF-8
[debug] youtube-dlc version 2020.10.25
[debug] Python version 3.7.3 (CPython) - Linux-5.8.0-0.bpo.2-amd64-x86_64-with-debian-10.6
[debug] exe versions: ffmpeg 3.3.9, ffprobe 3.3.9
[debug] Proxy map: {}
There are no annotations to write.
[download] 452.59KiB at 615.35KiB/s (00:01)ERROR: 'liveChatReplayContinuationData'
Traceback (most recent call last):
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 846, in extract_info
    return self.process_ie_result(ie_result, download, extra_info)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 901, in process_ie_result
    return self.process_video_result(ie_result, download=download)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 1696, in process_video_result
    self.process_info(new_info)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 1894, in process_info
    dl(sub_filename, sub_info, subtitle=True)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 1866, in dl
    return fd.download(name, info, subtitle)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/downloader/common.py", line 375, in download
    return self.real_download(filename, info_dict)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/downloader/youtube_live_chat.py", line 85, in real_download
    continuation_id = live_chat_continuation['continuations'][0]['liveChatReplayContinuationData']['continuation']
KeyError: 'liveChatReplayContinuationData'

[common] Make sure self.params.get('sleep_interval_subtitles') is int

This can happen if another software is using yt-dlc'API (ie: tubeup).
The stack trace would be:
$ tubeup 'https://youtube.com/watch?v=JyE9OF03cao'
[debug] Encodings: locale UTF-8, fs utf-8, out UTF-8, pref UTF-8
[debug] youtube-dlc version 2020.10.25
[debug] Python version 3.7.3 (CPython) - Linux-5.8.0-0.bpo.2-amd64-x86_64-with-debian-10.6
[debug] exe versions: ffmpeg 3.3.9, ffprobe 3.3.9
[debug] Proxy map: {}
There are no annotations to write.
ERROR: '>' not supported between instances of 'NoneType' and 'int'
Traceback (most recent call last):
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 846, in extract_info
    return self.process_ie_result(ie_result, download, extra_info)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 901, in process_ie_result
    return self.process_video_result(ie_result, download=download)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 1696, in process_video_result
    self.process_info(new_info)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 1894, in process_info
    dl(sub_filename, sub_info, subtitle=True)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/YoutubeDL.py", line 1866, in dl
    return fd.download(name, info, subtitle)
  File "/mnt/data2/Backup/Wiki/.local/lib/python3.7/site-packages/youtube_dlc/downloader/common.py", line 367, in download
    if self.params.get('sleep_interval_subtitles') > 0:
TypeError: '>' not supported between instances of 'NoneType' and 'int'

Merge pull request #129 from blackjack4494/release

workflow file

[skip travis] update workflow - sha file

Merge pull request #124 from nixxo/mailru-fix

[mailru] removed escaped braces, use urljoin, added tests

Merge remote-tracking branch 'origin/master'

[skip travis] readme and pypi update

[mailru] removed escaped braces, use urljoin, added tests

Merge pull request #118 from insaneracist/youtube-music-playlist

[youtube] fix: Youtube Music playlists

Merge pull request #117 from nixxo/la7-proto-fix

[la7] fix missing protocol

Merge pull request #112 from insaneracist/youtube-mix-fix

[youtube] fix: mix playlist title

Merge pull request #101 from exwm/vlive-fix

[vlive] fix extractor for revamped website

Merge pull request #120 from pukkandan/no-embed-livechat

Don't try to embed/convert json subtitles generated by youtube livechat

Merge pull request #108 from insaneracist/ytdl-pr/24751-zoomus

[zoom] new extractor

Don't try to embed/convert json subtitles generated by youtube livechat

[zoom] rename extractor from zoomus

[youtube] added Youtube Music channel info

[youtube] fix: Youtube Music playlists

[la7] fix missing protocol

[vlive] add: improved video extractor errors

[vlive] fix: missing expected types for try_get

[vlive] refactor: delete dead function code

[youtube] get mix playlist title from ytInitialData

Merge pull request #57 from insaneracist/youtube-mix-fix

[youtube] fix: extract mix playlist ids from ytInitialData (#33)

[skip travis] add option to use pip to use master

Merge pull request #68 from peet1993/master

[Youtube] Fixed problem with new youtube player

Merge pull request #82 from nixxo/skyitalia

[skyitalia] added geoblock msg

[zoomus] Adjusted url regex, now allowing for arbitrary long ids, dont throw warning if password field not found

[zoomus] Adjusted referer header, fixed formating for flake8

[zoomus] Added support for password protected videos

[zoomus] coding conventions

[zoomus] Cleanup

[zoomus] Allow for more urls

[zoomus] Add new extractor

[vlive] fix: raise login required error on vlive+

[vlive] fix: live video extractor

* use live video info endpoint from v3 api

[vlive] fix: vod logic wrongly used for live video

[vlive] fix: fetching live video not yet uploaded for replay

[vlive] add: support new channel url format

[vlive] add: support video post urls

[vlive] fix: extractor tests for VODs

python2: don't use str, use compat_str

[skip travis]

[skip travis] select python 3.8 in workflow file

[core] sleep-subtitles fix

[viki] new way of obtaining subtitles.

[skyitalia] added geoblock msg

Merge branch 'master' into youtube-mix-fix

Merge pull request #74 from blackjack4494/master

Release 2020.10.31

[skip travis] templates and urls

Merge pull request #61 from merval/merval/comcast_sso_fix

Added Comcast_SSO fix

Merge pull request #65 from TobiX/fix-netzkino

[Netzkino] Only use video id to find metadata

Merge pull request #55 from insaneracist/youtube-music-metadata-fix

[youtube] fix: extract artist metadata from ytInitialData (#49)

Merge pull request #47 from insaneracist/newgrounds-fix

[newgrounds] fix: video download

Merge pull request #51 from B0pol/nitter

[nitter] Add new extractor

Merge pull request #30 from merval/merval/brightcove_drm

Added DRM logic to brightcove

Merge pull request #19 from nixxo/patch-1

[mtv] Fix a missing match_id

Merge pull request #40 from nixxo/skyitalia

[skyitalia] Add new extractor

Merge pull request #45 from insaneracist/xtube-fix

[xtube] fix extractor (#17)

flake8. added sha256 check to updater.

[skip travis] finalised workflow

[skip travis] half done workflow

[core/yt_live_chat] live_chat is back. dl() new parameter

Fixed problem with new youtube player, leading to "Unable to extract video data".

Only use video id to find metadata