[cleanup] Misc fixes

Closes #7528

[compat] Add `types.NoneType`

[extractor] Fix `--load-pages`

[ie/generic] Fix generic title for embeds

Closes #7067

[outtmpl] Fix replacement for `playlist_index`

[ie/abematv] Temporary fix for protocol handler

Closes #7622

[fd/external] Fix ffmpeg input from stdin (#7655)

Bugfix for 1ceb657bdd254ad961489e5060f2ccc7d556b729

Authored by: bashonly

[ie/crunchyroll] Remove initial state extraction (#7632)

Authored by: Grub4K

[ie/MuseAI] Add extractor (#7614)

Closes #7543
Authored by: bashonly

[ie/MagellanTV] Add extractor (#7616)

Closes #7529
Authored by: bashonly

[utils] Improve `parse_duration`

Authored by: bashonly

[networking] Fix `--legacy-server-connect` (#7645)

Bugfix for 227bf1a33be7b89cd7d44ad046844c4ccba104f4

Authored by: bashonly

[networking] Fix POST requests with zero-length payloads (#7648)

Bugfix for 227bf1a33be7b89cd7d44ad046844c4ccba104f4

Authored by: bashonly

[ie/twitter:spaces] Fix format protocol (#7550)

Closes #7536
Authored by: bashonly

[ie/facebook:reel] Fix extraction (#7564)

Closes #7469
Authored by: demon071, bashonly

[ie/pornhub] Update access cookies for UK (#7591)

Closes #7590
Authored by: zhong-yiyu

[fd/external] Fixes to cookie handling

- Fix bug in `axel` Cookie header arg
- Pass cookies to `curl` as strings
- Write session cookies for `aria2c` and `wget`

Closes #7539
Authored by: bashonly

[core] Fix HTTP headers and cookie handling

- Remove `Cookie` header from `http_headers` immediately after loading into cookiejar
- Restore compat for `--load-info-json` cookies
- Add more tests
- Fix improper passing of Cookie header by `MailRu` extractor

Closes #7558
Authored by: bashonly, pukkandan

[cleanup] Add color to `download-archive` message (#5138)

Authored by: aaruni96, Grub4K, pukkandan
Closes #4913

[build] Make sure deprecated modules are added

[compat, networking] Deprecate old functions (#2861)

Authored by: coletdjnz, pukkandan

[networking] Rewrite architecture (#2861)

New networking interface consists of a `RequestDirector` that directs
each `Request` to appropriate `RequestHandler` and returns the
`Response` or raises `RequestError`. The handlers define adapters to
transform its internal Request/Response/Errors to our interfaces.

User-facing changes:
- Fix issues with per request proxies on redirects for urllib
- Support for `ALL_PROXY` environment variable for proxy setting
- Support for `socks5h` proxy
   - Closes https://github.com/yt-dlp/yt-dlp/issues/6325, https://github.com/ytdl-org/youtube-dl/issues/22618, https://github.com/ytdl-org/youtube-dl/pull/28093
- Raise error when using `https` proxy instead of silently converting it to `http`

Authored by: coletdjnz

[networking] Add module (#2861)

No actual changes - code is only moved around

[utils] Add temporary shim for logging

Related: #5680, #7517

[ie/youtube:tab] Detect looping feeds (#6621)

Closes https://github.com/yt-dlp/yt-dlp/issues/5555

Note: the first page may still be repeated, however this is better than nothing.

Authored by: coletdjnz

[ie/piapro] Support `/content` URL (#7592)

Authored by: FinnRG

[pp/EmbedThumbnail] Support `m4v` (#7583)

Authored by: Neurognostic

[ie/streamanity] Remove (#7571)

Service is dead
Authored by: alerikaisattera

[utils] `clean_podcast_url`: Handle more trackers (#7556)

Authored by: mabdelfattah, bashonly
Closes #7544

[ie/vrt] Update token signing key (#7519)

Authored by: Zprokkel

[ie/BiliBiliBangumi] Fix extractors (#7337)

- Overhaul BiliBiliBangumi extractor for the site's new API
- Add BiliBiliBangumiSeason extractor
- Refactor BiliBiliBangumiMedia extractor

Closes #6701, Closes #7400
Authored by: GD-Slime

[extractor/twitter] Fix GraphQL and legacy API (#7516)

Authored by: bashonly

Revert 49296437a8e5fa91dacb5446e51ab588474c85d3

Release 2023.07.06

Created by: pukkandan

:ci skip all :ci run dl

[docs] Minor fixes

Closes #7515

[core] Change how `Cookie` headers are handled

Cookies are now saved and loaded under `cookies` key in the info dict
instead of `http_headers.Cookie`. Cookies passed in headers are
auto-scoped to the input URLs with a warning.

Ref: https://github.com/yt-dlp/yt-dlp/security/advisories/GHSA-v8mc-9377-rwjj

Authored by: Grub4K

[core] Prevent `Cookie` leaks on HTTP redirect

Ref: https://github.com/yt-dlp/yt-dlp/security/advisories/GHSA-v8mc-9377-rwjj

Authored by: coletdjnz

[fd/external] Scope cookies

- ffmpeg: Calculate cookies from cookiejar and pass with `-cookies` arg instead of `-headers`
- aria2c, curl, wget: Write cookiejar to file and use external FD built-in cookiejar support
- httpie: Calculate cookies from cookiejar instead of `http_headers`
- axel: Calculate cookies from cookiejar and disable http redirection if cookies are passed
    - May break redirects, but axel simply don't have proper cookie support

Ref: https://github.com/yt-dlp/yt-dlp/security/advisories/GHSA-v8mc-9377-rwjj

Authored by: bashonly, coletdjnz

[ie/vidlii] Handle relative URLs

Closes #7480

[ie/youtube] Avoid false DRM detection (#7396)

Some master manifests contain a mix of DRM and non-DRM formats

[core] Allow extractors to mark formats as potentially DRM (#7396)

This is useful for HLS where detecting whether the format is
actually DRM requires the child manifest to be downloaded.

Makes the error message when using `--test` inconsistent,
but doesn't really matter.

[formats] Fix best fallback for storyboards

Partial fix for #7478

[cleanup] Misc

[devscripts/make_changelog] Skip reverted commits

[outtmpl] Pad `playlist_index` etc even when with internal formatting

Closes #7501

[downloader/http] Avoid infinite loop when no data is received

Closes #7504

[misc] Add CodeQL workflow (#7497)

[extractor/youtube:stories] Remove (#7459)

YouTube killed them

https://web.archive.org/web/20230630153050/https://support.google.com/youtube/thread/217640760

[extractor/twitter] Fix unauthenticated extraction (#7476)

Closes #7473
Authored by: bashonly

[extractor/twitter:spaces] Fix extraction (#7512)

Closes #7455
Authored by: bashonly

[extractor/googledrive] Fix source format extraction (#7395)

Closes #7344
Authored by: RfadnjdExt

[extractor/youtube] Ignore incomplete data for comment threads by default (#7475)

For both `--ignore-errors` and `--ignore-errors only_download`. Pass `--no-ignore-errors` to not ignore.

Closes https://github.com/yt-dlp/yt-dlp/issues/7474

Authored by: coletdjnz

[extractor/vk] VKPlay, VKPlayLive: Add extractors (#7358)

Closes #7107
Authored by: c-basalt

[extractor/stacommu] Add extractors (#7432)

Authored by: urectanc

[extractor/youtube:tab] Support shorts-only playlists (#7425)

Fixes https://github.com/yt-dlp/yt-dlp/issues/7424

Authored by: coletdjnz
Co-authored-by: pukkandan <redacted>

[extractor/Douyin] Fix extraction from webpage

Closes #7431
Authored by: bashonly

[extractor/abc] Fix extraction (#7434)

Closes #6433
Authored by: meliber

[extractor/crunchyroll:music] Fix `_VALID_URL` (#7439)

Closes #7419
Authored by: AmanSal1, rdamas

Co-authored-by: Robert Damas <redacted>

[utils] clean_podcast_url: Handle protocol in redirect URL

Closes #7430

[extractor/sbs] Python 3.7 compat

Closes #7410

[downloader/aria2c] Add `--no-conf`

Closes #7404

[extractor/youtube] Process `post_live` over 2 hours

[extractor/kick] Fix `_VALID_URL`

Closes #7384
Authored by: bashonly

[extractor/AdultSwim] Extract subtitles from m3u8 (#7421)

Authored by: nnoboa
Closes #6191

[extractor/qdance] Add extractor (#7420)

Closes #7385
Authored by: bashonly

[extractor/youtube] Add extractor-arg `formats`

Closes #7417

Bugfix for b4e0d75848e9447cee2cd3646ce54d4744a7ff56

[extractor/youtube] Fix comments' `is_favorited` (#7390)

Authored by: bbilly1
Closes #7389

Release 2023.06.22

Created by: pukkandan

:ci skip all :ci run dl

[cleanup] Misc

[extractor/youtube] Improve nsig function name extraction

Improve `--download-sections`

* Support negative time-ranges
* Add `*from-url` to obey time-ranges in URL

Closes #7248

[extractor/youtube] Improve description parsing performance (#7315)

* The parsing is skipped when not needed
* The regex is improved by simulating atomic groups with lookaheads

Authored by: pukkandan, berkanteber

[extractor/rheinmaintv] Add extractor (#7311)

Authored by: barthelmannk

Co-authored-by: barthelmannk <redacted>

[extractor/dplay] GlobalCyclingNetworkPlus: Add extractor (#7360)

* Allows `country` API param to be configured with `--xff`/`geo_bypass_country`

Closes #7324
Authored by: bashonly

[extractor/motherless] Add gallery support, fix groups (#7211)

Authored by: rexlambert22

[extractor] Support multiple `_VALID_URL`s (#5812)

Authored by: nixxo

Indicate `filesize` approximated from `tbr` better

[extractor/youtube] Add `ios` to default clients used

* IOS is affected neither by 403 or by nsig so helps mitigate them preemptively
* IOS also has higher bit-rate "premium" formats though they are not labeled as such

[extractor/youtube] Workaround 403 for android formats

Ref: https://github.com/TeamNewPipe/NewPipe/issues/9038#issuecomment-1289756816

Revert "[misc] Add automatic duplicate issue detection"

This reverts commit 15b2d3db1d40b0437fca79d8874d392aa54b3cdd.

[extractor/nebula] Fix extractor (#7156)

Closes #7017
Authored by: Lamieur, rohieb

Co-authored-by: Lam <redacted>

[cleanup] Misc

Authored by: bashonly

[extractor/dropout] Fix season extraction (#7304)

Authored by: OverlordQ

Fix bug in db3ad8a67661d7b234a6954d9c6a4a9b1749f5eb

Closes #7367

Release 2023.06.21

Created by: pukkandan

:ci skip all :ci run dl

Update to ytdl-commit-07af47

[YouTube] Improve fix for ae8ba2c
https://github.com/ytdl-org/youtube-dl/commit/07af47960f3bb262ead02490ce65c8c45c01741e

Bugfix for ebe1b4e34f43c3acad30e4bcb8484681a030c114

[core] Fix `filepath` being copied to underlying format dict

Closes #6536

[cleanup] Misc

Closes #6288, Closes #7197, Closes #7265, Closes #7353, Closes #5773
Authored by: mikf, freezboltz, pukkandan

Add option `--netrc-cmd` (#6682)

Authored by: NDagestad, pukkandan
Closes #1706

[extractor/tagesschau] Fix single audio urls (#6626)

Authored by: flashdagger

[update] Do not restart into versions without `--update-to`

[downloader/fragment] Do not sleep between fragments

Closes #6599

[outtmpl] Fix some minor bugs

Closes #7164

[utils] `strftime_or_none`: Handle negative timestamps

Closes #6706
Authored by pukkandan, dirkf

Add `--compat-option playlist-match-filter`

Closes #6073

[extractor/youtube] Ignore wrong fps of some formats

[cookies] Revert compatibility breakage in b38d4c941d1993ab27e4c0f8e024e23c2ec0f8f8

[extractor/youtube] Prioritize premium formats

Closes #7283