Version 1.13.1.

Restore Python 2.6 compatibility by restoring the old version of recv_chunk, only used for Py 2.6.

Version 1.13.0. Ends support for Python 2.6.

Merge pull request #199 from adonoho/use-bytearray-buffer

Reduce memory usage by writing directly into byte array buffer.
Gentlefolk,

The whole point of using a `bytearray` as opposed to concatenating reads of `bytes` was to reduce memory usage. This pull request now takes that strategy to its logical conclusion by writing the balance of the chunk directly into the `bytearray`. This saves the creation of a temporary `bytes` array, up to 8KiB in size.

It does this by creating a `memoryview` of the `bytearray`. While this is still an allocation, the `memoryview`s are much smaller and are, presumably, reclaimed faster.

This patch has been running for over 24 hours and has processed over 4 MTw under Python v3.3.3 on OS X 10.8.5. It has also been run for about 10 minutes on Python v2.7.6 on a similar machine. `memoryview` does not appear to have been backported to Python v2.6.*. Hence, this pull request is incompatible with that platform.

Anon,
Andrew

P.S. The changes in this pull request are larger than strictly necessary for adding this functionality. I chose to improve the naming of my variables and move some of them closer to where they are used.

Clarify comment.

Merge branch 'use-bytearray-buffer'

Directly read the balance of the HTTP chunk into the byte array. This eliminates at least one large allocation. Adjust names to match new logic.

Version 1.12.1

Merge pull request #198 from adonoho/fix-busy-wait

Follow the hangup message with a break out of the loop.
And clarify a comment and just use a normal string as an initial value.

Follow the hangup message with a break out of the loop. Clarify a comment and just use a normal string as an initial value.

Merge pull request #197 from RouxRC/pr-rouxrc

Add image support + fix diverses issues
All right, Mike's motivation was contagious and I cherry-picked and merged my pending commits regarding the other parts than the streaming.
This should fix a few more pending issues I tagged back then : #127 #177 #192 #126 #10 #64
I also seized the occasion to add @adonoho among the authors as well.

new version and include @adonoho in authors

Merge https://github.com/sixohsix/twitter into pr-rouxrc

friends_timeline is deprecated in API v1.1, remove it from all examples and ircbot

Version 1.11.1.

Fix tilde fixing...

convert non string before replacing in it...
(follows da33e70db0a0469dd8990b1ca3e7b06445529ea2 )

Complete tildes fix for python 2

The fix #64 by @grahame was fixing the issue of sending tweets with
'~' for python 3 but not for python 2 due to urllib.urlencode's lack
of safe functions. Here's a dirty hack to do it anyway.
Any better fix welcome :)

Merge https://github.com/sixohsix/twitter into pr-rouxrc

authorship

Actually, the POST 'place' method is deprecated and removed.

Handle multipart oauth to use image sending api

So the calls to send media (update_with_media, update_profile_image,
update_profile_background_image and update_profile_banner) require
to send queries differently, as multipart form, and oauth needs to be
signed without taking any parameter into account.
This does the trick, following the rules here and there:
https://dev.twitter.com/docs/uploading-media
https://dev.twitter.com/docs/api/1.1/post/statuses/update_with_media
https://dev.twitter.com/discussions/1059

Closes #127

Merged from 0a6fe85f7cc72d940b4393d2522d88d74b05ad22

Fix broken follow create/destroy in cmdline & bot

Adapt argument calls to the intended behavior

Fixes #177 #192 #126 #10

Don't crash with 'python -OO'.

Merge https://github.com/sixohsix/twitter into pr-rouxrc

Ignore .pyo

Make the logger work again.

Merge https://github.com/sixohsix/twitter

Use POST for all methods requiring it in specs

Added all missing methods from https://dev.twitter.com/docs/api/1.1
Also included some of the streaming methods which work with both GET
and POST but accept arguments like "track" which can quickly require
POST.

(Closes #187 #145 #188)

Update follow/unfollow API calls for 1.1.

Make stream example print message if no args are given.

Version 1.11.0

Initialize error instance correctly. Based on @kemkin's patch.

Merge pull request #196 from adonoho/pr-fix-stream

A Simpler Fix to the Streaming Code due to Changes from Twitter on Jan. 13, 2014.
Gentlefolk,

This is a candidate release patch. I propose it become the formal branch of this library and have dubbed it version v1.10.3. I once again formally thank RouxRC for his efforts moving this library forward. Any errors in this patch remain mine and do not reflect upon RouxRC or his code.

This library is a high performance streaming library. Compared to other Twitter libraries, it is easily an order of magnitude faster at delivering tweets to your application. Why is that? When streaming, this library pierces Python's urllib abstraction and takes control of the socket. It interprets the HTTP stream directly. That makes it fast. It also makes it vulnerable to changes. It needed to be upgraded when Twitter upgraded the protocol version.

Twitter's switch to HTTP v1.1 was long overdue.

Summary of changes:

- Based upon RouxRC's code, I turned off gzip compression. My version is slightly different than RouxRC's version.
- Instead of incrementally reading arbitrary lengths of bytes from the socket and seeing if they parse in the JSON parser, a good technique, the switch to HTTP chunking forced us to process in chunk sized blocks. Based upon inspection, Twitter never sends partial JSON in a chunk. They also send keep-alive delimiters in single 7 byte long chunks. This code depends upon both of these observations. It does not do general purpose HTTP chunk processing. It is a Twitter specific HTTP chunk parser.
- Chunk oriented processing allowed me to isolate stream interpretation to the chunk code and migrate the wrapper code to operate exclusively using strings. This makes the wrapper code more readable.
- Once I had opened up the wrapper code, I cleaned it up. This involved modest edits in how certain socket parameters were determined and moving data exclusive to the generator into the generator and out of the containing object.
- As this is exclusively socket oriented code, the HTTP exception catching was removed from the method. The exception was moved to wrap the opening of the socket by url lib.
- Due to reading the data in larger chunks and, hence, running it through the JSON parser less often, this code is about 10% faster than the prior generation.
- When Twitter hangs up on us, this code emits a `hangup` message in the stream.
- This code has been tested using Python v2.7.6 and v3.3.3 on OS X 10.8.5 (Mountain Lion). I have tested it on the high volume sample stream and on a user stream under both versions of Python. It is believed, but not tested, that it will function under Python v2.6.x. It uses the bytearray type. I believe that has been back ported all the way to Python v2.6.x. As the code is not particularly tricky, I do not foresee that it has introduced any new issues that were not already apparent in this library.
- I use this patch in production and have captured 50M+ tweets with it. It is solid and reliable. If you find it to not be so, please contact me. I use it in production and have a vested interest in ensuring that it catches all corner cases.

Thank you for your patience while I refine this patch and I ask Mr. Verdone to select this patch as the basis for moving this library forward.

Enjoy and Anon,
Andrew

Merge branch 'fix-stream' into pr-fix-stream

Clarify the comment about edge cases.

Add comments detailing why we can avoid handling certain edge cases in the Twitter stream.

Handle HTTP chunks that only contain keep-alive delimiters.
A few cosmetic edits of the iterator function.

Set a timeout on the main sample stream to test that code path.

Remove socket timeout mutation code.
Simplify protocol parsing checks.
Move HTTP exception catching to where it might actually be thrown.

Remove all keep-alive delimiters to allow the hangup patch to function.

Bump the version number.

Further refine socket management.
All HTTP chunks are read in their entirety.
Cosmetic code improvements. (The socket's blocking state is set in a more compact form after a DeMorgan's boolean transformation.)
Hangups by Twitter, as with timeouts, are signaled via a message to allow gracious recovery.

As Twitter appears to send complete JSON in the chunks, we can simplify buffer management to only operate on strings and not re-encode the string as bytes. This improves readability at the expense of breakage if Twitter starts spanning JSON across HTTP chunks. This is an unlikely change to their infrastructure. That said, this is a totally optional patch.

Move variables out of the iterator class and into the generator function. This slightly improves locality of code and data.

Move recv_chunk() into a stand alone function. Further minimize memory use by using a chunk sized bytearray.

Merge branch 'fix-stream' into pr-fix-stream

Cosmetic edits.

Minimize string decoding and move to use a bytearray for the buffer. This reduces memory consumption and is faster than the += operator for buffer concatenation and trimming.

Merge branch 'fix-stream' into pr-fix-stream

Cosmetic edit

Bring HTTP chunk downloading into its own separate method.

Add support for both user and site streams.

Increase the size of the read buffer to be larger than the average tweet.

Move the potentially uninitialized values out of the if test.

IRCBot should use default API v1.1

Update to use OAuth, take in command line arguments and modify the imports to function from within the module.

Test for delimiters in the stream and removes them. Add comments.

Change some default attributes and add TwitterHTTPError (ref: RouxRC [3d29eae] & [642c4a4]

Fix the uri extension by attribute name.

Do not send gzip headers for streaming calls. (ref: RouxRC [73efaca])

Ignore .idea files from PyCharm.

Make universal wheels.

Version 1.10.2.

fallback to simplejson.

Merge pull request #184 from MrMitch/relative_imports

use relative import in oauth2.py for auth
Changed:
```py
from twitter.auth import Auth
```

To:
```py
from .auth import Auth
```

in `twitter/oauth2.py` to match import usage made in `twitter/*.py`

Merge pull request #183 from iiSeymour/patch-1

Used named argument to avoid TypeError
Named argument is needed to avoid: `TypeError: __call__() takes exactly 1 argument (2 given)`

Add missing json import.

Merge pull request #185 from cegme/json_status_dump

Added a json format option
This addition allows the user to get the raw json tweet information from each row. This is helpful when the twitter json format is needed by another process.

Example usage: `twitter --format=json  friends`

This would get the latest tweets from friends in the raw json format. That json can be ported into another process or another database for processing.

Merge pull request #178 from dkanygin/master

added timeout option to TwitterStream
In case of low tweet volume, we now can timeout and exit iterator to update search query or other housekeeping tasks.

Added a json format option

This addition allows the user to get the raw json tweet information from each row. This is helpful when the twitter json format is needed by another process.

Example usage: `twitter --format=json -r friends`

use relative import in oauth2.py for auth

Used named argument to avoid TypeError: __call__() takes exactly 1 argument (2 given)

Update setup.py

change version number to 1.10.1

Deal with reading empty buffer (SSL errno2) in timeout mode

Deal with SSL errno2 in timetout mode

Deal with SSL errno 2 in timeout mode

added timeout option to TwitterStream

In case of low tweet volume, we now can timeout and exit iterator to update search query or other housekeeping tasks.

Merge pull request #168 from mjumbewu/patch-1

Import TwitterHTTPError for stream module
The TwitterJSONIter raises TwitterHTTPError on HTTPError, but it is never imported into the module.

Merge pull request #167 from lumbric/master

Add stream documenation
It was very difficult to find information on this topic. Now that I figured out how to get direct messages, I added it to the README.

See also questions and discussions on this topic:
http://stackoverflow.com/a/17536438/859591
https://dev.twitter.com/discussions/8081
https://dev.twitter.com/discussions/8110

Merge pull request #174 from RouxRC/master

POST for "statuses/filter" in Streaming API
Twitter recommends to use preferably POST for the filter method in the Streaming API https://dev.twitter.com/docs/api/1.1/post/statuses/filter
So it should be listed here

Twitter also strongly encourage to use POST on users/lookup https://dev.twitter.com/docs/api/1.1/get/users/lookup

Twitter recommends to use preferably POST for the filter method in the Streaming API, so it should be listed here

Import TwitterHTTPError for stream module

add some documentation for streams

See also questions and discussions on this topic:
http://stackoverflow.com/a/17536438/859591
https://dev.twitter.com/discussions/8081
https://dev.twitter.com/discussions/8110

Merge pull request #164 from LeadSift/master

Updating README for _id and _method docs

Adding _id and _method docs to README

Version 1.10.0

Merge pull request #156 from mattcen/master

DM archiving, Twitter API upgrade, better timestamps.
You know what's awesome? Patching a program, realising you should rebase your patch on the latest commit (I based off twitter-1.8.0, so had a fair few changes to make), and then finding all the features (namely Favourites and Mentions) that got added to master in the meantime! Love your project! I will likely try to tweak the Favourites and Mentions behaviours in the near future though so they and Timeline-fetching aren't mutually exclusive.

NOTE: You'd need to update your Twitter App settings to allow viewing and posting of DMs for this to work out of the box for people.

    Add argument to get DMs
    Adapt statuses_portion()
    Adapt statuses() to optionally handle DMs
    Adapt main() to pull down DMs if instructed
    Enforce Twitter API 1.1 for archiver and follow.
    Add option to allow more accurate timestamps (specifically the timezone specification) in output files.

Fix timezone bug introduced in previous commit

Removed too much code; wasn't converting to local timezone anymore

Tidy up timestamp and timezone code

Fix style of exception handler

http://docs.python.org/2/tutorial/errors.html#handling-exceptions

"except ValueError, e: was the syntax used for what is normally written
  as except ValueError as e: in modern Python (described below). "

Add mattcen as author

Convert archiver.py and follow.py to API 1.1

This is mostly done. I've not yet decided on a tidy way to re-implement
the API limit tests, since this has changed significantly between API
versions 1.0 and 1.1.

Further, as I understand it, API 1.1 requires OAuth for everything, but
it is still an optional command argument which is off by default. This
should be fairly trivial to fix, but I've not yet done so.

Allow storage of date in ISO (RFC 3339) format

Adapt code to archive DMs

* Add argument to get DMs
* Adapt statuses_portion()
* Adapt statuses() to optionally handle DMs
* Adapt main() to pull down DMs if instructed

Fix some tests.

Update some of the cmdline to support API 1.1.

Merge pull request #160 from nicksloan/master

Fixes sixohsix/twitter#154: application-only authentication with oauth2 support
Fixes sixohsix/twitter#154: application-only authentication with oauth2 support. Tested on python 2.7 and python 3.3.

Merge pull request #159 from StalkR/author

add StalkR as initial contributor of archiver and follow