なるほど告知欄じゃねーの

ツイッターダウンローダー綜合 (56)

1 宇都宮民 2015/08/22(土) 19:22:31 ID:o9bsXdNw0

ロダ
http://ux.getuploader.com/twi_dl/

初版を作った人のコテ
◆LNUFE0SqYQ

7 宇都宮民 2015/09/20(日) 07:52:48 ID:HMRHr.f60

https://twitter.com/galaxyan_ygreck
ログを取ろうと思ったら途中で終わって全部取れないんですよね
環境依存でしたら申し訳ありませんが調べてもらえないでしょうか

8 宇都宮民 2015/09/20(日) 10:00:40 ID:jgExHGf20

それはツイッターの検索エンジンを元に作っているからです
1週間分は確実に取れますが過去になればなるほど取れる(検索エンジンに引っかかる)確率が減ります
apiを使わずに過去を取る方法はこれかtwilogとかしかないと思いますを
文句はツイッターへ
対策としてフォローフォロワーリストを作るためにapiを導入する予定なのでそこにapiでTL落とし機能の導入とツイログ取得を考えてます
とりとり

9 宇都宮民 2015/09/20(日) 20:58:33 ID:Ccwcw3TU0

>>8
出感、期待していますを

10 宇都宮民 2015/09/21(月) 13:24:23 ID:pq8qDQGU0

ツイート固定IDが15桁以上になるとそれ以降の桁が0になるのですね
当職は詳しくないのですがプログラミングに使用した言語の仕様でしょうか

11 宇都宮民 2015/09/21(月) 14:44:19 ID:o4Sq42gI0

>>10
そうなることは確認していません
webスクレイピングなのでそうならないはずです
誰を取得したかを教えてくれると助かります

12 宇都宮民 2015/09/21(月) 18:31:45 ID:pq8qDQGU0

すみませんでした
csvファイルを表示するのにマイクロソフトエクセルを使用していたため
四捨五入されて表示されていました
当職　頭唐澤

13 宇都宮民 2015/09/26(土) 00:48:38 ID:R6hc4Jyg0

使わせて頂いております
作者様との出会いに感謝

14 宇都宮民 2015/10/10(土) 03:49:48 ID:3gktuIJ20

ver.1.4
ディレクトリ構成を変えてわかりやすい配置にしました
またphantomjsを使ってwhotwiとTLを取得するようにもしました
一度readmeとReleaseNotesを読むことを切に望む
http://ux.getuploader.com/twi_dl/download/5/1.4.7z

15 宇都宮民 2015/10/20(火) 23:52:18 ID:R00UI/zI0

favのdlを切に望む。

16 宇都宮民 2015/10/22(木) 01:26:27 ID:EJIiFKrg0

フォロー被フォローの取得は考えています
apiを使えればいいのですがアクセストークン取得のプログラムがまだ完成していません
手抜きになりますがログインせずにフォロー被フォローを見れるサイトをwhotwiとtwilog以外で教えてくれると比較的早く実装できるかもしれません

17 宇都宮民 2015/10/22(木) 01:29:29 ID:EJIiFKrg0

またv.1.4以前の固定IDなどが記載させるtxtファイルの内容に一部不具合があります
一行目の名前(@ツイッターID)の名前の部分が1.4以前ではTLの一番上の名前になります
標的のツイートならば不具合は起きませんがRTの場合に不具合が起きます
そこまで大きい不具合ではないので次期バージョンで修正します

18 宇都宮民 2015/10/22(木) 15:45:33 ID:KXfshwE.0

dekan

19 宇都宮民 2015/10/22(木) 16:26:20 ID:U1o8z72Y0

フォロー被フォローはログインしなくてもモバイル版から取得できますを
https://mobile.twitter.com/KoushinLawfirm/following
https://mobile.twitter.com/KoushinLawfirm/followers

20 宇都宮民 2015/10/22(木) 16:38:23 ID:U1o8z72Y0

書き忘れてましたが/favoritesでお気に入りも取得できるようです
とりあえず取り急ぎ

21 宇都宮民 2015/10/22(木) 17:32:20 ID:m73QAARM0

twitterの公式はふんだんにjavascriptを使っているためスクレイピングが非常に難しいです

22 宇都宮民 2015/10/22(木) 18:00:20 ID:U1o8z72Y0

そうなのですか…
当職　無能

23 宇都宮民 2015/10/24(土) 07:59:05 ID:.cvNAVAk0

心ある開発者の方々との出会いに感謝。
2014年1月ごろのツイートになると、RT数に「retweet」「retweets」、fav数に「favorite」「favorites」
とついてしまいます。LibreOfficeでそのまま置換して除去すればいい問題ではありますが、
お手隙であればつかないようにしていただけるとありがたいナリ。

24 宇都宮民 2015/10/24(土) 13:00:23 ID:g0/9c67k0

>>23
それだとどこがどうなっているのかがわからないのでどのファイルでなったか上げてもらってもいいですか？

25 宇都宮民 2015/10/25(日) 03:16:53 ID:mzeCMG8.0

>>24
http://i.imgur.com/CewSIrL.png
ファイル自体をアップしたほうがよいでしょうか？
いいアップローダーがあるといいのですが。

26 宇都宮民 2015/10/25(日) 03:38:43 ID:xu3AsV8g0

>>25
出感
取得ソースがそうなっているなどの根本的な解決が難しい場合はむりやりな方法ですが置換をするなどの処理を入れます

27 宇都宮民 2015/10/27(火) 20:29:59 ID:Pbjvrzec0

仕様変更があったみたいです
現在修正版を作っています

28 宇都宮民 2015/10/29(木) 00:09:03 ID:xnXReHeI0

whotwiも大幅な仕様変更があったみたいです
v1.4と現在作っている仕様変更対応版でのwhotwi依存は公開、非公開、存在しないユーザの判定のみなので影響はないです
whotwiの変更点はこんな感じです
改善
白ベースのデザインへ変更

改悪
固定IDが消える
週と時刻に応じた書き込み量のデザインが罫線がないため見づらい

そのうちフォローや被フォローの取得もwhotwiに依存する形で実装します

29 宇都宮民 2015/10/30(金) 23:09:29 ID:h.SbhVrg0

ver.1.5
仕様変更の修正
phantomjsによるwhotwiのzh-tw言語の取得
デバッグモードの追加
デバッグモードは中間ファイルを保存するので不具合報告の際にセットで上げてくれるととても助かります
http://ux.getuploader.com/twi_dl/download/6/twidlv1.5.7z

30 宇都宮民 2015/10/30(金) 23:20:41 ID:h.SbhVrg0

v1.4以前のツールは仕様変更のため使えないです
v1.5を使用してください

31 宇都宮民 2015/10/31(土) 00:15:50 ID:aIX51mI20

>>30
出感

32 宇都宮民 2015/10/31(土) 00:18:57 ID:O89tfmlM0

ReleaseNoteには書きましたがvine周りのチェックが住んでません
とりあえず昔のままにしてありますが今回の仕様変更は割りと大規模なのでエラーが出るかもしれないです
だれか確認してくれませんか？

33 宇都宮民 2015/11/09(月) 21:01:37 ID:.Yl0dF2Y0

ちょっとしたバグを見つけました
タイトルバーの●件名が本来想定していたツイート件名ではなくデバッグモード時のjsonファイルを落とした回数になっていました
出力される内容に問題はありません
ですのでこの問題は後回しにします
オメ学の方で用意したスクリプトがwikiのスタイルに依存するのでそれ問題が解決したらそのスプリクトもtwidlもセットで上げます

34 宇都宮民 2015/11/09(月) 21:04:08 ID:.Yl0dF2Y0

あとツイッターの仕様変更にfav数が● いいねになっていたのでいいねを消します

35 宇都宮民 2015/11/12(木) 17:14:01 ID:kCnruSJM0

拡張子.nakoになってる

36 宇都宮民 2015/11/12(木) 17:52:06 ID:l0ZYE0760

それはソースファイルです
なでしこの拡張子はnakoで書きます
exeがあるはずなのでそれを実行してください

37 宇都宮民 2015/11/19(木) 13:05:16 ID:ms6oMUqA0

試してないけどフォロー取得するツールはあるみたいやで
http://inertia.s500.xrea.com/jousitunakuso/

38 宇都宮民 2015/11/23(月) 23:33:33 ID:/vqfxAY.0

最新版1.5.1を公開します
ライセンスをMITに変更します。
理由は更新の通知などをだすためにOSDNに移管しようと思ってますがOSDNはOSI認証されたライセンスしか受け付けないからです
名前はkrswでお願いします
また画像の仕様変更といいねを消しました
http://ux.getuploader.com/twi_dl/download/7/twidlv1.5.1.7z

>>37
これはいい

39 宇都宮民 2015/11/23(月) 23:50:13 ID:mCjRo/Nk0

サンガツ

40 宇都宮民 2015/11/24(火) 23:08:20 ID:QtNdz71k0

自分の操作ミスかもしれませんが全てのツイートを取得しようとしても出来ませんでした
よろしければ確認お願いします

41 宇都宮民 2015/11/25(水) 00:19:24 ID:iKZa300Q0

>>40
尊師のツイッターと私が作った実験用の垢では期待どうりに取得できました
たまに万クラスのツイートしてる人を対象にしても500程度しか取れないことがありますがそれはTwitter検索エンジンの仕様です
3日くらいあとにもう一度行ったら万単位のログを作れました
念のため確認したいのでデバッグモードを使用して取得したもの一式すべてを上げてください
v1.5は不具合があるので1.5.1を使ってください

42 宇都宮民 2015/11/25(水) 00:22:06 ID:iKZa300Q0

もし何も取れなかったりエラーが出たらIDだけで大丈夫です

43 宇都宮民 2015/11/25(水) 18:22:54 ID:Yn/vhOsg0

>>41
http://fast-uploader.com/file/7003998662925/
パスワードはいつもの数字です
9/21まで取得出来ていますがそれ以前のツイートがあることを確認しています

44 宇都宮民 2015/11/25(水) 19:44:53 ID:XMi8ctEo0

ロダの中身を確認したところ取れるだけはちゃんとログを取れてます
ここ2ヶ月は仕様変更が相次いでおり、また取得件数が増えたり減ったりとおかしいので時間が立ってたからまたやってください

45 宇都宮民 2016/01/07(木) 21:36:26 ID:ko.x.KxE0

どうも比較的新しいリプライを取得できんみたいや
twidlv1.5.1.nakoの139行目
>「https://twitter.com/{ユーザー名}/」からHTTPデータ取得
を
「https://twitter.com/{ユーザー名}/with_replies」からHTTPデータ取得
でビルドしてくれんか
なんでかワイの環境やとシステムリソース云々言われてなでしこインストールできん

46 宇都宮民 2016/01/07(木) 23:15:09 ID:RC1tJdNI0

一ヶ月以上ほったらかしですいません
「https://twitter.com/{ユーザー名}/」からHTTPデータ取得のあたりはユーザIDの取得などの取得にのみ使っているのでツイートが取得できないのは関係ないです
取得ができない原因は253行から428行までの中にある範囲切り取るで対象にしているHTMLタグが変わったことのはずです
検索API自体は大量にログを吐いているのでタグを直せば使えるはずです
私に暇があまりないのでできる人がいたら直して欲しいですを

47 宇都宮民 2016/01/07(木) 23:59:04 ID:ko.x.KxE0

ちぃったーの変更はないかも…？
どうもリプライが取得できない場合があるようで
普通のツイートをキャッチするまではリプライは無視するみたい

試しにてきとーな垢でてきとーに5回リプライを送って、twidlを試してみると5回分のリプライは取得できず
同じ垢で普通にカラコロツイートしてtwidlをしてみると5回分のリプライを含め正常に取得できた

まあとりあえず取り急ぎ…

48 宇都宮民 2016/01/08(金) 00:04:56 ID:iay2PcM20

リプライも通常もv1.5.1を上げた時は正常にできてたので使用変更やと思うわ
リプライが取れてないとわかったのはありがたい

49 宇都宮民@2016/02/07からCC BY-NC-ND 4.0 2016/02/07(日) 18:24:47 ID:Tp3dpglQ0

リツイートは取得できないのでしょうか？

50 宇都宮民@2016/02/07からCC BY-NC-ND 4.0 2016/02/08(月) 08:20:03 ID:.RTjZ4.w0

v1.6
http://ux.getuploader.com/twi_dl/download/8/1.6.7z

>>49
検索エンジンの気分次第です

51 宇都宮民@2016/02/07からCC BY-NC-ND 4.0 2016/02/08(月) 08:23:05 ID:.RTjZ4.w0

v1.6
http://ux.getuploader.com/twi_dl/download/9/1.6.7z

>>49
検索エンジンの気分次第です

52 宇都宮民@2016/02/07からCC BY-NC-ND 4.0 2016/02/12(金) 02:44:19 ID:BNpjEzXc0

画像を一枚も取得できず、ツイートも12万件ある中2件しか取得できませんでした
デバッグモードで出来たzipを上げておきます、お役に立てば幸いです

https://anonfiles.com/file/2a92508e9a7f10a56e8bb88b095afd31

53 宇都宮民@2016/02/07からCC BY-NC-ND 4.0 2016/02/12(金) 13:20:02 ID:wRnrUb4c0

>>52
当職にはわかりませんでした
どうやら検索エンジンが悪いみたいです
v1.6で尊師のツイッター(@koushinlawfirm)は正常に取れました