1
宇都宮民
2015/08/22(土) 19:22:31 ID:o9bsXdNw0
なるほど告知欄じゃねーの |
ツイッターダウンローダー綜合 (56)
2
宇都宮民
2015/08/22(土) 20:07:02 ID:o9bsXdNw0
3
宇都宮民
2015/08/22(土) 20:16:45 ID:o9bsXdNw0
変更点などはReleaseNotesを見てください
これからはこれをdashに移植していこうかと思っています
なのでなでしこ版はこれからは保守以上はしません
理由は突然の死ジェネレーター(echo-cd)を使って行けて楽だからナリ
ただしwindows芋にcygwinを使わせるのは難しい物があるのでvergrantを使えるようにします
これからはこれをdashに移植していこうかと思っています
なのでなでしこ版はこれからは保守以上はしません
理由は突然の死ジェネレーター(echo-cd)を使って行けて楽だからナリ
ただしwindows芋にcygwinを使わせるのは難しい物があるのでvergrantを使えるようにします
4
宇都宮民
2015/08/23(日) 02:10:02 ID:wrFGiSBA0
てすや
5
宇都宮民
2015/09/01(火) 21:25:09 ID:PnzAn5GI0
6
宇都宮民
2015/09/03(木) 00:30:27 ID:h4.OWrCU0
7
宇都宮民
2015/09/20(日) 07:52:48 ID:HMRHr.f60
8
宇都宮民
2015/09/20(日) 10:00:40 ID:jgExHGf20
それはツイッターの検索エンジンを元に作っているからです
1週間分は確実に取れますが過去になればなるほど取れる(検索エンジンに引っかかる)確率が減ります
apiを使わずに過去を取る方法はこれかtwilogとかしかないと思いますを
文句はツイッターへ
対策としてフォローフォロワーリストを作るためにapiを導入する予定なのでそこにapiでTL落とし機能の導入とツイログ取得を考えてます
とりとり
1週間分は確実に取れますが過去になればなるほど取れる(検索エンジンに引っかかる)確率が減ります
apiを使わずに過去を取る方法はこれかtwilogとかしかないと思いますを
文句はツイッターへ
対策としてフォローフォロワーリストを作るためにapiを導入する予定なのでそこにapiでTL落とし機能の導入とツイログ取得を考えてます
とりとり
9
宇都宮民
2015/09/20(日) 20:58:33 ID:Ccwcw3TU0
10
宇都宮民
2015/09/21(月) 13:24:23 ID:pq8qDQGU0
ツイート固定IDが15桁以上になるとそれ以降の桁が0になるのですね
当職は詳しくないのですがプログラミングに使用した言語の仕様でしょうか
当職は詳しくないのですがプログラミングに使用した言語の仕様でしょうか
11
宇都宮民
2015/09/21(月) 14:44:19 ID:o4Sq42gI0
12
宇都宮民
2015/09/21(月) 18:31:45 ID:pq8qDQGU0
すみませんでした
csvファイルを表示するのにマイクロソフトエクセルを使用していたため
四捨五入されて表示されていました
当職 頭唐澤
csvファイルを表示するのにマイクロソフトエクセルを使用していたため
四捨五入されて表示されていました
当職 頭唐澤
13
宇都宮民
2015/09/26(土) 00:48:38 ID:R6hc4Jyg0
使わせて頂いております
作者様との出会いに感謝
作者様との出会いに感謝
14
宇都宮民
2015/10/10(土) 03:49:48 ID:3gktuIJ20
ver.1.4
ディレクトリ構成を変えてわかりやすい配置にしました
またphantomjsを使ってwhotwiとTLを取得するようにもしました
一度readmeとReleaseNotesを読むことを切に望む
http://ux.getuploader.com/twi_dl/download/5/1.4.7z
ディレクトリ構成を変えてわかりやすい配置にしました
またphantomjsを使ってwhotwiとTLを取得するようにもしました
一度readmeとReleaseNotesを読むことを切に望む
http://ux.getuploader.com/twi_dl/download/5/1.4.7z
15
宇都宮民
2015/10/20(火) 23:52:18 ID:R00UI/zI0
favのdlを切に望む。
16
宇都宮民
2015/10/22(木) 01:26:27 ID:EJIiFKrg0
フォロー被フォローの取得は考えています
apiを使えればいいのですがアクセストークン取得のプログラムがまだ完成していません
手抜きになりますがログインせずにフォロー被フォローを見れるサイトをwhotwiとtwilog以外で教えてくれると比較的早く実装できるかもしれません
apiを使えればいいのですがアクセストークン取得のプログラムがまだ完成していません
手抜きになりますがログインせずにフォロー被フォローを見れるサイトをwhotwiとtwilog以外で教えてくれると比較的早く実装できるかもしれません
17
宇都宮民
2015/10/22(木) 01:29:29 ID:EJIiFKrg0
またv.1.4以前の固定IDなどが記載させるtxtファイルの内容に一部不具合があります
一行目の名前(@ツイッターID)の名前の部分が1.4以前ではTLの一番上の名前になります
標的のツイートならば不具合は起きませんがRTの場合に不具合が起きます
そこまで大きい不具合ではないので次期バージョンで修正します
一行目の名前(@ツイッターID)の名前の部分が1.4以前ではTLの一番上の名前になります
標的のツイートならば不具合は起きませんがRTの場合に不具合が起きます
そこまで大きい不具合ではないので次期バージョンで修正します
18
宇都宮民
2015/10/22(木) 15:45:33 ID:KXfshwE.0
dekan
19
宇都宮民
2015/10/22(木) 16:26:20 ID:U1o8z72Y0
フォロー被フォローはログインしなくてもモバイル版から取得できますを
https://mobile.twitter.com/KoushinLawfirm/following
https://mobile.twitter.com/KoushinLawfirm/followers
https://mobile.twitter.com/KoushinLawfirm/following
https://mobile.twitter.com/KoushinLawfirm/followers
20
宇都宮民
2015/10/22(木) 16:38:23 ID:U1o8z72Y0
書き忘れてましたが/favoritesでお気に入りも取得できるようです
とりあえず取り急ぎ
とりあえず取り急ぎ
21
宇都宮民
2015/10/22(木) 17:32:20 ID:m73QAARM0
twitterの公式はふんだんにjavascriptを使っているためスクレイピングが非常に難しいです
22
宇都宮民
2015/10/22(木) 18:00:20 ID:U1o8z72Y0
そうなのですか…
当職 無能
当職 無能
23
宇都宮民
2015/10/24(土) 07:59:05 ID:.cvNAVAk0
心ある開発者の方々との出会いに感謝。
2014年1月ごろのツイートになると、RT数に「retweet」「retweets」、fav数に「favorite」「favorites」
とついてしまいます。LibreOfficeでそのまま置換して除去すればいい問題ではありますが、
お手隙であればつかないようにしていただけるとありがたいナリ。
2014年1月ごろのツイートになると、RT数に「retweet」「retweets」、fav数に「favorite」「favorites」
とついてしまいます。LibreOfficeでそのまま置換して除去すればいい問題ではありますが、
お手隙であればつかないようにしていただけるとありがたいナリ。
24
宇都宮民
2015/10/24(土) 13:00:23 ID:g0/9c67k0
25
宇都宮民
2015/10/25(日) 03:16:53 ID:mzeCMG8.0
26
宇都宮民
2015/10/25(日) 03:38:43 ID:xu3AsV8g0
27
宇都宮民
2015/10/27(火) 20:29:59 ID:Pbjvrzec0
仕様変更があったみたいです
現在修正版を作っています
現在修正版を作っています
28
宇都宮民
2015/10/29(木) 00:09:03 ID:xnXReHeI0
whotwiも大幅な仕様変更があったみたいです
v1.4と現在作っている仕様変更対応版でのwhotwi依存は公開、非公開、存在しないユーザの判定のみなので影響はないです
whotwiの変更点はこんな感じです
改善
白ベースのデザインへ変更
改悪
固定IDが消える
週と時刻に応じた書き込み量のデザインが罫線がないため見づらい
そのうちフォローや被フォローの取得もwhotwiに依存する形で実装します
v1.4と現在作っている仕様変更対応版でのwhotwi依存は公開、非公開、存在しないユーザの判定のみなので影響はないです
whotwiの変更点はこんな感じです
改善
白ベースのデザインへ変更
改悪
固定IDが消える
週と時刻に応じた書き込み量のデザインが罫線がないため見づらい
そのうちフォローや被フォローの取得もwhotwiに依存する形で実装します
29
宇都宮民
2015/10/30(金) 23:09:29 ID:h.SbhVrg0
ver.1.5
仕様変更の修正
phantomjsによるwhotwiのzh-tw言語の取得
デバッグモードの追加
デバッグモードは中間ファイルを保存するので不具合報告の際にセットで上げてくれるととても助かります
http://ux.getuploader.com/twi_dl/download/6/twidlv1.5.7z
仕様変更の修正
phantomjsによるwhotwiのzh-tw言語の取得
デバッグモードの追加
デバッグモードは中間ファイルを保存するので不具合報告の際にセットで上げてくれるととても助かります
http://ux.getuploader.com/twi_dl/download/6/twidlv1.5.7z
30
宇都宮民
2015/10/30(金) 23:20:41 ID:h.SbhVrg0
v1.4以前のツールは仕様変更のため使えないです
v1.5を使用してください
v1.5を使用してください
31
宇都宮民
2015/10/31(土) 00:15:50 ID:aIX51mI20
32
宇都宮民
2015/10/31(土) 00:18:57 ID:O89tfmlM0
ReleaseNoteには書きましたがvine周りのチェックが住んでません
とりあえず昔のままにしてありますが今回の仕様変更は割りと大規模なのでエラーが出るかもしれないです
だれか確認してくれませんか?
とりあえず昔のままにしてありますが今回の仕様変更は割りと大規模なのでエラーが出るかもしれないです
だれか確認してくれませんか?
33
宇都宮民
2015/11/09(月) 21:01:37 ID:.Yl0dF2Y0
ちょっとしたバグを見つけました
タイトルバーの●件名が本来想定していたツイート件名ではなくデバッグモード時のjsonファイルを落とした回数になっていました
出力される内容に問題はありません
ですのでこの問題は後回しにします
オメ学の方で用意したスクリプトがwikiのスタイルに依存するのでそれ問題が解決したらそのスプリクトもtwidlもセットで上げます
タイトルバーの●件名が本来想定していたツイート件名ではなくデバッグモード時のjsonファイルを落とした回数になっていました
出力される内容に問題はありません
ですのでこの問題は後回しにします
オメ学の方で用意したスクリプトがwikiのスタイルに依存するのでそれ問題が解決したらそのスプリクトもtwidlもセットで上げます
34
宇都宮民
2015/11/09(月) 21:04:08 ID:.Yl0dF2Y0
あとツイッターの仕様変更にfav数が● いいねになっていたので いいねを消します
35
宇都宮民
2015/11/12(木) 17:14:01 ID:kCnruSJM0
拡張子.nakoになってる
36
宇都宮民
2015/11/12(木) 17:52:06 ID:l0ZYE0760
それはソースファイルです
なでしこの拡張子はnakoで書きます
exeがあるはずなのでそれを実行してください
なでしこの拡張子はnakoで書きます
exeがあるはずなのでそれを実行してください
37
宇都宮民
2015/11/19(木) 13:05:16 ID:ms6oMUqA0
試してないけどフォロー取得するツールはあるみたいやで
http://inertia.s500.xrea.com/jousitunakuso/
http://inertia.s500.xrea.com/jousitunakuso/
38
宇都宮民
2015/11/23(月) 23:33:33 ID:/vqfxAY.0
最新版1.5.1を公開します
ライセンスをMITに変更します。
理由は更新の通知などをだすためにOSDNに移管しようと思ってますがOSDNはOSI認証されたライセンスしか受け付けないからです
名前はkrswでお願いします
また画像の仕様変更といいねを消しました
http://ux.getuploader.com/twi_dl/download/7/twidlv1.5.1.7z
>>37
これはいい
ライセンスをMITに変更します。
理由は更新の通知などをだすためにOSDNに移管しようと思ってますがOSDNはOSI認証されたライセンスしか受け付けないからです
名前はkrswでお願いします
また画像の仕様変更といいねを消しました
http://ux.getuploader.com/twi_dl/download/7/twidlv1.5.1.7z
>>37
これはいい
39
宇都宮民
2015/11/23(月) 23:50:13 ID:mCjRo/Nk0
サンガツ
40
宇都宮民
2015/11/24(火) 23:08:20 ID:QtNdz71k0
自分の操作ミスかもしれませんが全てのツイートを取得しようとしても出来ませんでした
よろしければ確認お願いします
よろしければ確認お願いします
41
宇都宮民
2015/11/25(水) 00:19:24 ID:iKZa300Q0
>>40
尊師のツイッターと私が作った実験用の垢では期待どうりに取得できました
たまに万クラスのツイートしてる人を対象にしても500程度しか取れないことがありますがそれはTwitter検索エンジンの仕様です
3日くらいあとにもう一度行ったら万単位のログを作れました
念のため確認したいのでデバッグモードを使用して取得したもの一式すべてを上げてください
v1.5は不具合があるので1.5.1を使ってください
尊師のツイッターと私が作った実験用の垢では期待どうりに取得できました
たまに万クラスのツイートしてる人を対象にしても500程度しか取れないことがありますがそれはTwitter検索エンジンの仕様です
3日くらいあとにもう一度行ったら万単位のログを作れました
念のため確認したいのでデバッグモードを使用して取得したもの一式すべてを上げてください
v1.5は不具合があるので1.5.1を使ってください
42
宇都宮民
2015/11/25(水) 00:22:06 ID:iKZa300Q0
もし何も取れなかったりエラーが出たらIDだけで大丈夫です
43
宇都宮民
2015/11/25(水) 18:22:54 ID:Yn/vhOsg0
44
宇都宮民
2015/11/25(水) 19:44:53 ID:XMi8ctEo0
ロダの中身を確認したところ取れるだけはちゃんとログを取れてます
ここ2ヶ月は仕様変更が相次いでおり、また取得件数が増えたり減ったりとおかしいので時間が立ってたからまたやってください
ここ2ヶ月は仕様変更が相次いでおり、また取得件数が増えたり減ったりとおかしいので時間が立ってたからまたやってください
45
宇都宮民
2016/01/07(木) 21:36:26 ID:ko.x.KxE0
どうも比較的新しいリプライを取得できんみたいや
twidlv1.5.1.nakoの139行目
>「https://twitter.com/{ユーザー名}/」からHTTPデータ取得
を
「https://twitter.com/{ユーザー名}/with_replies」からHTTPデータ取得
でビルドしてくれんか
なんでかワイの環境やとシステムリソース云々言われてなでしこインストールできん
twidlv1.5.1.nakoの139行目
>「https://twitter.com/{ユーザー名}/」からHTTPデータ取得
を
「https://twitter.com/{ユーザー名}/with_replies」からHTTPデータ取得
でビルドしてくれんか
なんでかワイの環境やとシステムリソース云々言われてなでしこインストールできん
46
宇都宮民
2016/01/07(木) 23:15:09 ID:RC1tJdNI0
一ヶ月以上ほったらかしですいません
「https://twitter.com/{ユーザー名}/」からHTTPデータ取得のあたりはユーザIDの取得などの取得にのみ使っているのでツイートが取得できないのは関係ないです
取得ができない原因は253行から428行までの中にある範囲切り取るで対象にしているHTMLタグが変わったことのはずです
検索API自体は大量にログを吐いているのでタグを直せば使えるはずです
私に暇があまりないのでできる人がいたら直して欲しいですを
「https://twitter.com/{ユーザー名}/」からHTTPデータ取得のあたりはユーザIDの取得などの取得にのみ使っているのでツイートが取得できないのは関係ないです
取得ができない原因は253行から428行までの中にある範囲切り取るで対象にしているHTMLタグが変わったことのはずです
検索API自体は大量にログを吐いているのでタグを直せば使えるはずです
私に暇があまりないのでできる人がいたら直して欲しいですを
47
宇都宮民
2016/01/07(木) 23:59:04 ID:ko.x.KxE0
ちぃったーの変更はないかも…?
どうもリプライが取得できない場合があるようで
普通のツイートをキャッチするまではリプライは無視するみたい
試しにてきとーな垢でてきとーに5回リプライを送って、twidlを試してみると5回分のリプライは取得できず
同じ垢で普通にカラコロツイートしてtwidlをしてみると5回分のリプライを含め正常に取得できた
まあとりあえず取り急ぎ…
どうもリプライが取得できない場合があるようで
普通のツイートをキャッチするまではリプライは無視するみたい
試しにてきとーな垢でてきとーに5回リプライを送って、twidlを試してみると5回分のリプライは取得できず
同じ垢で普通にカラコロツイートしてtwidlをしてみると5回分のリプライを含め正常に取得できた
まあとりあえず取り急ぎ…
48
宇都宮民
2016/01/08(金) 00:04:56 ID:iay2PcM20
リプライも通常もv1.5.1を上げた時は正常にできてたので使用変更やと思うわ
リプライが取れてないとわかったのはありがたい
リプライが取れてないとわかったのはありがたい
49
宇都宮民@2016/02/07からCC BY-NC-ND 4.0
2016/02/07(日) 18:24:47 ID:Tp3dpglQ0
リツイートは取得できないのでしょうか?
50
宇都宮民@2016/02/07からCC BY-NC-ND 4.0
2016/02/08(月) 08:20:03 ID:.RTjZ4.w0
51
宇都宮民@2016/02/07からCC BY-NC-ND 4.0
2016/02/08(月) 08:23:05 ID:.RTjZ4.w0
52
宇都宮民@2016/02/07からCC BY-NC-ND 4.0
2016/02/12(金) 02:44:19 ID:BNpjEzXc0
画像を一枚も取得できず、ツイートも12万件ある中2件しか取得できませんでした
デバッグモードで出来たzipを上げておきます、お役に立てば幸いです
https://anonfiles.com/file/2a92508e9a7f10a56e8bb88b095afd31
デバッグモードで出来たzipを上げておきます、お役に立てば幸いです
https://anonfiles.com/file/2a92508e9a7f10a56e8bb88b095afd31
53
宇都宮民@2016/02/07からCC BY-NC-ND 4.0
2016/02/12(金) 13:20:02 ID:wRnrUb4c0
54
宇都宮民@すべてCC BY-NC-ND 4.0
2016/04/15(金) 07:05:38 ID:NRVroZcw0
ほんま有能
55
宇都宮民@すべてCC BY-NC-ND 4.0
2016/08/16(火) 13:25:57 ID:zKdK5SL.0
最近更新されてないけどホンマ便利やでこれ
ただ最近は取得できないアカウントの方が多い
ただ最近は取得できないアカウントの方が多い
56
宇都宮民@すべてCC BY-NC-ND 4.0
2016/08/16(火) 14:52:55 ID:jn1HJpn20
ツイッターはころころhtmlの仕様を変えるからなぁ
どれだけAPIを使わせたいねん
どれだけAPIを使わせたいねん
READ.CGI - ex0ch BBS dev-r166 20240703
EXぜろちゃんねる
EXぜろちゃんねる