GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 2285|回复: 51
收起左侧

[技巧科普] 论坛活动内容爬取简单工具

    [复制链接] |关注本帖

组件大师

男巫之歌内森·德雷克『私有海域』裸体克里斯双向圣杯:焕然意志极·龙の意【圣诞限定】心心念念小雪人小小舞台御医神兔永浴爱河

    来源于活动员们的需求,减少需要大量统计活动的工作量。
    相关功能已经经过测试,保证可用。

    主要功能:
    自动爬取指定帖子的每一楼,获取用户id、uid,以及楼内的文本内容

    使用说明:
    1. 首先打开浏览器的控制台,获取论坛的cookie,并将其内容复制到工具同目录下的cookie.txt内
    2. 打开worker.exe,输入所需要爬取的帖子tid(帖子网址thread-xxxxxx-1-1.html)
    3. 爬取的内容会放在同目录下的content.txt中,一楼为一行,后续可以使用其他合适工具继续处理。格式为:
    id: xxx,uid: xxxxxx, posts: ['line1', 'line2', …]

    注意事项:
    1.cookie有一定有效期(一般为一个月),如果失效请即时更新
    2. id和uid的爬取都是准确的,但目前没有针对高楼重复问题进行修正,建议修复后使用本工具
    3. 楼层内容的提取仅限文本内容,即不可以使用任何美化。包括但不限于字体调整,颜色调整,加粗,折叠等。上述操作将把纯文字用代码块修饰而无法简单提取
    4. 目前代码包内的可执行文件与python文件执行内容一致,只需择一,有能力的用户可以自行安装python环境运行源码,并做出修改。


    欢迎反馈bug并且提出更细致的需求
    鉴于工具实际上对帖子每一页内容进行快速访问,因此不对普通用户开放下载权限。
    源码:
    exe打包:




    来自群组: 泥潭疗养院

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?立即注册

    x

    评分

    参与人数 21旅程 +1 金币 +19 血液 +55 追随 +21 堕落 +10 收起 理由
    jdd + 1 赞一个!
    alexk + 5 + 1 功德无量~
    shisanlang + 2 + 1 + 1 很给力!
    书の妖怪 + 3 + 1 很给力!
    1107640679 + 1
    you9632587 + 5 + 1
    威风妖怪麒麟 + 1 + 1
    轮回2L + 1 + 1 + 1
    黑达克 + 3 + 1 + 1
    abimorning + 1 很给力!

    查看全部评分

    回复

    使用道具 举报

    Lvl. 0

    咆哮诅咒金猪猪储蓄罐㊖实现梦想業火死鬥魔法不朽·传奇不熄卡洛斯·奥利维拉白野威十年一梦官复原职男巫之歌

      回复

      使用道具 举报

      寶可夢 Pokémon追忆泰比里厄斯实现梦想官复原职

        回复

        使用道具 举报

        男巫之歌【夏日限定】夏日的泰凯斯裸体克里斯瓮中能言蛙果体76吸血魔蝠内森·德雷克生金蛋的鹅永远的克叔亚瑟‧摩根

          回复

          使用道具 举报

          炎龙火舌梅克军徽圣剑艾尔尤因雄躯的昇格岛田源氏我已倾听,我已感受,我已思考冒险用指南针岛田半藏安杜因·乌瑞恩尾崎八项

            回复

            使用道具 举报

            金猪猪储蓄罐㊖『随时随地开启!』漂洋小船『随时随地开启!』冒险用指南针破损的旧书丛林的鸟飞走了雪王的心脏人鱼之泪幽灵竹筒

              回复

              使用道具 举报

              百相千面-晦永远的克叔業火死鬥实现梦想官复原职虚空之海的鲸Zootopia幸运女神的微笑『逆境中的幸运女神』御医神兔

                回复

                使用道具 举报

                卡洛斯·奥利维拉克莱夫・罗兹菲尔德Vergil谜涅槃The king刀锋女王 - 归宿索林·临终一役崩朽之青铜龙王

                  回复

                  使用道具 举报

                  遍江云霞岛屿探险家冰海钓竿漂洋小船夏日柯基珊瑚泡泡鱼16x43 隐形➀双贤辉石头罩

                    回复

                    使用道具 举报

                    小丑与格雷与星光璀璨碎裂的储蓄罐诺克提斯·路西斯·伽拉姆康纳‧沃什.塞巴斯蒂安·斯坦.『灰域来音』御医神兔劫掠核芯幸运女神的微笑

                      回复

                      使用道具 举报

                      男巫之歌業火死鬥山村贞子月影狼

                        只能纯文本挺好的,本来就方便自己记录和活动员统计的,花里胡哨文字影响浏览(
                        回复

                        使用道具 举报

                        沼泽黏附者迷你蔓生灵树克苏鲁的仆从崩朽之青铜龙王猪庇特狱炎魔犬永浴爱河

                          回复

                          使用道具 举报

                          桑克瑞德·沃特斯野兽之子裸体克里斯春之歌风雪之家龙鳞石官复原职不灭的蓝宝石

                            回复

                            使用道具 举报

                            永远的克叔【夏日限定】夏日的泰凯斯钢铁侠裸体克里斯【圣诞限定】心心念念小雪人『召唤好运的角笛』征服之王史莱姆牧场男巫之歌旧日支配者—克苏鲁

                              太感谢啦!这次活动统计就能用上,可以节约好多时间!以后活动员统计数据也方便了
                              回复

                              使用道具 举报

                              真理世界灵光补脑剂我的天使GM吸血伯爵吃饱金币的Doge阿拉喵?神灯和你一起飞行的皮卡丘小小舞台永浴爱河

                                吼(´×ω×`)看……看不栋,好腻害的样子
                                喔~第三条,难怪小伯会发通知那样说啊~
                                回复

                                使用道具 举报

                                近地夜航卡利亚权杖崩朽之青铜龙王夏之歌追忆风物长宜英雄联盟龙腾世纪:审判

                                  回复

                                  使用道具 举报

                                  撑破的储蓄罐Forever Titanic不朽之恋男巫之歌丹雀衔五穗,人间始丰登霍格沃兹魔法学校『终点站:极地』

                                    回复

                                    使用道具 举报

                                      回复

                                      使用道具 举报

                                      喜欢金币的Doge死亡.最后的轻语

                                        那下次活动规则要加一条,任何进行修改回帖字体,颜色,加入图片等行为的玩家视为弃权(
                                        回复

                                        使用道具 举报

                                        幸运女神的微笑羽人与蜕变亚索

                                          回复

                                          使用道具 举报

                                          您需要登录后才可以回帖 登录 | 立即注册

                                          本版积分规则

                                          文字版|手机版|小黑屋|GameMale

                                          GMT+8, 2024-11-21 20:09 , Processed in 0.159627 second(s), 144 queries , Redis On.

                                          Copyright © 2013-2024 GameMale

                                          All Rights Reserved.

                                          快速回复 返回列表