GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 2681|回复: 51
收起左侧

[技巧科普] 论坛活动内容爬取简单工具

    [复制链接] |关注本帖

组件大师

男巫之歌内森·德雷克『私有海域』裸体克里斯双向圣杯:焕然意志极·龙の意【圣诞限定】心心念念小雪人小小舞台御医神兔永浴爱河

    墨燝 发表于 2024-1-17 18:27:17 | 显示全部楼层 |阅读模式 <
    来源于活动员们的需求,减少需要大量统计活动的工作量。
    相关功能已经经过测试,保证可用。

    主要功能:
    自动爬取指定帖子的每一楼,获取用户id、uid,以及楼内的文本内容

    使用说明:
    1. 首先打开浏览器的控制台,获取论坛的cookie,并将其内容复制到工具同目录下的cookie.txt内
    2. 打开worker.exe,输入所需要爬取的帖子tid(帖子网址thread-xxxxxx-1-1.html)
    3. 爬取的内容会放在同目录下的content.txt中,一楼为一行,后续可以使用其他合适工具继续处理。格式为:
    id: xxx,uid: xxxxxx, posts: ['line1', 'line2', …]

    注意事项:
    1.cookie有一定有效期(一般为一个月),如果失效请即时更新
    2. id和uid的爬取都是准确的,但目前没有针对高楼重复问题进行修正,建议修复后使用本工具
    3. 楼层内容的提取仅限文本内容,即不可以使用任何美化。包括但不限于字体调整,颜色调整,加粗,折叠等。上述操作将把纯文字用代码块修饰而无法简单提取
    4. 目前代码包内的可执行文件与python文件执行内容一致,只需择一,有能力的用户可以自行安装python环境运行源码,并做出修改。


    欢迎反馈bug并且提出更细致的需求
    鉴于工具实际上对帖子每一页内容进行快速访问,因此不对普通用户开放下载权限。
    源码:
    exe打包:




    来自群组: 泥潭疗养院

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?立即注册

    x

    评分

    参与人数 21旅程 +1 金币 +19 血液 +55 追随 +21 堕落 +10 收起 理由
    jdd + 1 赞一个!
    alexk + 5 + 1 功德无量~
    shisanlang + 2 + 1 + 1 很给力!
    书の妖怪 + 3 + 1 很给力!
    1107640679 + 1
    you9632587 + 5 + 1
    威风妖怪麒麟 + 1 + 1
    轮回2L + 1 + 1 + 1
    黑达克 + 3 + 1 + 1
    abimorning + 1 很给力!

    查看全部评分

    回复

    使用道具 举报

    Lvl. 0

    实现梦想業火死鬥魔法不朽·传奇不熄卡洛斯·奥利维拉泰比里厄斯十年一梦官复原职男巫之歌永浴爱河虚空之海的鲸

      Burry 发表于 2024-1-17 18:33:39 | 显示全部楼层 <
      回复

      举报

      寶可夢 Pokémon追忆泰比里厄斯实现梦想官复原职

        无心gal游戏 发表于 2024-1-17 18:34:35 | 显示全部楼层 <
        回复

        举报

        男巫之歌【夏日限定】夏日的泰凯斯裸体克里斯瓮中能言蛙果体76圣甲虫秘典【新春限定】果体 隆组成家庭永远的克叔亚瑟‧摩根

          ditto 发表于 2024-1-17 18:34:55 | 显示全部楼层 <
          回复

          举报

          炎龙火舌永亘环『搓粉团珠』藤田優馬『不败之花』圣剑艾尔尤因雄躯的昇格岛田源氏我已倾听,我已感受,我已思考冒险用指南针

            hellseasons 发表于 2024-1-17 18:37:03 | 显示全部楼层 <
            回复

            举报

            千杯不醉漂洋小船冒险用指南针破损的旧书人鱼之泪雪王的心脏苏格兰圆脸胖鸡[Pro Max]丛林的鸟飞走了不曾寄出的信件幽灵竹筒

              凯诺斯 发表于 2024-1-17 18:42:57 | 显示全部楼层 <
              回复

              举报

              永亘环小狮欢舞『搓粉团珠』黄粱一梦【新春限定】果体 隆死灵之书永远的克叔業火死鬥实现梦想官复原职

                娱乐法师火布偶 发表于 2024-1-17 18:50:14 | 显示全部楼层 <
                回复

                举报

                收到情书卡洛斯·奥利维拉克莱夫・罗兹菲尔德Vergil谜涅槃The king刀锋女王 - 归宿索林·临终一役

                  柳葉蕭瑟 发表于 2024-1-17 18:53:25 | 显示全部楼层 <
                  回复

                  举报

                  阿怪镜中小鸟夏日柯基GM吸血伯爵幸福的小阿尔妙手空空泰比里厄斯白野威

                    Okabe 发表于 2024-1-17 19:04:38 | 显示全部楼层 <
                    回复

                    举报

                    『不败之花』永亘环『搓粉团珠』瑞雪兆丰年,生灵万物新『住在GM村』人鱼之泪『冰雕马拉橇』银色溜冰鞋小丑与格雷与星光璀璨

                      曜阳炎 发表于 2024-1-17 19:07:06 | 显示全部楼层 <
                      回复

                      举报

                      業火死鬥旧日支配者—克苏鲁熔岩鹰永亘环月影狼

                        深暗幽狼 发表于 2024-1-17 19:15:32 | 显示全部楼层 <
                        只能纯文本挺好的,本来就方便自己记录和活动员统计的,花里胡哨文字影响浏览(
                        回复

                        举报

                        猪庇特『搓粉团珠』变身器御医神兔闪耀的魔仙棒肉垫手套永浴爱河

                          卡扎拉尔 发表于 2024-1-17 19:27:34 | 显示全部楼层 <
                          回复

                          举报

                          装饰触手Ⓛ装饰触手Ⓡ勋章空位插槽托尼·史塔克火柴 - 果体美男子裸体克里斯春之歌不死斩【开门】

                            青藤暮夏 发表于 2024-1-17 19:33:17 | 显示全部楼层 <
                            回复

                            举报

                            【夏日限定】夏日的泰凯斯钢铁侠永远的克叔克里斯‧雷德菲尔德裸体克里斯【新春限定】果体 隆征服之王史莱姆牧场男巫之歌旧日支配者—克苏鲁

                              歧路歌 发表于 2024-1-17 19:35:30 | 显示全部楼层 <
                              太感谢啦!这次活动统计就能用上,可以节约好多时间!以后活动员统计数据也方便了
                              回复

                              举报

                              我的天使GM吸血伯爵吃饱金币的Doge阿拉喵?神灯苏格兰圆脸胖鸡小小舞台永浴爱河

                                毛茸茸兽兽 发表于 2024-1-17 19:36:23 | 显示全部楼层 <
                                吼(´×ω×`)看……看不栋,好腻害的样子
                                喔~第三条,难怪小伯会发通知那样说啊~
                                回复

                                举报

                                近地夜航卡利亚权杖崩朽之青铜龙王夏之歌追忆风物长宜英雄联盟龙腾世纪:审判

                                  是啊困啊 发表于 2024-1-17 19:51:53 | 显示全部楼层 <
                                  回复

                                  举报

                                  男巫之歌冰原Forever Titanic至尊法师Beauty and the Beast『搓粉团珠』不朽之恋剑指撒冷【夏日限定】夏日的泰凯斯丹雀衔五穗,人间始丰登

                                    大墨迹 发表于 2024-1-17 19:57:28 | 显示全部楼层 <
                                    回复

                                    举报

                                      虎爹 发表于 2024-1-17 20:05:27 | 显示全部楼层 <
                                      回复

                                      举报

                                      喜欢金币的Doge死亡最后的轻语

                                        sb123 发表于 2024-1-17 20:12:17 | 显示全部楼层 <
                                        那下次活动规则要加一条,任何进行修改回帖字体,颜色,加入图片等行为的玩家视为弃权(
                                        回复

                                        举报

                                        亚索小狮欢舞『搓粉团珠』永亘环没有梦想的咸鱼

                                          Kogenta 发表于 2024-1-17 20:42:52 | 显示全部楼层 <
                                          回复

                                          举报

                                          您需要登录后才可以回帖 登录 | 立即注册

                                          本版积分规则

                                          文字版|手机版|小黑屋|GameMale

                                          GMT+8, 2025-2-23 09:51 , Processed in 0.162919 second(s), 146 queries , Redis On.

                                          Copyright © 2013-2025 GameMale

                                          All Rights Reserved.

                                          快速回复 返回列表