用什么工具能把整个论坛下载下来？

mmxiaoma · 发表于 2012-3-30 23:39

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？注册

x

本帖最后由 mmxiaoma 于 2012-3-30 22:40 编辑

老大们不用惊慌不是下载萍聚

是做论文需要英文论坛的数据来做分析  需要一个英文论坛里所有的post(至少包括正文发帖者和回复关系等信息)
这种东西叫什么呢？ forum crawler？搜不到啊
国内倒是有狂人抓取器不过只是针对于中文网站  我需要一个能抓取vBulletin或者phpbb的工具

知道的同学请告我一下  急用

或者有现成的样本数据库？

谢谢

萝卜土豆 · 发表于 2012-3-30 23:47

以前用过类似的软件，通过首页链接，设定级数，可以把相关页面，图片全部按结构下载的，当然论坛后台的数据库是下不了的。名字大约叫 Teleport Pro，你可以试试

mandriva · 发表于 2012-4-1 15:03

是做论文需要英文论坛的数据来做分析需要一个英文论坛里所有的post(至少包括正文发帖者和回复关系等信息)

这些信息都是存储在数据库里面，你要做的是黑了该论坛的数据库，然后导入到本机的数据库服务器(mysql postgresql)就可以查看所有记录。有时候我也想分析某些论坛，因为某些论坛的管理员极其恶心，自己一个人注册100多个帐号，然后发自慰贴去整那些用户。发这些帖子貌似是想增加他自己的论坛的访问量，这种行为是极其恶心的，一般的用户看论坛根本就无法辨别真伪，以为就是真的，发帖啊回复啊，不仅浪费了自己的大量时间，而且做的这些事情根本就是没用的。因为这些帖子只是某些论坛的管理员的自慰贴，也就是子虚乌有的。

我说一句正确的题外话，不要指望这种办法能提高网站排名，恰恰相反，大的搜索引擎不仅拥有机械的程序属性，而且还拥有大量员工，运用自然人的属性去分析某些论坛，也就是只有真善美才能登大雅之堂。
整天在上面用这一类的自慰贴来激起用户吵架时没用的！定位决定一切。

但是回到问题上，你如果真要这么做，千万要不留痕迹，用openssl 和tor 来层层封装你的链接。否则人家如果发现了，人家可以给你造成麻烦。

cosailer · 发表于 2012-4-1 18:21

FDM里面有个抓站工具，但是功能很简单。

mmxiaoma · 发表于 2012-4-2 17:56

mandriva 发表于 2012-4-1 14:03
这些信息都是存储在数据库里面，你要做的是黑了该论坛的数据库，然后导入到本机的数据库服务器(mysql postg ...

嗯你说的很对是有很多这种自动的发帖机器很恶心虚假繁荣呵呵

黑论坛不可取啊即使黑得了数据也不能用在论文里啊没有论坛开放数据的吗

账号		自动登录	找回密码
密码			注册

萍聚头条

[问题求助] 用什么工具能把整个论坛下载下来？

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

评分

评分

评分