【IT专家网独家】

　　问题：

　　一、 一个文本文件有多行，每行为一个URL。请编写代码，统计出URL中的文件名及出现次数。

　　a) 文件名不包括域名、路径和URL参数，例如http://www.rs.com/n.op/q/rs?id=1中的文件名是rs。

　　b) 部分URL可能没有文件名，例如http://www.abc.com/，这类统计为“空文件名”。

　　c) 出现在不同URL中的相同文件名视为同一文件名，例如http://www.ceshi.com/hi.php

　　和ftp://ftp.cdef.com/hi.php为同一文件名

　　文件内容示例如下：

　　http://www.test.com/abc/de/fg.php?id=1&url=http://www.test.com/index.html

　　http://www.ceshi.com/hi.jsp

　　ftp://ftp.ceshi.com/hi.jsp

　　http://www.hello.com/cw/hi.jsp?k=8

　　http://www.hi.com/jk/l.html?id=1&s=a.html

　　http://www.rs.com/n.op/q/rs?id=1

　　http://www.abc.com/

　　二、 一个简单的论坛系统，以数据库储存如下数据：

　　用户名，email，主页，电话，联系地址，发帖标题，发帖内容，回复标题，回复内容。

　　每天论坛访问量300万左右，更新帖子10万左右。

　　请给出数据库表结构设计，并结合范式简要说明设计思路。

　　三、 现有两个文件，

　　a)数据文件A，格式为：关键词、IP地址、时间，记录条数为1000万左右，该文件是无序排列的。

　　b)数据文件B是关键词ID到关键词的对应表文件，格式为：ID、关键词，记录条数在100万左右，也是无序排列的。该对应表中的记录是一一对应的，不存在ID或者关键词重复的情况。

　　要求将数据文件A对应的关键词替换为B中的ID，生成新的数据文件C，数据文件C的格式为：关键词ID、IP地址、时间。

　　请设计一个程序，实现上述功能，并分析时间复杂度和空间复杂度。运行程序所使用的服务器的内存为1G，硬盘足够大。(至少要给出关键算法和设计思路)

百度12-6试题.html

　　专家回答： 　

　　第一题简评

　　百度的主要业务是搜索，搜索的基本原理如下

　　1．编写爬虫程序到互联网上抓取网页海量的网页。

　　2．将抓取来的网页通过抽取，以一定的格式保存在能快速检索的文件系统中。

　　3．把用户输入的字符串进行拆分成关键字去文件系统中查询并返回结果。

　　由以上3点可见，字符串的分析，抽取在搜索引擎中的地位是何等重要。

　　因此，百度的笔试面试题中，出现这样的题就变得理所当然了。

　　以下是该题的java实现，代码如下：