面试题
第一部分:Top K 算法详解
问题描述
百度面试题:
搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。
假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就是越热门。),请你统计最热门的10个查询串,要求使用的内存不能超过1G。
必备知识:
什么是哈希表?
哈希表(Hash table,也叫散列表),是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。
哈希表的做法其实很简单,就是把Key通过一个固定的算法函数既所谓的哈希函数转换成一个整型数字,然后就将该数字对数组长度进行取余,取余结果就当作数组的下标,将value存储在以该数字为下标的数组空间里。
而当使用哈希表进行查询的时候,就是再次使用哈希函数将key转换为对应的数组下标,并定位到该空间获取value,如此一来,就可以充分利用到数组的定位性能进行数据定位(文章第二、三部分,会针对Hash表详细阐述)。
问题解析:
要统计最热门查询,首先就是要统计每个Query出现的次数,然后根据统计结果,找出Top 10。所以我们可以基于这个思路分两步来设计该算法。
即,此问题的解决分为以下俩个步骤:
第一步:Query统计
Query统计有以下俩个方法,可供选择:
1、直接排序法
首先我们最先想到的的算法就是排序了,首先对这个日志里面的所有Query都进行排序,然后再遍历排好序的Query,统计每个Query出现的次数了。
但是题目中有明确要求,那就是内存不能超过1G,一千万条记录,每条记录是225Byte,很显然要占据2.55G内存,这个条件就不满足要求了。
让我们回忆一下数据结构课程上的内容,当数据量比较大而且内存无法装下的时候,我们可以采用外排序的方法来进行排序,这里我们可以采用归并排序,因为归并排序有一个比较好的时间复杂度O(NlgN)。
排完序之后我们再对已经有序的Query文件进行遍历,统计每个Query出现的次数,再次写入文件中。
哈希插入排序_专业资料。排序是软件领域的基本问题,常用排序算法中,快速排序算法最快,时间复杂度为O(n*lnn)。基数排序算法的时间复杂度可以达到O(g(n+mg))。...
排序&哈希&查找 直接插入排序过程示例 0 监视哨 1 34 12 12 12 12 12 12 2 12 34 34 28 28 28 28 3 49 49 49 34 31 31 31 4 28 28 28 49 ...
C#哈希表-遍历-排序_IT/计算机_专业资料。一、哈希表(Hashtable)简述 在.NET Framework 中,Hashtable 是 System.Collections 命名空间提供的一个容器,用于处理和...
用排序哈希簇来提升查询速度 当数据存储在一个普通表中的时候,这些记录将以插入到数据库时的顺序物理地保存到分配的块中。例如,如果有一个用于存储员工信息的表,...
哈希名字排序 隐藏>> #include <stdio.h> #include<iostream> using namespace std; #include <stdlib.h> #include <string.h> #include <math.h> #...
地址哈希排序算法的设计与实现叨.平原大学学报,2004,21(5):61-63.【4】廖荣贵,许正宪,王龙发,等.数据结构与算法【M】.北京:清华大学出版社,2004. 〔5】王...
熟练掌握哈希表的基本概念、哈希函数的 构造方法和解决冲突的方法,并能计算平均查找 长度。 第10章 10.1 排序的基本概念 10.2 插入排序 内部排序 10.3 交换...
数据结构第22讲_哈希表和插入排序1_C_工学_高等教育_教育专区 暂无评价0人阅读0次下载举报文档 数据结构第22讲_哈希表和插入排序1_C_工学_高等教育_教育...
HashSet的内容如何排序_经济/市场_经管营销_专业资料。s 方法一:把HashSet保存在ArrayList里,再用Collections.sort()方法比较 [java] view plaincopyprint? private...
第七章 哈希表_计算机软件及应用_IT/计算机_专业资料。第6章内容回顾 ? 常见的排序算法有哪些 ? 其中那种算法的效率最高 ? 对大量的数据进行排序的化最好...
热门文档