客家人@云
芝加哥09 · 共 31 篇文章
利用带返回值多线程实现Hadoop中的WordCount实例
更多IT互联网学习资源,尽在“ 通通学 - 知识学习与分享平台 ” 学习过 Hadoop 的都知道中,里面有一个经典实例就是统计文档每个单词出现的次数,即WordCount实例。这里利用Executor框架及带返回值的 多线程 实现Word?Count实例。 以下是核心代码: WordCountMapper.java package com.tongtongxue.wordcount; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.Input…
2016-03-21 21:26 · Java · 评论(0)
基于lucene5.5.0的创建索引与查询
lucene不同版本之间的创建索引与查询,稍微有一些不一样。目前lucene的最新版为5.5.0。查看源代码自带的Demo之后,我写基于lucene5.5.0的创建索引与查询方法。以下是源代码: IndexFiles.java package com.tongtongxue.lucene; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.nio.charset.Standard…
2016-03-06 21:28 · Java · 评论(0)
Hadoop深入浅出实战经典视频教程(共22讲)
Hadoop 深入浅出实战经典视频教程(共22讲) 该视频教程共22讲,由王家林老师主讲。 播放列表 第01讲:为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark? 第02讲:10分钟从技术角度理解Hadoop 第03讲:Hadoop集群安装解析 第04讲:Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等 第05讲:Hadoop集群之安装Java、创建Hadoop用户、配置SSH等实战 第06讲:Hadoop集群之安装IP配置、Slaves、namenode和secondarynamenode的配置 第07讲:Hadoop内存需求量及Namenode内存使用详解 …
2016-02-16 21:26 · Java · 评论(1)
统计邮件的打开率
在发送了大量的邮件后,如何才能知道有多少人打开了这封邮件呢,又如何知道是哪些客户打开邮件呢?一开始想好像很难实现,其实只要稍微想一下,其实实现的方法可以很简单。实现的思路就是,当客户打开这封邮件的时候,能够向我们的服务器发送一条请求,请求上带有相关信息,这样我们就能够获取到我们要的信息了。 基于以上的需求,我用直接java做了一个实现。 其中要求发的邮件中要带这样一条代码: <img src="http://localhost:8080/analysis-mail/analysis?t_email=xxxxx@xx.xxx" style="display:none;"/> 其中t_email…
2015-12-24 22:36 · Java · 评论(1)
动手写批量邮件发送器
在推广当中一定会用到的武器,那就是发送大量的营销性质的邮件。对于个人站长来说,也会用到,用于推广的自己的站点。同时由于搭建smtp服务器需要一定的技术及成本,为此我们可以利用一些免费的smtp服务器。比如说,新浪邮箱、网易邮箱、雅虎邮箱等等都会提供smtp服务,但是免费的smtp服务器会有发送邮件数目的限制,为此需要申请很多这样的邮箱,然后随机挑选一个邮箱来发送邮件。 基上以上的这些需求,我编写了一个利用线程池,随机挑选发信箱的批量 邮件发送器 。在此分享给各位学友。。。 EmailConfig.java 这是发信邮件的配置类: package com.tongtongxue.mail; p…
2015-11-29 21:11 · Java · 评论(2)
Hadoop深入浅出实战经典–第02讲
本文来源: 通通学--知识学习与分享平台 转载链接:http://www.tongtongxue.com/archives/220.html Hadoop 的核心 HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架 Yarn:集群资源管理和调度框架 Hadoop 是什么? 适合 大数据 的分布式存储、计算、资源管理平台 作者:Doug Cutting 受Google三篇论文的启发 Hadoop 生态系统 HDFS 主从结构 主节点,只有一个: namenode 从节点,有很多个: datanodes namenode负责…
网络爬虫:利用Selenium实现登录
本文转载: 通通学--知识学习与分享平台 **转载链接:**http://www.tongtongxue.com/archives/180.html 写过爬虫程序的码农都知道,实现爬虫程序登录的方法有多种,我这利用Selenium来实现登录。 提供源代码下载 本案例实现登录的网站是iteye,同时登录时选择第三方登录工具,本处利用的新浪微博来登录。 以下是关键代码: 程序启动类:WebSpider.java package com.tongtongxue.webspider; import com.tongtongxue.webspider.fetcher.Fetcher; public c…
2015-11-15 21:55 · Java · 评论(0)
动手写最优的单例模式
单例模式是码农常用的设计模式,但未必用的是最优的单例模式。 在此通过代码逐步分析出最优的单例模式,分享给各位码农。 一说到单例模式,我想最快想到的就是饿汉的单例模式,即: public class Singleton { private Singleton () { } private static Singleton instance = new Singleton(); public static Singleton getInstance() { return instance; } } 这种单例模式,有一个不足,无法做到延迟加载,特别是当这个单例类不只是做一件事的时候同时这个单例的创…
2014-08-31 21:27 · Java · 评论(22)
利用JS监控内存
在服务器上运行程序,有时会出现某些进程会占着内存不释放,久而久之会出现内存不够用的情况,为此我们需要一个后台程序,在不断的监控着内存,而且我们可以设置当内存达到一定的值时,就将那些占着内存不释放进程强制杀死。 其实实现该功能的方法有很多,在此我采用无所不能的javascript来解决这个问题。 模拟的情境: 在当内存不足10M时,将iexplore.exe进程全部杀死。 代码如下: monitorMemory.js function monitorMemory() { var oWMI = GetObject("Winmgmts:"); var oRefresher = new Active…
2014-08-12 21:53 · javascript · 评论(2)
一起研究haoop(二):Java代码操作HDFS
在此就不详细介绍HDFS是啥东西了,你只要问问google大神或度娘就一清二楚了。 在此我主要用java代码实现对HDFS的增、删、查操作。 由于本工程是用Maven管理的,则pom文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd…
吃透Java中的动态代理
动态代理在Java中是很重要的一部分,在很多框架中都会用到,如Spring中的AOP、Hadoop中的RPC等。为此在这把我对Java中的动态代理的理解分享给大家,同时写了一个模拟AOP编程的实例。(Demo实例提供下载) 引入场景 如果要对第三方提供的JAR包中的某个类中的某个方法的前后加上自己的逻辑,比如打LOG,注意此时我们只有第三方提供的CLASS文件,因此根本不可能去修改别人的源代码,那该怎么办? 有两种方法可以实现,一种是利用继承,另一种是利用聚合。举例说明: 假设第三方中提供一个Run接口,里面只一个run方法,以及它的实现类Person。 Run.java package c…
2014-03-12 19:52 · Java · 评论(8)
自己动手写SSO(单点登录)
SSO在我们的应用中非常常见,例如我们在OA系统登录了,我们就可以直接进入采购系统,不需要再登录了,这样使我们非常方便。现在网上也有很多实现方法,于是乎我也想写一个看看。我主要用到的是cookie的机制。在此,分享给大家, 同时提供源代码下载 。 进入主题: 工程说明 SSO的实现一般是会有一个SSO Server,也会叫认证中心,同时也会有被认证的系统,如OA系统、采购系统等,他们就相当于SSO Server的client。 为了更形象体现SSO,我写的SSO是有三个工程:一个SSO Server端口为8081,一个OA系统端口为8082,一个采购系统端口为8083。如图: 流程介绍 在整…
自己动手写Tomcat
最近研究一方socket编程,由于想动手写关于socket方面的东西。然而我们知道通过URL去访问某网址,其实其底层用的就是socket,于是我就写了一个很简单的tomcat服务器,主要目地在于学习,在此分享给大家。 同时提供下载源工程。 我写的工程用Maven管理的,但是我没有引入其它的JAR包,为此我就不列出pom.xml文件了。 在此简要地说明每个类的作用: Server.java 该类的作用就是将服务提起来的,并且利用线程池。 package com.cloud.tomcat.server; import java.io.OutputStreamWriter; import java…
maven搭建SSH工程
这是农历新年后的第一篇博文,呵呵小小的标记一下! 在这一年主攻的知识:( 与君共勉 ) 1,海量数据的存储与海量数据的分析 2,如何构建高并发的大型网站 3,移动领域的开发 这篇文章主要是介绍如何用maven搭建经典的SSH工程。SSH对码农来说是老朋友中的老朋友啊,为此就不细讲过程,我只是将重要的配置文件亮出来,同时提供工程供下载。 关键配置文件pom.xml (个人觉得该文件不是最精确的,望各位指点,使其变成精确的SSH的pom文件,即做到没有一个多余的jar包) <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="…
2014-02-16 19:37 · Java · maven · spring · mvc · struts2 · hibernate · 评论(0)
自己动手写MVC框架
对于一个MVC框架来说,最重要的就是C了,特别是前端控制器。前端控制器首先要根据URL请求,来分发该请求应该由哪个controller中哪个方法来处理;然后controller处理完后,还要根据其返回值,最终定位要应该返回哪张视图给客户端,如图: 为些我们实现一个MVC框架主要就是实现这个前端控制器。我写了一个很简单的MVC框架,我将代码分享给大家。 由于工程是由maven搭建的,则pom.xml如下: (其中jetty也配置好) <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2…