`
joerong666
  • 浏览: 410362 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论
文章列表
1.1  解压缩Hive 将Hive的tar包解压到/opt目录下: tar –zxvf hive-0.7.1-cdh3u3.tar.gz 解压缩后的Hive目录如下: 其中bin目录下是一些可执行的脚本文件,在conf下是相关的配置文件,也是我们要修改的主要地方,lib下是一些相关的jar包,包括mysql的连接包、hbase的包等都会放到lib下。 将Hive的安装路径添加到path环境变量中。 以及 export HIVE_CONF_DIR=$HIVE_HOME/conf export HIVE_LIB=$HIVE_HOME/lib 在/etc/profile文件中添加 ...
原博客文章地址: http://blog.cloudera.com/blog/2012/10/cloudera-impala-real-time-queries-in-apache-hadoop-for-real/ SONAL / OCTOBER 25, 2012 / 11:44 AM Very excited to see Impala. The Dremel paper outlines efficient columnar storage for nested data. How does Impala achieve its speeds if data is not to ...
一、Impala简介 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台,Impala也使用相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。 二、安装要求 1、软件要求   Red Hat Enterprise Linux (RHEL)/CentOS 6.2 (64-bit)   CDH 4.1.0 or later   Hive   MySQL 注意:Imp ...
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同? 现今企业数据仓库和关系 型数据库擅长处理结构化数据,并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类,同时这种惯性所带的缺点还影响到数据 仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源 ...
Impala和Hive野史 提到Impala就不得不提Google的Dremel,处理PB级数据规模的基于SQL的交互式、实时数据分析系统。Dremel是Google推出的 PaaS数据分析服务BigQuery的后台。Google已经有了MapReduce,为什么还要开发Dremel呢?Dremel/Impala类系 统和MapReduce有什么区别呢? Hadoop现在已经成为BigData应用系统的标配,那么基于Hadoop平台做大数据分析无非几种使用方式:   优点 缺点 典型案例
          分类: C&C++ LINUX 2012-11-16 11:06 264人阅读 评论(0) 收藏 举报   目录(?)[-] 部署 系统环境 平台支持 软件环境 集群模式的配置 单机模式的配置
刚升级了一下我的arch,emacs由23升级到了24,升级后发现很多插件出问题了,包括cedet、ecb和jdee等,在Google搜了一小时,终于把问题给解决了。下面就把解决的方法分享出来,希望对大家有所帮助。 1. cedet 这个问题比较好解决,升级到1.1就能和emacs 24兼容。 2. ecb ecb已多年没更新了,最新的ecb-2.40只兼容cedet版本 1.0.6pre ~ 1.0.9,解决的方法是修改/path/to/ecb-2.40/ecb-upgrade.el,将1146行的 (defconst ecb-required-cedet-version-max ...
在Java5之后,并发线程这块发生了根本的变化,最重要的莫过于新的启动、调度、管理线程的一大堆API了。在Java5以后,通过 Executor来启动线程比用Thread的start()更好。在新特征中,可以很容易控制线程的启动、执行和关闭过程,还可以很容易使用线程池的特 性。   一、创建任务   任务就是一个实现了Runnable接口的类。 创建的时候实run方法即可。   二、执行任务   通过java.util.concurrent.ExecutorService接口对象来执行任务,该接口对象通过工具类java.util.concurrent.Executors的静态 ...
并发编程的一种编程方式是把任务拆分为一些列的小任务,即Runnable,然后在提交给一个Executor执行,Executor在执行时使用内部的线程池完成操作。由此,任务提交者不需要再创建管理线程,使用更方便,也减少了开销。有两种任务:Runnable和Callable,Callable是需要返回值的任务。Task Submitter把任务提交给Executor执行,他们之间需要一种通讯手段,这种手段的具体实现,通常叫做Future。Future通常包括get ,cancel,get(timeout) 等等。Future也用于异步变同步的场景。 伪代码如下: 1 2 3 ...
讲到Java多线程,大多数人脑海中跳出来的是Thread、Runnable、synchronized……这些是最基本的东西,虽然已经足够强 大,但想要用好还真不容易。从JDK 1.5开始,增加了java.util.concurrent包,它的引入大大简化了多线程程序的开发(要感谢一下大牛Doug Lee)。         java.util.concurrent包分成了三个部分,分别是java.util.concurrent、 java.util.concurrent.atomic和java.util.concurrent.lock。内容涵盖了并发集合类、线程池机制、同 步互斥机制、线程安 ...
引子:      这几天公司有个电子商务平台要发布,相关人员要求一个机器上的多个项目使用不同的域名访问,偶以前使用过Apache之类的,以为Tomcat应该差不多,所以就试了试。没想到试的过程中发现了很多东东,这里总结了一下,拿出来跟大家分享~~~~~ 环境:     Tomcat 6+jdk 6 update3一、修改发布端口号为80(Tomcat默认为8080)      打开配置文件(偶的如下:D:\Program Files\Tomcat\conf\server.xml),找到: <Connector port="8080" protocol="H ...
折腾了好久,终于把javamail的中文乱码搞定,网上都内容基本抄来抄去,没一个讲到重点,后面受一篇base64encoder的文章启发,终于把java mail的中文乱码搞定,其中java mail使用的是apache的common mail,具体解决方案如下,有两种解决方案: 解决方案一:    public void send() throws Exception {         SimpleEmail email = new SimpleEmail();         email.setHostName //省略         email.setFrom //省略 ...
2010年中国软件行业测试管理工具分布 
一、一个经过编译的C/C++的程序占用的内存分成以下几个部分:1、栈区(stack):由编译器自动分配和释放,存放函数的参数值、局部变量的值等,甚至函数的调用过程都是用栈来完成。其操作方式类似于数据结构中的栈。2、堆 ...
号称LINUX下完美运行WINDOWS程序的方法 先给大家看图片跟视频,看看能不能吸引你们,如果感兴趣,再做下面的实验吧! 下面是视频(有我用IE插件看在线影院、上QQ2007)http://www.56.com/u43/v_MTQ1MTExNDQ.html 怎么样?那就来试试吧。这里以使用人数最多的VMware、VirtualBox为例来做这个实验: 配置虚拟机网络 : ...
Global site tag (gtag.js) - Google Analytics