ITeye博客

蓝色妖姬

ai_longyu · 共 614 篇文章

深度分析如何在Hadoop中控制Map的数量

深度分析如何在Hadoop中控制Map的数量 很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的Mapper等于文件的数量(即每个文件都占据了一个block),那么很可能造成启动的Mapper数量超出限制而导致崩溃。这些逻辑确实是正确的,但都是在默认情况下的逻辑。其实如果进行一些客户化的设置,就可以控制了。 在Hadoop中,设置Map task的数量不像设…

2012-06-24 10:11 · Hadoop · 评论(0)

什么时候才应该使用HBase?

什么时候才应该使用HBase? 在使用HBase一定要明白HBase的适用场合,因为HBase并非适用于每种情况。 首先,要确认有足够多的数据存入HBase。 如果有几亿或者几十亿条记录要存入HBase,那么HBase就是一个正确的选择;否则如果你仅有几百万条甚至更少的数据,那么HBase当然不是正确的选择,这种情况下应当选择传统的关系型数据库,因为如果这么少的数据存入HBase,就会导致数据堆积在一两个节点上,而HBase集群内部的其他节点都处于空闲状态。 其次,要确认即便不使用传统关系型数据库提供的额外功能(比如数据库的列有强类型限制,secondary index,transactio…

2012-06-24 10:07 · HBase · 评论(0)

什么时候才应该使用HBase?

什么时候才应该使用HBase? 张贵宾 guibin.beijing@gmail.com 在使用HBase一定要明白HBase的适用场合,因为HBase并非适用于每种情况。 首先,要确认有足够多的数据存入HBase。 如果有几亿或者几十亿条记录要存入HBase,那么HBase就是一个正确的选择;否则如果你仅有几百万条甚至更少的数据,那么HBase当然不是正确的选择,这种情况下应当选择传统的关系型数据库,因为如果这么少的数据存入HBase,就会导致数据堆积在一两个节点上,而HBase集群内部的其他节点都处于空闲状态。 其次,要确认即便不使用传统关系型数据库提供的额外功能(比如数据库的列有强类型…

2012-06-24 08:43 · 评论(0)

不编程的架构师的职业生涯是短暂的

架构师一直是我梦寐以求所达到的高度,即便经过了这么多年的努力,我仍然觉得自己离真正的架构师的距离还很远……是不是成为技术牛人,就能成为一个优秀的架构师了呢?其实未必,这仅仅是其中的一个重要点。而在这个似乎是男人天下的职业上,作为一名女性,希望自己能够走得更远,也希望用自己的坚持和努力,使得自己的职业生涯能够有长远的发展,而不是停留在现在的状态。 Occupation Programmer, Author; Employer: Canonical Ltd Known for Parrot 开源项目Parrot的首席架构师兼开发组组长Allison Randal,她也是为女性,就曾经很务实地说过…

2012-06-18 00:16 · 架构师 · 评论(13)

java操作摄像头截图

本来sun有个jmf组件可以很方便的实现摄像头截图的,不过这版本后来停止更新了,当前官网最新版本为Java Media Framework (JMF) 2.1.1e,下载回来,在windows 7 32位上使用,居然不能运行,网上另外找了个jmf的替代框架fmj使用,截图实现代码: package com.pengo.capture; import java.awt.BorderLayout; import java.awt.Dimension; import java.awt.Graphics2D; import java.awt.event.ActionEvent; import jav…

2012-06-09 11:31 · java · JMF · 评论(5)

jquery绑定到Dom

操作步骤: jquery绑定到Dom步骤 1.声明指定样式类的类名 2.修改其中的样式 3.加载时即设定click事件。 举例:$(document).ready(function () { document.getElementById('comment').className = ".ui-tabs .ui-tabs-hide"; document.getElementById('comment').style.cssText = "display:block"; document.getElementById('question').className = ".ui-tabs .ui-…

2012-05-28 00:14 · 编码 · 评论(2)

url中文乱码

url 传递中文会产生乱码,那么如何解决,下面分享下解决方案 首先,弄清楚为什么url传递中文会转码或者乱码,以及http头 contentType="text/html; charset=GBK" 的作用。 html代码会经过web服务器,浏览器处理,所以造成转码或者乱码的原因,可能涉及到:页面本身的设置、web服务器的设置、浏览器的设置。 在动态页面,比如jsp、php中,可以设置 contentType="text/html; charset=GBK" 在服务器,比如apache中可以在web.xml中设置 <Connector port="8080" protocol="HTTP/1…

2012-05-28 00:11 · 编码 · 评论(1)

Android开关机动画/铃音是如何播放的?

1.开关机动画的启动 Android系统在init.rc中定义了很多Service,具体定义格式可以参考《Android Platform Developer’s Guide》中的“Android Init Language”。init.rc中定义的Service将会被init进程创建,其中已经定义的服务就包含了开机动画. 每一项服务必须在/init.rc中定义Android系统启动时,init守护进程将解析init.rc和启动属性服务,属性“ctl.start”和“ctl.stop”是用来启动和停止服务的。一旦收到设置“ctrl.start”属性的请求,属性服务将使用该属性值作为服务名找到…

2012-05-11 10:32 · 评论(0)

StagefrightPlayer取的当前播放位置和总时长

1. StagefrightPlayer计算取得的播放时长和总时长的单位是微秒(us),需要四舍五入为整数秒,用于播放器显示时长和播放进度。 在计算时,是按照四舍五入的方式来计算的,即小于500ms的舍去,不计入时长;大于等于500ms的按照1s计入时长。这一点需要特别注意,因为在播放较短的文件时,在更新进度条时滑动块可能移动的不平滑。 计算方法如下: 2. AwesomePlayer取得时长 如果是视频文件,则video track和audio track中都可以取得各自的时长,但由于是先初始化的video track,所以会先取得video的时长赋给mDurationUs。 再初始化au…

2012-05-10 15:08 · 评论(1)

多进程和多线程编程

1、多进程编程 [cpp] view plain copy #include<stdlib.h> #include<sys/types.h> #include<unistd.h> intmain() { pid_tchild_pid; /*创建一个子进程*/ child_pid=fork(); if(child_pid==0) { printf("childpid\n"); exit(0); } else { printf("fatherpid\n"); sleep(60); } return0; } 2、多线程编程 [cpp] view plain copy #include<stdio.…

2012-05-08 16:50 · 评论(0)

Linux下的多线程编程

1 线程创建与取消 1.1 线程创建 1.1.1 线程与进程 相对进程而言,线程是一个更加接近于执行体的概念,它可以与同进程中的其他线程共享数据,但拥有自己的栈空间,拥有独立的执行序列。在串行程序基础上引入线程和进程是为了提高程序的并发度,从而提高程序运行效率和响应时间。 线程和进程在使用上各有优缺点:线程执行开销小,但不利于资源的管理和保护;而进程正相反。同时,线程适合于在SMP机器上运行,而进程则可以跨机器迁移。 1.1.2 创建线程 POSIX通过pthread_create()函数创建线程,API定义如下: int pthread_create(pthread_t * thread,…

2012-05-08 16:49 · 评论(0)

Linux下的多进程编程

什么是一个进程?当用户敲入命令执行一个程序的时候,对系统而言,它将启动一个进程。但和程序不同的是,在这个进程中,系统可能需要再启动一个或多个进程来完成独立的多个任务。多进程编程的主要内容包括进程控制和进程间通信。 1 Linux下进程的结构 Linux下一个进程在内存里有三部分的数据,就是"代码段"、"堆栈段"和"数据段"。这三个部分也是构成一个完整的执行序列的必要的部分。 "代码段",顾名思义,就是存放了程序代码的数据,假如机器中有数个进程运行相同的一个程序,那么它们就可以使用相同的代码段。"堆栈段"存放的就是子程序的返回地址、子程序的参数以及程序的局部变量。而数据段则存放程序的全局变量,…

2012-05-08 16:46 · 评论(0)

H264/AVC视频解码时AVC1和H264的区别

我一直疑问为什么有些视频解码时显示格式是:H264,大部分又是:AVC1 我在搜索编程资料时在微软的msdn上发现的: 原文:http://msdn.microsoft.com/en-us/library/dd757808(v=vs.85).aspx FOURCC:AVC1 描述:H.264 bitstream without start codes. FOURCC:H264 描述:H.264 bitstream with start codes. H.264 Bitstream with Start Codes H.264 bitstreams that are transmitted o…

2012-05-07 16:46 · 评论(0)

U8500开启log的方法

手机拨号*#*#2846579#*#*,进入projectmenu--后台设置--LOG设置--LOG开关--打开,还可以设置level级别;然后重启。 以上步骤操作和执行命令 1.需要root权限(部分rom不需要) 2.打开logcat,并设置level adb shell echo 1 > /sys/kernel/logger/log_main/enable // 这里为注释,将1写入开关文件,1为开,0为关 echo 2 >/sys/kernel/logger/log_main/priority // 里为注释,将代表level的2写入优先级文件;与通过上面的命令设置log leve…

2012-05-07 09:23 · 评论(0)

Android应用开发中如何进行单元测试

本文主要和大家分享如何在Android应用开发过程中如何进行单元测试,个人在做项目的过程中,觉得单元测试很有必要,以保证我们编写程序的正确性。下面我们先大概了解下单元测试,以及单元测试的作用。 单元测试 (又称为 模块测试 )是针对 程序模块 ( 软件设计 的最小单位)来进行正确性检验的测试工作。程序单元是应用的最小可测试部件。在 过程化编程 中,一个单元就是单个程序、函数、过程等;对于面向对象编程,最小单元就是方法,包括基类(超类)、抽象类、或者派生类(子类)中的方法。单元测试是由程序员自己来完成,最终受益的也是程序员自己。可以这么说,程序员有责任编写功能代码,同时也就有责任为自己的代码编…

2012-05-06 13:31 · 评论(0)