使用Oracle外部表对大文件排序 对大 文件
问题：对一个一列两亿行的无序的文本文件进行排序，生成一个排好序的新文本文件。 1. 生成无序文件，BigFileTest.Java代码如下：[java] view plain copyimport java.io.BufferedWriter;import java.io.FileWriter;import java.util.Random;public class BigFileTest...
View ArticleOracle聚合函数解决聚集连接字符串问题 字符串 函数 问题
需求：给定数据表：wm_testcode name1 a1 b1 c2 中2 国2 人需要的结果（分隔符可以由参数输入）：code name1 a,b,c2 中,国,人分析：这个问题在可以使用Oracle的wmsys.wm_concat 函数解决：select wt.code, wm_concat(wt.name) names from wm_test wt group by...
View ArticleClik here to view.
Top 10 information management stories of 2016
As in 2015, the maturation of big data technologies has been a strong theme this year, but with more stress on implementations , and the gaining of business value, beyond science projects. The broad...
View ArticleClik here to view.
分布式锁
分布式锁 0 背景 最近在业务中出现用户重复提交退款，因为重复提交时间差极端，在加上中间网络延迟，导致请求到达服务端时，出现两个请求的时间差在毫秒级，从而导致重复数据；后来在商户端也出现类似的情况，因此开始在关键业务中使用分布式锁来解决这类问题。 分布式锁...
View Articleredis学习系列--5.redis-sets类型 Redis Redis教程 string类型 redis-sets类型
set是集合,和数学中的集合类似, 集合的操作有添加,删除,还有对多个集合求交集,并集,差集等操作, 操作中key理解为集合的名字. redis的set是string类型的无序集合. 通过hash table 实现的,所以添加,删除和查找的时间复杂度都是o(1). set的相关操作如下: 1.sadd //向名称为key的set中添加元素sadd myset name输出:(integer)1...
View ArticleClik here to view.
AJAX操作02_responseText和responseXML AJAX操作 responseText responseXML AJAX获取响 ...
一AJAX简介1什么是AJAX AJAX ： 异步 javascript and XML 通俗的讲，AJAX就是JS通过一个网址去加载数据，这个过程通常是用户不可见的。 传统的网页（不使用 AJAX）如果需要更新内容，必需重载整个网页面。 AJAX加载过来的数据，哪些是JS能直接处理的？ HTML CSS JS TEXT PNG 2AJAX优势 异步加载数据，无需切换页面...
View Article对数据库索引的理解 数据库 数据库教程 数据库索引 对数据库索引的理解
1、首先要明白无名无实莫要用索引：因为数据中的记录很多，为了方便我们查找，提高查询的效率; 2、索引的原理：对要查询的字段建立索引其实就是把该字段按照一定的方式排序;建立的索引只对该字段有用，如果查询的字段改变，那么这个索引也就无效了，比如图书馆的书是按照书名的第一个字母排序的，那么你想要找作者叫张三的就不能用改索引了;还有就是如果索引太多会降低查询的速度 3、索引是优缺点：...
View Articleunion,unionall区别 sql语句 数据库 数据库教程 union-unionall区别
Union 用的较多，union all 是直接连接，取得的所有值，记录可能有重复; union 取唯一值，记录没有重复。 UNION的语法如下：[SQL 语句 1]UNION[SQL 语句 2]UNION ALL 的语法如下：[SQL 语句 1]UNION ALL[SQL 语句 2]效率： UNION和UNION ALL关键字都是将两个结果集合并为一个，但这两者从使用和效率上来说都有所不同。...
View ArticleRedis for .NET Developers Redis Sets Datatype
Redis SetsDatatype are similar in C# world as HashSet , they are an unordered collection used for storing strings. One of the great benefit of Redis Sets is that the operation of add, remove, and...
View ArticleClik here to view.
速度收藏 | 100+大数据开源处理工具汇总
本文除了一些常用的大数据工具，还总结汇总了其他大数据工具，几乎是最全的大数据工具的总结。 如果你想入门大数据，可以对他们进行简单的了解。 如果你想学习自己熟悉意外的大数据工具，可以看这篇文章。 如果你想选择一个适合自己公司的大数据工具，也可以参考这篇文章。 我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎...
View ArticleRedis学习笔记十六【使用Redis构建应用程序组件-消息拉取】
多个客户端在互相发送和接收消息的时候，通常会使用以下两种方式来传递消息。第一种时消息推送，也就是由消息发送者来确保所有接受者已经成功接收到了消息，Redis内置了PUBLISH和SUBSCRIBE命令可以实现；第二种时消息拉取，这种方法要求接收者自己去获取存储在某种mailbox里的消息。尽管消息推送非常有用，但是客户端因为某些原因而没办法一直保持在线的时候，采用这一消息传递方法的程序就会出现各种各...
View ArticleClik here to view.
Redis源码剖析--发布与订阅Pubsub
在分析Notify通知功能的时候讲到，Notify是用过订阅和发布功能来发送通知的。本来按计划是要分析持久化的代码的，可是对这个pubsub实在是有点感兴趣，所以先分析这方面的代码。订阅和发布，顾名思义，就是客户端可以订阅某个频道，也可以向某个频道发布消息，有点像收音机的功能一样。 Pubsub概述...
View ArticleResponsible work with MongoDB
Understanding data model is sufficient to design good database schema in RDBMS (relational database management system). Having this knowledge you are able to construct normalized tables, add...
View ArticleClik here to view.
ArangoDB 2016 A Year in Review
Important Steps this Year 2016 is about to see its final days and things are calming down, so Frank and I thought about the year that lies behind us. It was a really exciting year for the whole...
View ArticleRedis for .NET Developers Redis Sorted Sets Datatype
Redis Sorted Setsare similar to Sets , with unique feature of values stored in Set called scores. The score is used in order to take the sorted set ordered, from the smallest to the greatest score....
View ArticleClik here to view.
Putting GeoJSON on the Map with Mapbox and Cloudant
AtThe New Builders, we’re always excited to see tools that give developers a chunk of new functionality and present it in a way that’s easy to interact with. Mapbox is one such technology, because it...
View ArticleClik here to view.
Working with the Azure DocumentDB REST API Authorization headers
DocumentDB is Azure's NoSQL offering that provides an exception service when it comes to working with non relational data. I've recently had a request to work on a project that uses DocumentDB but...
View ArticleClik here to view.
Redis未授权访问漏洞的利用姿势
本帖最后由 MAX丶 于 2016-12-20 00:33 编辑 0x01 Redis简介 redis是一个key-value型数据库，信息以键对应值的关系存储在内存中,当然可以把其存储至硬盘上。项目中使用redis做任务队列的存储器可以很容易实现分布式，另外也开始流行使用redis作为session的存储器来替换传统的文件方式。在默认情况下，Redis会绑定在...
View ArticleClik here to view.
【数据库学习】之数据库建模 数据库 数据库学习 数据库建模 数据模型
数据模型与概念模型什么是抽象：ER（1）概念（2）抽象的概念（3）角色（作用）图示化表达方式案例：分析并画图
View Articleredis入门――服务器篇 redis redis入门 redis服务器
redis入门——服务器篇@(Redis)[服务器, 配置文件, 发布订阅, 事务]redis入门服务器篇 redis服务器配置文件 redis服务器基本命令 redis服务器的持久化 RDB持久化 AOF持久化 redis服务器的发布与订阅 redis服务器的事务 redis事务的几个命令 使用方法 简单的开启事务和提交事务 事务错误的解决办法 放弃事务...
View Article