最近在做河南移动营业厅管控系统，发现虽然用我们系统的人不多，但是却会产生海量数据。就像我们的报表每个月就会产生上千万条的数据，那么在处理处理数据的时候就有了一定的麻烦，在查询的时候索引的建立也是个麻烦，需要一个一个sql进行测试，发现其实系统后期的整合与测试会比前期的开发要占用很长的时间，并且要更繁琐。

超过百万之上的数据应该数据海量数据了，那么针对于海量数据应该怎么去处理呢？

针对海量数据的处理不能不提分区了：表分区技术是在超大型数据库(VLDB)中将大表及其索引通过分区的形式分割为若干较小、可管理的小块，并且每一分区可进一步划分为更小的子分区（sub partition）。

而这种分区对于应用来说是透明的。通过对表进行分区，可以获得以下的好处：
　　1）减少数据损坏的可能性。
　　2）各分区可以独立备份和恢复，增强了数据库的可管理性。
　　3）可以控制分区在硬盘上的分布，以均衡IO，改善了数据库的性能
 存在两种重定义方法，一种是基于主键、另一种是基于ROWID。ROWID的方式不能用于索引组织表，
而且重定义后会存在隐藏列M_ROW$$。默认采用主键的方式。
 Oracle 9以上提供了在线重定义表的功能。

1
创建空间
create tablespace 
space1 datafile 'D:\oracle\oradata\yssf\space1.dbf' size 50M 
create tablespace 
space2 datafile 'D:\oracle\oradata\yssf\space2.dbf' size 50M
 
2
    (1) 范围分区 按ID的范围分区
 CREATE TABLE T_testing (字段
 ) PARTITION BY RANGE (ID) 
(PARTITION P1 VALUES LESS THAN (10000)
 tablespace space1, 
 PARTITION P2 VALUES LESS THAN (20000)
 tablespace space2, 
  PARTITION P3 VALUES LESS THAN (30000)
 tablespace space3, 
  PARTITION P4 VALUES LESS THAN (40000)
 tablespace space4, 
  PARTITION P5 VALUES LESS THAN (50000)
 tablespace space5, 
 PARTITION P6 VALUES LESS THAN (maxvalue) )
 AS SELECT 字段
  FROM testing;
 
(2)列表
CREATE TABLE sales_list(
  salesman_id NUMBER(5), 
  salesman_name VARCHAR2(30),
  sales_state VARCHAR2(20),
  sales_amount NUMBER(10), 
  sales_date DATE)
PARTITION BY LIST(sales_state)(
PARTITION sales_west VALUES('California', 'Hawaii'),
PARTITION sales_east VALUES ('New York', 'Virginia', 'Florida'),
PARTITION sales_central VALUES('Texas', 'Illinois'),
PARTITION sales_other VALUES(DEFAULT)
);  


(3)日期范围
create table dinya_test ( 
transaction_id number primary key, 
item_id number(8) not null, 
item_description varchar2(300), 
transaction_date date not null 
) partition by range (transaction_date) ( 
partition part_01 values less than(to_date(’2006-01-01’,’yyyy-mm-dd’)) tablespace dinya_space01, 
partition part_02 values less than(to_date(’2010-01-01’,’yyyy-mm-dd’)) tablespace dinya_space02, 
partition part_03 values less than(maxvalue) tablespace dinya_space03 
); 


（2）
 Hash分区/散列分区
　　散列分区为通过指定分区编号来均匀分布数据的一种分区类型，因为通过在 I/O 设备上进行散列分区，使得这些分区大小一致。
（3）复合分区是先使用范围分区，然后在每个分区内再使用散列分区的一种分区方法。
 
3
drop table testing
rename t_testing to testing

但是虽然有了表分区的支持，针对海量数据的查询还是个麻烦，就得一个一个的针对于每条sql进行索引建立并且测试了

一，
oracle的索引陷阱
一个表中有几百万条数据，对某个字段加了索引，但是查询时性能并没有什么提高，这主要可能是oracle的索引限制造成的。 
oracle的索引有一些索引限制，在这些索引限制发生的情况下，即使已经加了索引，oracle还是会执行一次全表扫描，查询的性能不会比不加索引有所提高，反而可能由于数据库维护索引的系统开销造成性能更差。 
下面是一些常见的索引限制问题。
 
1、使用不等于操作符(<>, !=)
下面这种情况，即使在列dept_id有一个索引，查询语句仍然执行一次全表扫描 
select * from dept where staff_num <> 1000; 
但是开发中的确需要这样的查询，难道没有解决问题的办法了吗？ 
有！ 
通过把用 or 语法替代不等号进行查询，就可以使用索引，以避免全表扫描：上面的语句改成下面这样的，就可以使用索引了。 
select * from dept shere staff_num < 1000 or dept_id > 1000; 
 
2、使用 is null 或 is not null
使用 is null 或is nuo null也会限制索引的使用，因为数据库并没有定义null值。如果被索引的列中有很多null，就不会使用这个索引（除非索引是一个位图索引，关于位图索引，会在以后的blog文章里做详细解释）。在sql语句中使用null会造成很多麻烦。 
解决这个问题的办法就是：建表时把需要索引的列定义为非空(not null)
 
3、使用函数
如果没有使用基于函数的索引，那么where子句中对存在索引的列使用函数时，会使优化器忽略掉这些索引。下面的查询就不会使用索引： 
select * from staff where trunc(birthdate) = '01-MAY-82'; 
但是把函数应用在条件上，索引是可以生效的，把上面的语句改成下面的语句，就可以通过索引进行查找。 
select * from staff where birthdate < (to_date('01-MAY-82') + 0.9999); 
 
4、比较不匹配的数据类型
比较不匹配的数据类型也是难于发现的性能问题之一。
下面的例子中，dept_id是一个varchar2型的字段，在这个字段上有索引，但是下面的语句会执行全表扫描。 
select * from dept where dept_id = 900198; 
这是因为oracle会自动把where子句转换成to_number(dept_id)=900198，就是3所说的情况，这样就限制了索引的使用。
把SQL语句改为如下形式就可以使用索引 
select * from dept where dept_id = '900198'; 


 
二，
 各种索引使用场合及建议
 
（1）B*Tree索引。
常规索引，多用于oltp系统，快速定位行，应建立于高cardinality列（即列的唯一值除以行数为一个很大的值，存在很少的相同值）。
 Create index indexname on tablename(columnname[columnname...])


（2）反向索引。
B*Tree的衍生产物，应用于特殊场合，在ops环境加序列增加的列上建立，不适合做区域扫描。
 Create index indexname on tablename(columnname[columnname...]) reverse
 
（3）降序索引。
B*Tree的衍生产物，应用于有降序排列的搜索语句中，索引中储存了降序排列的索引码，提供了快速的降序搜索。
 Create index indexname on tablename(columnname DESC[columnname...])
 
（4）位图索引。
位图方式管理的索引，适用于OLAP（在线分析）和DSS（决策处理）系统，应建立于低cardinality列，
适合集中读取，不适合插入和修改，提供比B*Tree索引更节省的空间。
 Create BITMAP index indexname on tablename(columnname[columnname...])
在实际应用中，如果某个字段的值需要频繁更新，那么就不适合在它上面创建位图索引。
在位图索引中，如果你更新或插入其中一条数值为N的记录，
那么相应表中数值为N的记录（可能成百上千条）全部被Oracle锁定，
这就意味着其它用户不能同时更新这些数值为N的记录，其它用户必须要等第一个用户提交后，
才能获得锁，更新或插入数据，bitmap index它主要用于决策支持系统或静态数据。
 
（5）函数索引。
B*Tree的衍生产物，应用于查询语句条件列上包含函数的情况，
索引中储存了经过函数计算的索引码值。可以在不修改应用程序的基础上能提高查询效率。
 
索引创建策略 
1.导入数据后再创建索引 
2.不需要为很小的表创建索引 
3.对于取值范围很小的字段（比如性别字段）应当建立位图索引 
4.限制表中的索引的数目 
5.为索引设置合适的PCTFREE值 
6.存储索引的表空间最好单独设定 


唯一索引和不唯一索引都只是针对B树索引而言. 
Oracle最多允许包含32个字段的复合索引 
由此估计出一个查询如果使用某个索引会需要读入的数据块块数。
需要读入的数据块越多，则 cost 越大，Oracle 也就越有可能不选择使用 index
 
三，
能用唯一索引，一定用唯一索引 
能加非空，就加非空约束 
一定要统计表的信息，索引的信息，柱状图的信息。 
联合索引的顺序不同，影响索引的选择，尽量将值少的放在前面 
只有做到以上四点，数据库才会正确的选择执行计划。