Oceanus - 58同城数据库中间件

Related tags

Database Oceanus
Overview

Oceanus

Oceanus - 58同城数据库中间件

关于DB中间件

在DB存储需求中,尽管业务不同,技术难点还是类似的,开源世界有很多DB中间件,解决方案也以通用方案为主,满足业务需要为前提,支持各种类型的需求。

Oceanus致力于打造一个功能简单、可依赖、易于上手、易于扩展、易于集成的解决方案,甚至是平台化系统。拥抱开源,提供各类插件机制集成其他开源项目,新手可以在几分钟内上手编程,分库分表逻辑不再与业务紧密耦合,扩容有标准模式,减少意外错误的发生。

Oceanus内部名词定义

  • datanode:数据源节点。为一个数据源命名,配置链接属性、报警实现
  • namenode:数据源的簇。为一组数据源命名,指定这组数据源的负载方式、访问模式、权重
  • table:映射表。匹配解析sql中的table名称,命中table标签的name属性值后,会执行约定的路由逻辑
  • bean:实体。由其他标签引用,实体类必须有无参的构造函数
  • tracker:监控埋点。涉及到计算和IO的功能点都有监控点,自定义一个埋点实现类,当功能耗时超出预期时会执行其中的回调函数,便于监控和优化系统

为什么说Oceanus是非常易用的

Oceanus在设计时非常注重使用者的评价,配置结构近乎于和使用者交流约定业务规则,便于不同的人看同一套配置,互相理解流程。当配置文件编写完成后,编码就变得更加简单,只调用Oceanus客户端的几个方法就可以实现数据库操作,不再关心HA、报警、负载均衡、性能监控等问题。良好的用户视觉减少了分库分表在业务场景中的耦合度,对于编码者就像只对一个table操作,Oceanus负责进行sql解析、路由、sql重写。

如提交:	select * from user;

改写成:	select * from user0;
		   select * from user1;
		   select * from user2;
		   select * from user3;

分发给不同的库(或者同库)执行,用户视觉如图: github

开源集成

“接地气,拥抱开源” 是Oceanus的设计原则之一,可以很好的集成到mybatis和hibernate中,只要引用其中的插件,编写Oceanus配置文件,然后改写各自的DataSource实现或ConnectionProvider即可做到集成。这样既用到了熟悉的ORM,又借助Oceanus实现了分库分表等功能。

待开发

不得不说Oceanus在设计上非常灵活,使得每一个细小的功能点都有极高的切入价值,比如Cache机制、全局的ID生成规则、资源可视化监控等等,把其中某一个点做得足够好,都会为整体产品带来质的提升,简化实际生产环境中的配套系统研发维护成本。

wiki

https://github.com/58code/Oceanus/wiki

58同城开源技术交流群:427359544

Issues
  • dataNodeAlive特殊情况处理

    dataNodeAlive特殊情况处理

    类: com.bj58.oceanus.core.loadbalance.ha.DataNodeChecker

        /**
         * 从状态映射map中查看DataNode是否可用
         * @param dataNode
         * @return
         */
        public static boolean dataNodeAlive(DataNode dataNode){
            if(dataNode==null || dataNode.getId()==null)
                return true;
    
            if(!dataNodeAliveMap.containsKey(dataNode.getId())){
                logger.error("DataNode ["+dataNode.getId()+"] is not in the check list !!");
                return true;
            }
    
            return dataNodeAliveMap.get(dataNode.getId()).get();
        }
    

    前面的两个if特殊情况应该不会发生, 而且为什么返回的是true?

    opened by hailinzeng 2
  • ScriptFunction构造的ShardException

    ScriptFunction构造的ShardException

    类: com.bj58.oceanus.core.shard.ScriptFunction

        @Override
        public int execute(int size, Map<String, Object> parameters) {
    
            try {
                // ...
                context.put("$NODE_SIZE", size);
                Double value = scriptExecutor.execute(null,context);
                if (value != null) {
                    return value.intValue();
                } else {
                    throw new ShardException("function error,could not find namenodes index="+value+"!parameters=" + parameters); //
                }
            } catch (ScriptException e) {
                throw new ShardException("script error!parameters=" + parameters, e);
            }
    
        }
    

    应该是写错了,上下文没有namenodes的信息,而且这个else分支value是null

    opened by hailinzeng 2
  • 无用日志

    无用日志

    类: com.bj58.oceanus.core.loadbalance.ha.DataNodeChecker.FirstChecker

        /**
         * 该线程用于轮询检测全部DataSource状态,初步判断数据源是否可用,如果不可用,交给ConfirmChecker(确认线程)延时处理
         */
        private static class FirstChecker implements Runnable{
    
            @Override
            public void run() {
                logger.debug("dataNodeMap:"+DataNodeChecker.dataNodeMap);
    
                // .......
            }
        }
    

    输出的是DataNodeChecker.dataNodeMap这个HashMap的地址

    opened by hailinzeng 1
  • loadConfigFile特殊情况处理

    loadConfigFile特殊情况处理

    类: com.bj58.oceanus.config.parser.ConfigurationLoader

        public void load(String path) throws Exception {
            // ... 
    
            loadConfigFile(new File(path));
    
            // ...
        }
    
        void loadConfigFile(File configFile) throws Exception {
            // ...
            if(configFile==null || !configFile.exists())
                throw new Exception("oceanus config file:"+configFile.getName()+" not found !");
    
            // ......
    
            List<Node> includeNodes = ParseUtils.getNodeList(rootNodeList, INCLUDE_TAG);
            for(Node includeNode : includeNodes) {
                IncludeConfig includeConfig = (IncludeConfig) ParseUtils.getParser(includeNode).parse((Element)includeNode);
    
                loadConfigFile(new File(configFile.getParent() + SEPERATOR + includeConfig.getFile()));
            }
        }
    

    如果传入的configFile可能为null, 那configFile.getName就有问题了.

    opened by hailinzeng 1
  • 查询语句对HAVING的支持不够

    查询语句对HAVING的支持不够

    环境: 一个MySQL实例,两个schema[ ocuanus、ocuanus2 ],四张表 ocuanus t_user

    ocuanus2 t_user t_user1 t_user2 表结构与oceanus-test/t_user.sql里面一致

    问题1描述: 执行SQL,会出现异常 SELECT AVG(age) FROM t_user u GROUP BY age HAVING age > 20

    异常信息: java.sql.SQLException: Column 'age' not found. at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:996) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:935) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:924) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:870) at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1064) at org.apache.tomcat.dbcp.dbcp.DelegatingResultSet.findColumn(DelegatingResultSet.java:331) at org.apache.tomcat.dbcp.dbcp.DelegatingResultSet.findColumn(DelegatingResultSet.java:331) at com.bj58.oceanus.result.merger.DefaultResultSetMerger$ResultSetColumnFinder.findIndex(DefaultResultSetMerger.java:407) at com.bj58.oceanus.result.merger.DefaultResultSetMerger.merge(DefaultResultSetMerger.java:121) at com.bj58.oceanus.exchange.executors.jdbc.SimpleExecutor.doQuery(SimpleExecutor.java:184) at com.bj58.oceanus.exchange.executors.jdbc.SimpleExecutor.doQuery(SimpleExecutor.java:148) at com.bj58.oceanus.exchange.executors.jdbc.SimpleExecutor.execute(SimpleExecutor.java:66) at com.bj58.oceanus.exchange.jdbc.PreparedStatementWrapper.executeQuery(PreparedStatementWrapper.java:102) at com.bj58.oceanus.demo.UserRwDemo.selectTest(UserRwDemo.java:89) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) .....

    问题2描述: 执行SQL,会出现异常 SELECT AVG(age), MIN(age), MAX(age), age FROM t_user u GROUP BY u.age HAVING u.age > 20 ORDER BY u.age DESC LIMIT 0, 15

    异常信息: 18:10:47.328 [main] ERROR com.bj58.oceanus.result.merger.DefaultResultSetMerger.processHaving(DefaultResultSetMerger.java:254) - script execute error! javax.script.ScriptException: sun.org.mozilla.javascript.internal.EcmaError: ReferenceError: "U" is not defined. (#1) in at line number 1 at com.sun.script.javascript.RhinoScriptEngine.eval(RhinoScriptEngine.java:156) ~[na:1.6.0_45] at com.sun.script.javascript.RhinoScriptEngine.eval(RhinoScriptEngine.java:170) ~[na:1.6.0_45] at javax.script.AbstractScriptEngine.eval(AbstractScriptEngine.java:216) ~[na:1.6.0_45] at com.bj58.oceanus.core.script.InterpretedScriptExecutor.execute(InterpretedScriptExecutor.java:47) ~[oceanus-core-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.result.merger.DefaultResultSetMerger.processHaving(DefaultResultSetMerger.java:250) [oceanus-results-merger-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.result.merger.DefaultResultSetMerger.merge(DefaultResultSetMerger.java:192) [oceanus-results-merger-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.exchange.executors.jdbc.SimpleExecutor.doQuery(SimpleExecutor.java:184) [oceanus-exchange-executors-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.exchange.executors.jdbc.SimpleExecutor.doQuery(SimpleExecutor.java:148) [oceanus-exchange-executors-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.exchange.executors.jdbc.SimpleExecutor.execute(SimpleExecutor.java:66) [oceanus-exchange-executors-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.exchange.jdbc.PreparedStatementWrapper.executeQuery(PreparedStatementWrapper.java:102) [oceanus-exchange-jdbc-0.0.2-SNAPSHOT.jar:na] at com.bj58.oceanus.demo.UserRwDemo.selectTest(UserRwDemo.java:89) [classes/:na] at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.6.0_45] at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) ~[na:1.6.0_45] at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) ~[na:1.6.0_45] at java.lang.reflect.Method.invoke(Method.java:597) ~[na:1.6.0_45] .....

    opened by fengwuze 1
  • Update SimpleMergedResultSet.java

    Update SimpleMergedResultSet.java

    更改自定义类型映射

    opened by frank0417 1
  • 是否还在维护?

    是否还在维护?

    是否还在维护?

    opened by copyshop 1
  • checkInit

    checkInit

    inited is not null

    opened by hailinzeng 0
  • coreSize default value

    coreSize default value

    set coreSize to default value CORE_SIZE if (sizeStr == null || sizeStr.trim().length() <= 0)

    opened by hailinzeng 0
  • duplicate branch

    duplicate branch

    duplicate branch : if (value instanceof Long)

    opened by hailinzeng 0
Owner
Wuba
Wuba Open Source
Wuba