数据挖掘---如何才能做好它( 我的预想 )
数据挖掘---如何才能最好它( 我的预想 )
因为我也没有把它作好, 甚至没有做出来,只是从我遇到的问题中,以及如何解决这些问题去思考的!
最近搞这个, 可能要求是高维的原因, 书上给的理论和例子大多都是低维(100以下吧), 理论比较完美,可是一到实际中问题都出来, 而且是很多狠多的问题................... 有些都是预先很本想象不到的, 就拿我前几天的写的问题" 高维随机数", 还有几个均匀随机数的和是什么分布? 现在还没搞明白:
我现在认为搞好数据挖掘需要:
1.概率与统计:
我不知道数据挖掘是从数据库学中出来的还是从统计中出来的,但是现在看来统计是少不了的,数据挖掘不论去提取规则还是预测(聚类,分类,回归, 等统计手法是少不了的),如果理论不理解,但按别人给的算法去coding......., 出了问题,你就SB了, 如果你没有统计的知识你根本不知道问题出在哪.还有如何解决问题.
2.优化算法与数值计算:
统计算法实现需要计算, 可不是简单的计算, 一般的数据挖掘都需要大量的计算,因为统计计算本身计算量就非常大, 如果高维在计算中,你还用和低维一样的计算公式,比如n次方了, n个排个序了，在来些什么n次循环了，最后的计算量可能是你无法接受的，采用近似计算是必然的，如何近似，什么地方该近似，什么地方不该近似，或者说这样的近似会给精度带来大多损失，如果你不会优化算法与数值计算，那你就会。。。。
3.程序的高效率
同一个算法的，可以有不同的程序，谁的效率高就是一个问题。如何提高？ 语言的特点，什么语言处理循环，数值计算比较快呢，我现在也不知道
其他了的， 老板说,要了解CPU的特性，以及计算机构架，并行计算等待， 那个现在说，似乎还有点远............
