Sum function returns incorrect value – MS SQL – Fórum – Programujte.com
 x   TIP: Přetáhni ikonu na hlavní panel pro připnutí webu

Sum function returns incorrect value – MS SQL – Fórum – Programujte.comSum function returns incorrect value – MS SQL – Fórum – Programujte.com

 

support
~ Anonymní uživatel
1 příspěvek
24. 6. 2011   #1
-
0
-

Dear all,
Why in this special circumstances returns Sum function incorrect value? (tested on Microsoft SQL Server)

Sum two numbers, one negative, one positive, both differs with numbers after decimal separator and are same before decimal separator.
Example -9 and 9,07 or 13,1 and -13,2 etc.

Here is the code for test, as sum you wil get 0,070000000000000284 and I expect 0,07 :

CREATE DATABASE TestDB

CREATE TABLE TestTBL (memo varchar,calc float)

INSERT INTO TestTBL VALUES ('x', -9.00)
INSERT INTO TestTBL VALUES ('x', 9.07)

SELECT memo, SUM(calc) as Why
FROM TestTBL
GROUP BY memo

Nahlásit jako SPAM
IP: 195.122.223.–
KIIV
~ Moderátor
+43
God of flame
24. 6. 2011   #2
-
0
-

This is common problem for computer representation of floating point numbers (ie. float).
You can round it to less precision (or you can use DECIMAL - fixed point number)
By the way: this is "correct" value - deviation is extremely small -> 4e-15

Nahlásit jako SPAM
IP: 212.136.56.–
Program vždy dělá to co naprogramujete, ne to co chcete...
Zjistit počet nových příspěvků

Přidej příspěvek

Toto téma je starší jak čtvrt roku – přidej svůj příspěvek jen tehdy, máš-li k tématu opravdu co říct!

Ano, opravdu chci reagovat → zobrazí formulář pro přidání příspěvku

×Vložení zdrojáku

×Vložení obrázku

Vložit URL obrázku Vybrat obrázek na disku
Vlož URL adresu obrázku:
Klikni a vyber obrázek z počítače:

×Vložení videa

Aktuálně jsou podporována videa ze serverů YouTube, Vimeo a Dailymotion.
×
 
Podporujeme Gravatara.
Zadej URL adresu Avatara (40 x 40 px) nebo emailovou adresu pro použití Gravatara.
Email nikam neukládáme, po získání Gravatara je zahozen.
-
Pravidla pro psaní příspěvků, používej diakritiku. ENTER pro nový odstavec, SHIFT + ENTER pro nový řádek.
Sledovat nové příspěvky (pouze pro přihlášené)
Sleduj vlákno a v případě přidání nového příspěvku o tom budeš vědět mezi prvními.
Reaguješ na příspěvek:

Uživatelé prohlížející si toto vlákno

Uživatelé on-line: 0 registrovaných, 2 hosté

Podobná vlákna

Přidat šum — založil Petroff

Problem s funci SUM() — založil PetrUK

 

Hostujeme u Českého hostingu       ISSN 1801-1586       ⇡ Nahoru Webtea.cz logo © 20032024 Programujte.com
Zasadilo a pěstuje Webtea.cz, šéfredaktor Lukáš Churý