SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

*patrick star* — Mon, 16 Jan 2017 13:08:44 GMT

probier mal (in dem fall bleiben die mit der niedrigsten zeit über)

delete from tabelle t1 where (0= (select count(*) from (select fk, min (zeit) as minzeit from tabelle group by fk) as t2 where t1.fk=t2.fk and t1.zeit=t2.minzeit))

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

*patrick star* — Mon, 16 Jan 2017 13:08:44 GMT

probier mal (in dem fall bleiben die mit der niedrigsten zeit über). wenn zwei fk mit der gleichen niedrigsten zeit drinnen sind bleiben beide.

delete from tabelle t1 where (0= (select count(*) from (select fk, min (zeit) as minzeit from tabelle group by fk) as t2 where t1.fk=t2.fk and t1.zeit=t2.minzeit))

Re(2): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Sun, 08 Jan 2017 20:34:38 GMT

FK darf mehrmals zeitlich durch andere FK getrennt vorkommen!

Re(2): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Sun, 08 Jan 2017 20:34:38 GMT

FK darf mehrmals zeitlich durch andere FK getrennt vorkommen!
Ich habe das Problem schon anders gelöst, ich lasse keine falschen Daten mehr in die Datenbank.

Re(2): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Sun, 08 Jan 2017 20:33:55 GMT

Hallo, danke für deinen Ansatz, aber es können beliebige Zeiträume zwischen den Zeiten liegen.
Ich hab das ganze inzwischen so gelöst, dass keine falschen Daten mehr in die Datenbank kommen (;

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

pong — Sun, 08 Jan 2017 13:47:15 GMT

Constraint auf FK setzen, rebuild des Objekts und alle Constraint Verletzungen auf einen Fehlerbestand schreiben lassen.

pong

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

hellbringer — Thu, 05 Jan 2017 20:49:59 GMT

mysql> CREATE TABLE `test` (
    ->     `id` int(11) NOT NULL AUTO_INCREMENT,
    ->     `fk` int(11) NOT NULL,
    ->     `zeit` time NOT NULL,
    ->     PRIMARY KEY (`id`)
    -> ) ENGINE=InnoDB;
Query OK, 0 rows affected (0.03 sec)

mysql> INSERT INTO `test`
    ->     (`fk`, `zeit`)
    -> VALUES
    ->     (12, '12:07'),
    ->     (15, '12:06'),
    ->     (15, '12:05'),
    ->     (15, '12:04'),
    ->     (69, '12:03'),
    ->     (17, '12:02'),
    ->     (17, '12:01'),
    ->     (15, '12:00');
Query OK, 8 rows affected (0.00 sec)
Records: 8  Duplicates: 0  Warnings: 0

mysql> SELECT `fk`, `zeit` FROM `test`;
+----+----------+
| fk | zeit     |
+----+----------+
| 12 | 12:07:00 |
| 15 | 12:06:00 |
| 15 | 12:05:00 |
| 15 | 12:04:00 |
| 69 | 12:03:00 |
| 17 | 12:02:00 |
| 17 | 12:01:00 |
| 15 | 12:00:00 |
+----+----------+
8 rows in set (0.00 sec)

mysql> DELETE t1.* FROM `test` t1
    -> INNER JOIN `test` t2 ON (
    ->     t2.`fk` = t1.`fk` AND t2.`zeit` = t1.`zeit` + INTERVAL 1 MINUTE
    -> );
Query OK, 3 rows affected (0.00 sec)

mysql> SELECT `fk`, `zeit` FROM `test`;
+----+----------+
| fk | zeit     |
+----+----------+
| 12 | 12:07:00 |
| 15 | 12:06:00 |
| 69 | 12:03:00 |
| 17 | 12:02:00 |
| 15 | 12:00:00 |
+----+----------+
5 rows in set (0.00 sec)

Re(3): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

mko — Thu, 05 Jan 2017 20:01:07 GMT

Datenbankadministratoren tun mir leid, das ist ja scheußlicher als Python.

Die Datenbankadministratoren die ich kenne schreiben auch keine Functions .

Re(2): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 19:35:08 GMT

Datenbankadministratoren tun mir leid, das ist ja scheußlicher als Python.


DELIMITER //

CREATE FUNCTION deleteOlderDuplicateSongPlays()
RETURNS VARCHAR(255)

BEGIN
	
	DECLARE idToBeDeleted BIGINT DEFAULT -1;
	DECLARE lastSongId BIGINT DEFAULT -1;
	DECLARE songId BIGINT DEFAULT -1;
	DECLARE c1Finished INTEGER DEFAULT 0;
	DECLARE result VARCHAR(255) DEFAULT '';
		
	DECLARE c1 CURSOR FOR
		select
			sp.id,
			sp.song_id
		from worstStation.songplay sp
		order by sp.time desc
	;
	
	DECLARE CONTINUE HANDLER FOR NOT FOUND SET c1Finished = 1;

	OPEN c1; loop1: LOOP
		FETCH c1 INTO idToBeDeleted, songId;
			
		IF c1Finished = 1 THEN 
			LEAVE loop1;
		END IF;
		
		IF lastSongId = songId THEN
			SET result = CONCAT(result,',');
			SET result = CONCAT(result,idToBeDeleted);
			
			SET @idToBeDeletedForQuery:= idToBeDeleted;
			
			 delete
			 	from worstStation.songplay
		 	 	where id = @idToBeDeletedForQuery;
		END IF;
		
		SET lastSongId = songId;
	END LOOP loop1; CLOSE c1;
	
	RETURN result;
END; //

DELIMITER ;

Re(2): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 19:34:37 GMT

Polling einer undokumentierten API die Daten aus der kurzen Vergangenheit und Zukunft anzeigt.
Datums und Id Werte eines Tupels aus der Zukunft können sich bis zum Eintreten des tatsächlichen Zeitpunktes ändern. Soweit ich verstanden habe ändert sich die Id genau dann wenn sich das Datum ändert. Ein Tupel beinhaltet jedoch auch noch zwei weitere Werte die zusammen die sich nicht ändern, die Kombination dieser zwei Werte kann niemals aufeinander folgen, dadurch erkenne ich die Duplikate.

In etwa: Id, Zeit, Songname, Künstlername.
Id scheint einfach eine GUID zu sein, die sich bei Änderung der Zeit ändert.
Es ist nicht davon auszugehen, dass derselbe Song zweimal hintereinander kommt.

Jetzt wo ich das schreibe bin ich auf die Lösung gekommen: Einfach nur die fixierten Daten der Vergangenheit einlesen. 🙄

Danke, dass du mir die Idee verschafft hast. Da hab ich viel zu umständlich gedacht.

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

my_nick_name — Thu, 05 Jan 2017 19:21:16 GMT

Wie kommen die Werte in die DB, lässt sich ev. ein "doppelter Eintrag" nicht schon hier verhindern?

Re(2): SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 19:17:14 GMT

Ich denke deine Idee würde bei meinem Beispiel 3 Einträge mit fk 15 löschen, oder?
Einträge mit gleichem fk liegen zeitlich nicht unbedingt direkt aneinander und dürfen übrig bleiben.

Das hier ist ok:

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

ashley77 — Thu, 05 Jan 2017 19:14:15 GMT

hast einen index in der tabelle?

sonst etwas risiko: delete from table wehre zeit not in (select max(zeit) from table group by fk)
da sollte zeit aber eindeutig sein!
mit index natürlich sicherer, könntest dir aber view mit autocount erstellen und dafür nutzen... das prinzip sollte klar sein

Re: SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

mko — Thu, 05 Jan 2017 18:13:24 GMT

DELETE FROM table WHERE fk = 15 ORDER BY zeit LIMIT 2;
DELETE FROM table WHERE fk = 17 ORDER BY zeit LIMIT 1;

Den Titel habe ich zu spät gelesen .
Function mit Cursor oder im Code...

SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 17:41:23 GMT

Ich habe den folgenden Table, sortiert nach Zeit:

Hieraus soll nun eine der Zeilen mit fk 17 und zwei Zeilen mit fk 15 gelöscht werden, es sollen also unten und oben ein Eintrag mit 15 übrig bleiben.
Welche sind eigentlich egal, aber wenn ich es mir aussuchen kann die mit der höheren Zeit.

Der Table soll danach so aussehen:

Dialekt ist MySQL.

Hat einer von euch eine Idee?

Falls das nicht geht mach ich es im Code.

SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 17:41:23 GMT

Ich habe den folgenden Table, sortiert nach Zeit:

Dialekt ist MySQL.

Hat einer von euch eine Idee?

Falls das nicht geht mach ich es im Code.

SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 17:41:23 GMT

Ich habe den folgenden Table, sortiert nach Zeit:

Dialekt ist MySQL.

Hat einer von euch eine Idee?
Macht man so etwas mit einem Cursor? Habe ich noch nie verwendet, Zeit wirds.

Falls das nicht geht mach ich es im Code.

SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 17:41:23 GMT

Ich habe den folgenden Table, sortiert nach Zeit:

Dialekt ist MySQL.

Hat einer von euch eine Idee?

Falls das nicht geht mach ich es im Code.

SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 17:41:23 GMT

Ich habe den folgenden Table, sortiert nach Zeit:

SQL alle bis auf einen von aufeinanderfolgenden Einträge mit gleichem Wert löschen

Diabolo2000 — Thu, 05 Jan 2017 17:41:23 GMT

EDIT:
Problem gelöst: Einfach keine schlechten Daten in die Datenbank lassen.
Let's build a wall and let them pay for it!

Ich habe den folgenden Table, sortiert nach Zeit:

Dialekt ist MySQL.

Hat einer von euch eine Idee?
Macht man so etwas mit einem Cursor? Habe ich noch nie verwendet, Zeit wirds.

Falls das nicht geht mach ich es im Code.